태그: #common-crawl
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
인터넷 아카이브 & 디지털 보존 & 웹 아카이빙 2026 — Wayback Machine / archive.today / Conifer / Browsertrix / WARC / Perma.cc / NDL WARP / OASIS 심층 가이드 ♪ 들을 수 있어요
2026년 5월 기준 디지털 보존과 웹 아카이빙 생태계를 정리합니다. Brewster Kahle의 Internet Archive와 935B+ 페이지를 가진 Wayback Machine, 익명 아카이브 archive.today, Webrecorder 진영의 Conifer · Browsertrix Crawler · Browsertrix Cloud, 새로운 WACZ 포맷과 Replay.web.pa
2026-05-16 · 50 분 읽기 #internet-archive#wayback-machine#brewster-kahle#archive-today#archive-ph오픈소스 AI 학습 데이터셋 2026 — Common Crawl / FineWeb (HF) / RedPajama-V2 / Dolma / SlimPajama / The Stack v2 / LAION / COYO-700M (Kakao) 심층 가이드
2026년 오픈소스 AI 학습 데이터셋의 전체 지도를 그린다. 모든 LLM의 토대인 Common Crawl, 그것을 정제한 RefinedWeb / RedPajama-V2 / FineWeb / FineWeb-Edu / Dolma / SlimPajama, 학술용 The Pile / S2ORC / arXiv, 코드용 The Stack v2 / StarCoder, 멀티모달 LAION-5B / Dat
2026-05-16 · 31 분 읽기 #ai-datasets#training-data#common-crawl#refinedweb#redpajama