태그: #데이터 큐레이션

← 전체 글

• 2026년 LLM 학습 연구의 흐름: 옵티마이저, 데이터, 증류, 그리고 RL

  2026년 하반기 LLM 학습 논문을 갈래별로 정리합니다. 사전학습 쪽에서는 Muon 계열이 기본 옵티마이저가 되어 가고, 웹 데이터의 AI 글 비율이 31% 를 넘어 데이터가 모자랄 때만 도움이 된다는 스케일링 법칙이 나왔으며, 작은 예산으로 처음부터 학습하는 레시피(IMU-1, Puro-2B)가 Muon 변형·긴 감소 스케줄·품질 커리큘럼을 씁니다. 후학습 쪽에서는 RL 이 드문 결정 지

  2026-10-31 · 14 분 읽기 #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습