태그: #2026 LLM 학습 논문 읽기

← 전체 글

• 2026년 LLM 학습 연구의 흐름: 옵티마이저, 데이터, 증류, 그리고 RL

  2026년 하반기 LLM 학습 논문을 갈래별로 정리합니다. 사전학습 쪽에서는 Muon 계열이 기본 옵티마이저가 되어 가고, 웹 데이터의 AI 글 비율이 31% 를 넘어 데이터가 모자랄 때만 도움이 된다는 스케일링 법칙이 나왔으며, 작은 예산으로 처음부터 학습하는 레시피(IMU-1, Puro-2B)가 Muon 변형·긴 감소 스케줄·품질 커리큘럼을 씁니다. 후학습 쪽에서는 RL 이 드문 결정 지

  2026-10-31 · 14 분 읽기 #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습

• RL 은 골라내는가: 0.5B 모델로 재 본 GRPO 와 pass@k

  RL 후학습은 새 능력을 만들까요, 베이스가 가끔 내던 답을 골라낼까요? 0.5B 지시 모델에 세 자리 곱셈 산수로 GRPO 를 직접 돌려 pass@k 를 쟀습니다. 많은 문제로 75걸음 학습하자 계산 정확도(pass@1)는 0.25 에서 0.66 으로 올랐지만 32번 뽑아 하나라도 맞힐 확률은 0.84 대 0.81 로 같았습니다. 150걸음까지 늘리면 그 상한이 0.68 로 내려가 k=16

  2026-10-31 · 24 분 읽기 #강화학습#GRPO#RLVR#pass@k#LoRA

• 작은 GPT 로 재 본 AdamW 대 Muon 대 MUON+

  3,400만 파라미터 GPT 를 FineWeb-Edu 토큰 1억 개로 학습하며 옵티마이저만 바꿔 쟀습니다. 학습률을 옵티마이저마다 따로 탐색하고 weight decay 의 실제 세기와 임베딩 쪽 AdamW 를 맞춘 뒤에도, Muon 의 최종 검증 손실은 AdamW 보다 0.081 낮았습니다(시드 셋, 표준편차 0.003). 같은 손실에 AdamW 는 토큰이 1.4–1.6배 들었고, 배치를 4

  2026-10-31 · 17 분 읽기 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습

• Muon 해설: 기울기 행렬을 직교화하는 옵티마이저

  2026년 LLM 사전학습 논문을 읽다 보면 옵티마이저 자리에 AdamW 대신 Muon 이 자주 보입니다. Muon 은 모멘텀 행렬을 특잇값이 모두 1 인 행렬로 바꿔서, 몇 방향에 몰린 업데이트를 모든 방향에 고르게 나눕니다. SVD 대신 행렬 곱 다섯 번(Newton–Schulz)으로 근사하므로 싸고, 은닉층의 2차원 행렬에만 씁니다. 합성 행렬로 재 보니 위 10개 방향이 차지하던 에너

  2026-10-31 · 15 분 읽기 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+