태그: #LLM 사전학습

← 전체 글

• 작은 GPT 로 재 본 AdamW 대 Muon 대 MUON+

  3,400만 파라미터 GPT 를 FineWeb-Edu 토큰 1억 개로 학습하며 옵티마이저만 바꿔 쟀습니다. 학습률을 옵티마이저마다 따로 탐색하고 weight decay 의 실제 세기와 임베딩 쪽 AdamW 를 맞춘 뒤에도, Muon 의 최종 검증 손실은 AdamW 보다 0.081 낮았습니다(시드 셋, 표준편차 0.003). 같은 손실에 AdamW 는 토큰이 1.4–1.6배 들었고, 배치를 4

  2026-10-31 · 17 분 읽기 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습

• Muon 해설: 기울기 행렬을 직교화하는 옵티마이저

  2026년 LLM 사전학습 논문을 읽다 보면 옵티마이저 자리에 AdamW 대신 Muon 이 자주 보입니다. Muon 은 모멘텀 행렬을 특잇값이 모두 1 인 행렬로 바꿔서, 몇 방향에 몰린 업데이트를 모든 방향에 고르게 나눕니다. SVD 대신 행렬 곱 다섯 번(Newton–Schulz)으로 근사하므로 싸고, 은닉층의 2차원 행렬에만 씁니다. 합성 행렬로 재 보니 위 10개 방향이 차지하던 에너

  2026-10-31 · 15 분 읽기 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+