태그: #학습률 탐색

← 전체 글

• 작은 GPT 로 재 본 AdamW 대 Muon 대 MUON+

  3,400만 파라미터 GPT 를 FineWeb-Edu 토큰 1억 개로 학습하며 옵티마이저만 바꿔 쟀습니다. 학습률을 옵티마이저마다 따로 탐색하고 weight decay 의 실제 세기와 임베딩 쪽 AdamW 를 맞춘 뒤에도, Muon 의 최종 검증 손실은 AdamW 보다 0.081 낮았습니다(시드 셋, 표준편차 0.003). 같은 손실에 AdamW 는 토큰이 1.4–1.6배 들었고, 배치를 4

  2026-10-31 · 17 분 읽기 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습