태그: #Newton-Schulz
쿠버네티스·DevOps·MLOps 를 직접 돌려 보고 잰 값으로 쓰는 블로그 · 1 편
Muon 해설: 기울기 행렬을 직교화하는 옵티마이저
2026년 LLM 사전학습 논문을 읽다 보면 옵티마이저 자리에 AdamW 대신 Muon 이 자주 보입니다. Muon 은 모멘텀 행렬을 특잇값이 모두 1 인 행렬로 바꿔서, 몇 방향에 몰린 업데이트를 모든 방향에 고르게 나눕니다. SVD 대신 행렬 곱 다섯 번(Newton–Schulz)으로 근사하므로 싸고, 은닉층의 2차원 행렬에만 씁니다. 합성 행렬로 재 보니 위 10개 방향이 차지하던 에너
2026-10-31 · 15 분 읽기 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+