タグ: #옵티마이저

← すべての記事

• Muon 解説: 勾配行列を直交化するオプティマイザ

  2026年のLLM事前学習論文を読むと、オプティマイザの位置にAdamWの代わりにMuonがよく見られます。Muonはモメンタム行列を特異値がすべて1の行列に変換し、特定の方向に偏ったアップデートを全方向に均等に分散させます。SVDの代わりに5回の行列乗算（ニュートン＝シュルツ法）で近似するため低コストであり、隠れ層の2次元行列にのみ適用します。合成行列で測定したところ、上位10方向が占めていたエネルギーの93.7%が5回の反復後に2.

  2026-10-31 · 15 分で読めます #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+

• 小さめのGPTで測定したAdamW対Muon対MUON+

  3400万パラメータのGPTをFineWeb-Eduの1億トークンで学習させ、オプティマイザのみを切り替えて測定しました。オプティマイザごとに学習率を個別に探索し、ウェイト減衰（weight decay）の実際の強さと埋め込み側のAdamWを合わせた後でも、Muonの最終検証ロスはAdamWよりも0.081低くなりました（シードのセット、標準偏差0.003）。同じロスに達するまでにAdamWは1.4～1.6倍のトークンを消費し、バッチサ

  2026-10-31 · 17 分で読めます #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습