タグ: #학습률 탐색

← すべての記事

• 小さめのGPTで測定したAdamW対Muon対MUON+

  3400万パラメータのGPTをFineWeb-Eduの1億トークンで学習させ、オプティマイザのみを切り替えて測定しました。オプティマイザごとに学習率を個別に探索し、ウェイト減衰（weight decay）の実際の強さと埋め込み側のAdamWを合わせた後でも、Muonの最終検証ロスはAdamWよりも0.081低くなりました（シードのセット、標準偏差0.003）。同じロスに達するまでにAdamWは1.4～1.6倍のトークンを消費し、バッチサ

  2026-10-31 · 17 分で読めます #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습