タグ: #2026 LLM 학습 논문 읽기

← すべての記事

• 2026年 LLM学習研究のトレンド：オプティマイザ、データ、蒸留、そして RL

  2026年下半期のLLM学習論文をカテゴリ別に整理します。事前学習側ではMuon系がデフォルトのオプティマイザになりつつあり、ウェブデータのAI文章の割合が31%を超えデータが不足しているときにのみ役立つというスケーリング則が発表され、少ない予算で最初から学習するレシピ（IMU-1、Puro-2B）はMuonのバリエーション、長い減少スケジュール、品質カリキュラムを採用しています。事後学習側では、RLは稀な決定地点のみを変更するという分

  2026-10-31 · 14 分で読めます #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습

• Muon 解説: 勾配行列を直交化するオプティマイザ

  2026年のLLM事前学習論文を読むと、オプティマイザの位置にAdamWの代わりにMuonがよく見られます。Muonはモメンタム行列を特異値がすべて1の行列に変換し、特定の方向に偏ったアップデートを全方向に均等に分散させます。SVDの代わりに5回の行列乗算（ニュートン＝シュルツ法）で近似するため低コストであり、隠れ層の2次元行列にのみ適用します。合成行列で測定したところ、上位10方向が占めていたエネルギーの93.7%が5回の反復後に2.

  2026-10-31 · 15 分で読めます #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+

• RLは選び出しているのか: 0.5Bモデルで検証したGRPOとpass@k

  RL後学習は新しい能力を作るのでしょうか、それともベースがたまに出していた答えを選び出しているのでしょうか。0.5Bの指示モデルに三桁の掛け算算数でGRPOを直接回し、pass@kを測定しました。多くの問題で75ステップ学習すると計算精度(pass@1)は0.25から0.66に上がりましたが、32回引いて1つでも正解する確率は0.84対0.81で同じでした。150ステップまで増やすと、その上限は0.68に下がり、k=16からベースが上回

  2026-10-31 · 24 分で読めます #강화학습#GRPO#RLVR#pass@k#LoRA

• 小さめのGPTで測定したAdamW対Muon対MUON+

  3400万パラメータのGPTをFineWeb-Eduの1億トークンで学習させ、オプティマイザのみを切り替えて測定しました。オプティマイザごとに学習率を個別に探索し、ウェイト減衰（weight decay）の実際の強さと埋め込み側のAdamWを合わせた後でも、Muonの最終検証ロスはAdamWよりも0.081低くなりました（シードのセット、標準偏差0.003）。同じロスに達するまでにAdamWは1.4～1.6倍のトークンを消費し、バッチサ

  2026-10-31 · 17 分で読めます #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습