ステータス：ドラフト（2026-10-31）。 論文の数値はarXivの原文（本文は同じ版のHTML）を直接開き、表や図の番号とともに転記しました。第7節の実験の教訓は、本シリーズの第2・第3篇の実測から得られたものです。論文を選定した根拠（Hugging Faceのアップボート、公開データセットのダウンロード数）は2026-10-31時点で確認した値です。 作成ルール：実測データを基本とし、測定できなかったものは「未測定」、確認できなかったものは「未確認」と表示します。
目次
- 1. この記事のガイドマップ
- 2. データ：ウェブのAI文章はどれほどの価値があるのか
- 3. 蒸留：同系統モデル間のon-policy蒸留
- 4. 小さなモデルのレシピ：少ないトークン、少ないコスト
- 5. カテゴリを横断して見えてくるもの
- 6. 論文を読んで小さく再現する際に押さえておくべきポイント
- 7. 2つの実験から学んだこと
- 参考文献
1. この記事のガイドマップ
前の3篇では2つの疑問を深く掘り下げました。「MuonはAdamWより優れているのか」（第1篇, 第2篇）と「RLは新しい能力を生み出すのか」（第3篇）です。この記事では一歩引いて、2026年下半期（7〜10月）に出版された学習論文の中から影響力の大きいものを選び、トレンドを整理します。事前学習側ではオプティマイザ以外に データと 小さなモデルのレシピを、事後学習側ではRL以外に 蒸留を取り上げます。
選定方法は以下の通りです。2026-07-01から10-31までarXivをキーワードで検索し、Hugging Faceの日刊論文122日分をアップボート順に並べ替えた後、データキュレーション・混合、蒸留、小規模モデル事前学習の分野でアップボート、公開データセットの使用量、コードリポジトリのスター数が際立っている論文を選びました。引用数は公開されてから1〜3ヶ月しか経っておらず識別力がないため使用しませんでした。
| カテゴリ | 論文 | 一言まとめ |
|---|---|---|
| オプティマイザ | MUON+, Spectral Allocation, SOAP·Muon and Beyond | 第1・2篇 |
| データ | How Much Is an AI Token Worth?(2609.40295) | ウェブのAI文章はデータが不足しているときにのみ役立つ |
| 蒸留 | Scaling Properties of Same-Family On-Policy Distillation(2609.32722) | 生徒の正解率は√KLに対して線形に向上し、弱い教師を超える |
| 小さなモデル | IMU-1(2602.02522)、Puro-2B(2608.27370) | 少ない予算で最初から事前学習するレシピ |
| RL | 2605.06241, 2607.16097, 2609.25463 | 第3篇 |
2. データ：ウェブのAI文章はどれほどの価値があるのか
「How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text」（arXiv 2609.40295、メリーランド大学・Pangram Labs）は、現在の事前学習データにおける最も現実的な問題を定量化しました。ウェブクロールにはすでにAIが書いた文章が大量に混ざっています。FineWebフィルターを通過したトークンのうちAIと判定された割合は、2024年6月に10.1%、2025年6月に16.1%、2026年8月に31.1%へと増加しました（図1）。さらに厄介なのは、品質フィルターがAI文章を より多く残すという点です。生のクロール文書1万件を監査したところ、AI文書がフィルターを通過する割合は、人間の文書よりもFineWebパイプラインで2.3倍、DCLMパイプラインで9.8倍高いことが分かりました（図2）。
著者らは19.9M〜973Mのモデル800個を学習させ、人間のトークンを固定したままAIトークンを追加しながら、人間の文章の検証損失を測定しました。結論として、符号が逆転するというものです。人間のトークン／パラメータが10未満とデータが不足しているモデルではAIトークンが損失を低下させますが、20（Chinchilla最適）以上ではAIトークンを追加するほど損失が上昇します。同量の人間の新しいトークンは継続して損失を低下させます（図3）。この現象に適合する新しいスケーリング則の予測誤差は、Chinchilla式の約1/5でした（表1）。評価に関する教訓もあります。AI文章が22%混ざった検証セットで測定すると、有害な学習の95.5%が改善されたように見えました（図6）。検証セットを人間の文章とAI文章に分ける必要があることを意味します。
読む際に考慮すべき点も原文に記載されています。共著者の一部はAI文章検出会社の所属であり、研究費もその会社が提供しました。「AI文章」の定義がその会社の検出器の判定である点、この法則を973Mまでしか検証していない点も限界です。
3. 蒸留：同系統モデル間のon-policy蒸留
「Scaling Properties of Same-Family On-Policy Distillation」（arXiv 2609.32722）は、7〜10月の蒸留論文の中でHugging Faceのアップボートが最も多く集まりました（329）。on-policy蒸留（OPD）は、生徒が自分で生成した回答に対し、トークンごとに「教師の対数確率 − 生徒の対数確率」を報酬として与える手法です。教師が生成した回答を模倣するSFT（off-policy）とは異なり、生徒が実際に辿る軌跡から学習します。
Qwen2.5 0.5B〜14Bを数学RLの教師として用い、サイズを組み合わせて蒸留した結果、3つの点が際立っています。学習初期には、生徒の正解率が√KL（生徒が初期状態からどれほど離れたか）に対してほぼ線形に向上します（25回の実行における線形フィッティングのR²は0.932〜0.988、図2）。弱い教師で強い生徒を指導すると、生徒が教師を超えます（図4）。そして、正解率が同じであれば 小さな教師の方がより良く指導できるという点です（べき乗則の教師サイズ指数 β = −0.27、表2）。教師の回答で事前にSFTを行ってから始めると、弱い教師と強い生徒の組み合わせにおいて大幅にマイナスとなりました（0.5B教師に対し生徒3B/7B/14Bが−6.6/15.7/19.4ポイント）。適用範囲は狭く、1つのモデルファミリ、1つのタスク（数学）、各組み合わせにつき1回の実行となっています。
第3篇の実験と合わせて読むと興味深い点があります。同一のbase間のOPDは、5つのサイズすべてにおいて生徒に直接RLを行った結果と0.5ポイント以内でした（4.1節）。RLが変更するのが稀な決定地点の選択であれば（2605.06241）、その選択を教師の分布によって直接指導しても、ほぼ同じ場所に到達するという図式と合致します。
4. 小さなモデルのレシピ：少ないトークン、少ないコスト
IMU-1(2602.02522)
独立した研究者によって執筆されたIMU-1は、430Mモデルを72Bトークンで学習させ、4Tトークンを使用したSmolLM2-360Mに近いスコアを達成しました（平均0.574対0.586、表3）。新しい手法というよりは、最近の手法を集めて検証したレシピ論文です。アーキテクチャにはQK-Norm、ヘッドごとのゲート、正規化されたvalue residual、層ごとの正規化スケーリングが追加されており、オプティマイザにはNorMuon（Muonの結果をニューロン単位で再正規化）にCautious Weight Decay（更新と重みの符号が同じ場合にのみ減衰）とμPが使用されています。埋め込み層、出力層、1次元パラメータにはAdamWが使われています。学習率はWSDで、最後の20%を1−√tの形状に減少させる方式であり、70Mの除去実験では減少区間20%がコサインと同じ損失（3.125）をもたらしました（表7）。データは3つの段階に分けられ、段階ごとに品質スコアの閾値が引き上げられました。原文内で学習率が0.0235、0.013、0.011という3つの値で記載されているなど、整合性の取れない部分があるため、そのまま転記する前に確認が必要です。
Puro-2B(2608.27370)
清華大学チームのPuro-2Bは、コンシューマー向けGPUを用いて2Bモデルを1.4Tトークンまで最初から学習させ、最終的な実行におけるアクセラレータのレンタル換算コストが約6,900ドルでした。15のベンチマークの平均でQwen2-1.5Bを上回り、Qwen2.5-1.5Bに迫りました（表3・4）。主要な手法は3つあります。
- MuonH：行列ごとに最初のノルムの球面上に重みを固定し（更新後に再度射影）、weight decayを0にします。有効学習率が明示的になり、チューニングされたMuonと比較して同じ損失に対して計算量を16.1%削減しました（4.3.1節）。
- 長い線形減少：最大学習率が大きいほど、また学習が長いほど、減少区間を長くする必要がありました（0.6Bの探索、図6）。IMU-1の「20%が最適」とは表面的には食い違いますが、最大学習率、トークン数、減少の形状が異なるため直接比較することはできません。
- 品質カリキュラム ＋ チェックポイント平均：ソースごとに品質スコアの昇順で並び替えて良質なデータが後方に来るようにし、定数学習率で学習を継続したあと、最後のチェックポイント6つを平均しました。
ヘッドラインコストには、データ処理、小規模な実験、失敗した実行、人件費が含まれておらず、チェックポイント平均を開始した時点は2つの候補から結果を見て選んだものであるため、その利益は選択バイアスを考慮して読む必要があります。
5. カテゴリを横断して見えてくるもの
- オプティマイザはMuon系がデフォルトになりつつあります。 データ論文（nanochatのMuon）、IMU-1（NorMuon）、Puro-2B（MuonH）のいずれも、隠れ層の行列にMuon系を、埋め込み層・出力層・1次元パラメータにAdamWを使用しています。変化しているのは「直交化の結果をどのように再びリサイズするか」（NorMuon、MUON+、MuonH）という点です。
- 学習率スケジュールは「終わりを開けた区間 ＋ 減少」です。 WSDが標準であり、議論の中心は減少区間の長さと形状です。
- データはソース内の品質順に処理されます。 ただし、その品質スコアがAI文章を優遇しているという警告（第2節）と合わせて読む必要があります。品質スコアに基づいてカリキュラムを構築すると、後半のデータのAI比率が上昇する可能性がありますが、どちらのレシピもこの点に言及していません（筆者の推論、未検証）。
- 事後学習については「少なく変更する」という方向へと見解が収束しつつあります。 RLが変更するトークンは稀であり(2605.06241)、少ない問題数でも同様の効果が出て(2504.20571、ReasonMaxxer)、同系統の蒸留はRLとほぼ同じ箇所に到達します(2609.32722)。そのため、ロールアウト効率(2609.25463)と「学習する問題として何を選ぶか」が研究の中心に移行しています。
- 評価を分解して初めて見えてきます。 混ざった検証セットは害を隠し(第2節)、形式の矯正が能力の向上に見えます(第3部)。
6. 論文を読んで小規模に再現する際に気をつけるべきこと
2つの実験を行いながら経験した罠をチェックリストとして残します。
- 学習率は規約と一緒に移行する。 Muonの「0.02」は、サイズスケーリング規約によって意味が異なります(第1部の表)。
- 条件と判定基準は結果を見る前に記述する。 変更が必要な場合は理由と日時を残す。今回もRL実験の課題を学習前に2回変更しましたが、その記録がなければ結果を見てから選んだものと区別できなかったでしょう。
- サンプリングのデフォルト値を確認する。 モデルファイルの
generation_config.jsonに繰り返しペナルティ1.1が含まれており、明示されていない値がRLサンプルに混入しかけました。RLのサンプルはポリシーそのものでなければ勾配式が正しくなりおません。 - 形式と能力を分けて測定する。 第3部ではこの違いが結論を変えました。
- 小規模モデルは異なる動きをすることがある。 2607.16097の20Mモデル、Yue他 表4の150ステップのように、短い学習や小規模モデルでは、大規模モデルの結論がそのまま当てはまらない場合があります。
7. 2つの実験から学んだこと
2つの実験の数値は第2部と第3部にあります。ここでは論文の流れと絡めて3つだけ挙げます。
1. オプティマイザ：小規模スケールでもMuonの利点は大きく、「短く大きなバッチ」側でより顕著だった。 3,400万パラメータのモデルを1億トークンで学習させた場合、学習率をオプティマイザごとに個別に調整した後でも、Muonの最終検証損失はAdamWより0.081低くなりました(シードセット、標準偏差0.003)。同じ損失に達するまでにAdamWは1.4〜1.6倍のトークンを要し、バッチを4倍に拡大すると格差は0.219に広がりました。論文らが言う「大バッチでMuonはデータ効率を維持する」という方向性と一致しており、規模(論文の10〜15%対本実験の40〜60%)の差は短い学習に起因すると考えられます。一方、MUON+の利益はこの規模ではノイズと区別できませんでした(事前定義された学習事では0.013悪く、事後検証で学習率を下げると0.006先行)。2026年の「直交化結果の洗練」という潮流は効果が小さいため、小規模な実験ではノイズとの区別が困難です。
2. RL：「選り抜く」現象は0.5Bでも見られ、形式がその全体像を隠してしまうことがある。 多くの問題に対して行ったGRPOは、計算精度のpass@1を0.25から0.66に引き上げましたが、pass@32は据え置きとなり、さらに学習を進めると低下しました。出力を確認すると、ベースモデルが時折使用していた「掛け算を分解する」解法を選択して定着させていました。これは第4部末尾の「後学習での変更を少なくする」という流れと一致しています。しかし、解答の形式まで採点対象に含めると、同じ結果が「上限も大きく引き上げられた」ように見えました。小規模モデルほど形式矯正の占める割合が大きいことは1-shot RLVRやDr. GRPOがすでに警鐘を鳴らしていた点であり、実際に体験してみると結論を覆すほど大きな影響がありました。
3. 「少ないデータで十分である」という主張は、各種の仕組みと併せて読み解く必要がある。 16問・1問で行ったGRPOは、KL・エントロピー項なしで実行すると形式だけを学習して計算能力は悪化しました。少数の問題で成功した論文は、KL・エントロピー項(1-shot RLVR)やベース分布に縛り付けるアンカー(ReasonMaxxer)を併用していました。「変更を少なくすること」がうまく機能するためには、「変更してはならない箇所を縛り付けておくこと」が伴わなければならないというのが、本シリーズの最後の仮説です(未計測)。
参考文献
- Russell他, "How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text", arXiv 2609.40295.
- Bao他, "Scaling Properties of Same-Family On-Policy Distillation", arXiv 2609.32722.
- Grigorev, "IMU-1: Sample-Efficient Pre-training of Small Language Models", arXiv 2602.02522.
- Luo他, "Puro-2B"(タイトルの残りはGPUモデル名を含むため省略), arXiv 2608.27370.
- Gholipour他, "Rollout Efficiency in RL for Reasoning LLMs", arXiv 2609.25463.
- オプティマイザおよびRLの論文は第1〜3部の参考文献を参照。