状态：草稿 (2026-10-31)。 论文中的数据直接取自 arXiv 原文（正文为同版本 HTML），并标注了表格和图表编号。第 7 节的实验经验来自于本系列第 2 篇和第 3 篇的实测。挑选论文的依据（Hugging Face 点赞数、公开数据集下载量）均为 2026-10-31 确认的值。 编写规则：以实测数据为准，未能测量的数据标记为“未实测”，未确认的内容标记为“未确认”。
目录
- 1. 本文导读
- 2. 数据：网络上的 AI 生成文本究竟值多少钱
- 3. 蒸馏：同系列模型之间的 on-policy 蒸馏
- 4. 小模型配方：更少的 Token，更少的成本
- 5. 跨门类观察到的现象
- 6. 阅读论文并进行小规模复现时的注意事项
- 7. 从两个实验中学到的经验
- 参考文献
1. 本文导读
前三篇文章深入探讨了两个问题：“Muon 比 AdamW 更好吗？”（第 1 篇, 第 2 篇）以及“RL 能创造出新能力吗？”（第 3 篇）。本文将退一步，从 2026 年下半年（7-10 月）发表的训练论文中挑选出影响力较大的论文来总结其趋势。在预训练方面，除了优化器，我们还将探讨 数据和 小模型配方；在后训练方面，除了 RL，我们还将探讨 蒸馏。
筛选方法如下：在 2026-07-01 至 10-31 期间按关键词在 arXiv 上搜索，并按点赞数对 122 天的 Hugging Face 每日论文进行排序，最后在数据策展与混合、蒸馏、小模型预训练领域挑选出点赞数、公开数据集使用量以及代码仓库 Star 数表现突出的论文。由于引用量在发表 1 到 3 个月内尚无区分度，因此未予采用。
| 门类 | 论文 | 一句话总结 |
|---|---|---|
| 优化器 | MUON+, Spectral Allocation, SOAP·Muon and Beyond | 第 1、2 篇 |
| 数据 | How Much Is an AI Token Worth?(2609.40295) | 网络中的 AI 文本仅在数据短缺时才会有所帮助 |
| 蒸馏 | Scaling Properties of Same-Family On-Policy Distillation(2609.32722) | 学生准确率随 √KL 线性上升，且超越了较弱的教师模型 |
| 小模型 | IMU-1(2602.02522), Puro-2B(2608.27370) | 以小预算从头开始进行预训练的配方 |
| RL | 2605.06241, 2607.16097, 2609.25463 | 第 3 篇 |
2. 数据：网络上的 AI 生成文本究竟值多少钱
“How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text”（arXiv 2609.40295，马里兰大学、Pangram Labs）量化了当前预训练数据中最现实的问题。网络爬取数据中已经混入了大量 AI 编写的文本。在通过 FineWeb 过滤器的 Token 中，被判定为 AI 生成的比例从 2024 年 6 月的 10.1%、2025 年 6 月的 16.1% 增加到 2026 年 8 月的 31.1%（图 1）。更棘手的是，质量过滤器 更容易保留AI 文本。在审核了 1 万个原始抓取文档后发现，在 FineWeb 管道中，AI 文档通过过滤器的比例比人类文档高 2.3 倍，在 DCLM 管道中高 9.8 倍（图 2）。
作者训练了 800 个 19.9M–973M 的模型，在固定人类 Token 的同时增加 AI Token，并测量人类文本的验证损失。结论是符号发生了翻转。对于人类 Token/参数比低于 10 且数据短缺的模型，AI Token 降低了损失；但在 20（Chinchilla 最优）及以上时，添加的 AI Token 越多，损失反而越高。同等数量的新人类 Token 则会持续降低损失（图 3）。拟合这一现象的新扩展定律的预测误差约为 Chinchilla 公式的一半（表 1）。评估方面也有教训：如果用混有 22% AI 文本的验证集进行测试，95.5% 的有害训练会被误认为是改进（图 6）。这意味着验证集必须区分为人类文本和 AI 文本。
原文中也有需要注意的局限性。部分共同作者隶属于 AI 文本检测公司，且研究经费由该公司提供。“AI 文本”的定义取决于该公司检测器的判定，且扩展定律仅验证到了 973M，这些都是其局限性。
3. 蒸馏：同系列模型之间的 on-policy 蒸馏
“Scaling Properties of Same-Family On-Policy Distillation”（arXiv 2609.32722）是 7-10 月蒸馏论文中 Hugging Face 点赞数最多的一篇（329）。On-policy 蒸馏（OPD）针对学生自己生成的答案，将每个 token 的“教师对数概率 − 学生对数概率”作为奖励。与通过模仿教师答案来进行训练的 SFT（off-policy）不同，它让学生从自己实际走过的路径中学习。
将 Qwen2.5 0.5B–14B 通过数学 RL 训练为教师模型，并交叉大小进行蒸馏后，有三点引人注目。在训练初期，学生的准确率几乎随 √KL（学生偏离初始状态的程度）呈线性上升（25 次运行的线性拟合 R² 为 0.932–0.988，图 2）。用较弱的教师模型教较强的学生，学生可以超越教师（图 4）。并且，在准确率相同的情况下， 较小的教师模型教得更好（幂律的教师规模指数 β = −0.27，表 2）。如果先通过 SFT 预热教师答案再开始，在“弱教师 → 强学生”的组合中会产生严重的负面影响（对于 0.5B 教师，3B/7B/14B 学生的得分为 −6.6/−15.7/−19.4 分）。其适用范围较窄：仅涉及一个模型系列、一个任务（数学）以及每种组合一次运行。
结合第 3 篇的实验一起阅读会很有趣。在所有五种规模下，同架构基底之间的 OPD 结果与直接对学生进行 RL 的结果相差在 0.5 分以内（第 4.1 节）。如果 RL 改变的是稀疏决策点的选择（2605.06241），这与“通过教师的分布直接传授该选择也能达到几乎相同的效果”这一图景相吻合。
4. 小模型配方：更少的 Token，更少的成本
IMU-1(2602.02522)
由独立研究员编写的 IMU-1 用 72B token 训练了一个 430M 的模型，其得分接近使用了 4T token 的 SmolLM2-360M（平均 0.574 对 0.586，表 3）。这是一篇汇集并验证了近期技术的配方论文，而非提出全新技术。其架构增加了 QK-Norm、多头门控、归一化价值残差以及分层归一化缩减；优化器使用了 NorMuon（将 Muon 结果按神经元重新归一化），并结合了 Cautious Weight Decay（仅在更新与权重符号相同时才进行衰减）以及 μP。嵌入层、输出层和一维参数则使用 AdamW。学习率采用 WSD，并在最后 20% 阶段采用 1−√t 形状的衰减，在 70M 消融实验中，20% 的衰减达到了与余弦衰减相同的损失（3.125，表 7）。数据分为三个阶段，每个阶段提高质量分数阈值。由于原文中学习率记录了 0.0235、0.013 和 0.011 三个相互矛盾的值，因此在直接复制使用前需要进行验证。
Puro-2B(2608.27370)
清华大学团队的 Puro-2B 在消费级 GPU 上从头训练了一个 2B 模型，达到了 1.4T token，最终运行的加速器租赁折算成本约为 6,900 美元。在 15 个基准测试的平均分上，它超过了 Qwen2-1.5B，并接近 Qwen2.5-1.5B（表 3·4）。核心技术有三项。
- MuonH：将每个矩阵初始范数的球面上的权重固定（更新后重新投影），并将 weight decay 设为 0。这使得有效学习率变得明确，并且在相同的损失下，比调优后的 Muon 减少了 16.1% 的计算量（第 4.3.1 节）。
- 长线性衰减：最大学习率越高、训练时间越长，衰减区间就应该越长（0.6B 探索，图 6）。这表面上与 IMU-1 的“20% 最优”相冲突，但由于最大学习率、token 数量和衰减形状不同，无法直接进行比较。
- 质量课程 + 检查点平均：按每个来源的质量分数升序排列，使优质数据排在后面，使用恒定学习率继续训练，最后对最后六个检查点进行平均。
头条成本中未包含数据处理、小规模实验、失败运行以及人工成本，且开始进行检查点平均的时间点是从两个候选中根据结果挑选出来的，因此在解读其收益时应考虑选择偏差。
5. 跨门类观察到的现象
- 优化器方面，Muon 系列正逐渐成为默认选择。 数据论文（nanochat 的 Muon）、IMU-1（NorMuon）和 Puro-2B（MuonH）都在隐藏层矩阵中使用了 Muon 系列，而在嵌入层、输出层和一维参数中使用了 AdamW。改变的仅是“如何重新调整正交化结果的大小”（NorMuon、MUON+、MuonH）。
- 学习率调度方面，“开放结尾的区间 + 衰减”成为了主流。 WSD 已成为标准，争论点在于衰减区间的长度和形状。
- 数据处理按来源内部的质量顺序进行。 但我们必须结合警告（第 2 节）来审视这些质量分数偏爱 AI 文本的现象。如果根据质量分数构建课程，后半段数据的 AI 比例可能会上升，但两个配方都没有讨论这一点（笔者推测，未经验证）。
- 后训练的理解正逐渐收敛于“少做改动”的方向。 RL 改变的 token 很少(2605.06241)，用很少的问题也能达到类似的效果(2504.20571, ReasonMaxxer)，同系列的蒸馏几乎会触及与 RL 相同的地方(2609.32722)。因此，Rollout 效率(2609.25463)以及“选择什么作为学习的问题”正在成为研究的中心。
- 只有拆分评估才能看清这一点。 混合的验证集会掩盖危害(第 2 节)，而格式修正看起来像是能力提升(第 3 篇)。
6. 阅读论文并进行小型复现时的注意事项
在此次进行两个实验的过程中遇到的陷阱整理为一份检查清单。
- 学习率应与缩放规范一同迁移。 Muon 的 “0.02” 根据大小校准规范具有不同的含义(第 1 篇表)。
- 条件和判定标准应在看到结果之前写下。 如果需要更改，请留下原因和时间。这次 RL 实验的任务也在学习前更改了两次，如果没有这些记录，将无法区分这究竟是根据结果挑选的还是原本如此。
- 检查采样默认值。 模型文件的
generation_config.json中包含 1.1 的重复惩罚，未明确指定的值差点混入 RL 样本中。RL 的样本必须保持原本的策略，梯度公式才能成立。 - 分别衡量格式与能力。 在第 3 篇中，这一差异改变了结论。
- 小模型可能会有不同的表现。 就像 2607.16097 中的 20M 模型、Yue 等人的表 4 中的 150 步一样，在短时间训练和小模型中，大模型的结论可能无法直接复现。
7. 从两个实验中学到的经验
两个实验的数据在第 2 篇和第 3 篇中。这里结合论文脉络，只总结三点。
1. 优化器：即使在小规模下，Muon 的优势也很明显，并且在“短周期、大批次”时更为明显。 当使用 3400 万参数的模型以 1 亿 token 进行训练时，即使为每个优化器分别调整了学习率，Muon 的最终验证损失仍比 AdamW 低 0.081（种子集，标准差 0.003）。达到相同的损失，AdamW 需要 1.4–1.6 倍的 token，而当批次扩大 4 倍时，差距拉大到了 0.219。这与论文中提到的“Muon 在大批次中保持数据效率”的方向一致，而规模上的差异（论文中的 10–15% 对比本实验的 40–60%）则归因于较短的训练时间。另一方面，在这个规模下，MUON+ 的增益与噪声无法区分（在预设学习率下表现差 0.013，事后检查中降低学习率后领先 0.006）。2026 年的“正交化结果微调”分支效果较小，通过小型实验很难将其与噪声区分开来。
2. RL：“筛选”现象在 0.5B 模型中也能看到，而格式可能会掩盖这一图景。 使用大量问题进行 GRPO 将计算准确率 pass@1 从 0.25 提高到了 0.66，但 pass@32 保持不变，继续训练反而会下降。观察回复可以发现，模型挑选并固化了基座偶尔会使用的“拆分乘法”解法。这与第 4 节末尾的“后训练少做修改”的趋势相符。然而，如果连答案格式也纳入评分，同样的就会表现为“上限也大幅提升了”。正如 1-shot RLVR 和 Dr. GRPO 已经警告过的那样，模型越小，格式修正所占的比重就越大，而亲身体验后发现，这种影响大到足以颠覆结论。
3. “少量数据就足够了”这一结论必须结合相应的机制来理解。 在使用 16 个或 1 个问题进行 GRPO 时，如果去掉了 KL 散度或熵项，模型就只学会了格式而计算能力变差了。那些通过少量问题取得成功的论文都同时使用了 KL 散度/熵项（1-shot RLVR）或将其锚定在基座分布上的锚点（ReasonMaxxer）。本系列最后的假说（未经验证）是：“少修改”若想发挥作用，就必须伴随着“将不应修改的地方锚定住”。
参考文献
- Russell 等, "How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text", arXiv 2609.40295.
- Bao 等, "Scaling Properties of Same-Family On-Policy Distillation", arXiv 2609.32722.
- Grigorev, "IMU-1: Sample-Efficient Pre-training of Small Language Models", arXiv 2602.02522.
- Luo 等, "Puro-2B"（标题其余部分包含 GPU 模型名称故略去）, arXiv 2608.27370.
- Gholipour 等, "Rollout Efficiency in RL for Reasoning LLMs", arXiv 2609.25463.
- 优化器与 RL 相关论文见第 1–3 篇参考文献。