标签: #Muon

← 全部文章

• 2026年 LLM 训练研究趋势：优化器、数据、蒸馏与 RL

  本文按门类整理了 2026 年下半年的 LLM 训练论文。在预训练方面，Muon 系列正逐渐成为默认优化器；一项扩展定律表明，当网络数据中 AI 生成内容的比例超过 31% 时，数据短缺才会凸显其负面影响；而以小预算从头开始训练的配方（IMU-1、Puro-2B）则采用了 Muon 变体、长衰减调度以及质量课程。在后训练方面，“少做改动”成为了共识：一方面分析指出 RL 仅改变少数决策点，另一方面结果显示同系列 on-policy 蒸馏

  2026-10-31 · 14 分钟阅读 #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습

• 小型 GPT 实测 AdamW 对比 Muon 对比 MUON+

  使用 3400 万参数的 GPT 在 1 亿个 FineWeb-Edu 托盘（Token）上进行训练，仅更换优化器进行对比。即使为每个优化器单独搜索学习率、对齐 weight decay 的实际强度并调整嵌入层的 AdamW 后，Muon 的最终验证损失仍比 AdamW 低 0.081（种子集，标准差 0.003）。在达到相同损失时，AdamW 需要 1.4–1.6 倍的 Token；当批大小（Batch Size）扩大到 4 倍时，差

  2026-10-31 · 17 分钟阅读 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습

• Muon 详解：将梯度矩阵正交化的优化器

  阅读 2026 年大语言模型（LLM）预训练论文时，经常会看到 Muon 代替 AdamW 出现在优化器的位置。Muon 通过将动量矩阵转换为奇异值全为 1 的矩阵，将原本集中在少数方向的更新均匀分摊到所有方向。由于它用五次矩阵乘法（Newton–Schulz 迭代）来近似替代 SVD，因此计算成本低，并且仅用于隐藏层的二维矩阵。用组合矩阵重新测量后发现，原本前 10 个方向占据的 93.7% 能量在经过 5 次迭代后均匀分散到了 2.

  2026-10-31 · 15 分钟阅读 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+