标签: #2026 LLM 학습 논문 읽기

← 全部文章

• 2026年 LLM 训练研究趋势：优化器、数据、蒸馏与 RL

  本文按门类整理了 2026 年下半年的 LLM 训练论文。在预训练方面，Muon 系列正逐渐成为默认优化器；一项扩展定律表明，当网络数据中 AI 生成内容的比例超过 31% 时，数据短缺才会凸显其负面影响；而以小预算从头开始训练的配方（IMU-1、Puro-2B）则采用了 Muon 变体、长衰减调度以及质量课程。在后训练方面，“少做改动”成为了共识：一方面分析指出 RL 仅改变少数决策点，另一方面结果显示同系列 on-policy 蒸馏

  2026-10-31 · 14 分钟阅读 #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습

• 强化学习是在筛选吗：用 0.5B 模型重新测量的 GRPO 与 pass@k

  强化学习后训练究竟是创造了新能力，还是挑选出了基础模型偶尔能给出的答案？我们在 0.5B 指令模型上用三位数乘法算术直接运行了 GRPO，并测量了 pass@k。通过大量问题训练 75 步后，计算准确率（pass@1）从 0.25 升到了 0.66，但抽样 32 次且至少答对一次的概率从 0.84 降至 0.81，保持基本一致。若将步数增加到 150 步，该上限会降至 0.68，从 k=16 开始，基础模型反而超越了它。如果只看连答案格

  2026-10-31 · 24 分钟阅读 #강화학습#GRPO#RLVR#pass@k#LoRA

• 小型 GPT 实测 AdamW 对比 Muon 对比 MUON+

  使用 3400 万参数的 GPT 在 1 亿个 FineWeb-Edu 托盘（Token）上进行训练，仅更换优化器进行对比。即使为每个优化器单独搜索学习率、对齐 weight decay 的实际强度并调整嵌入层的 AdamW 后，Muon 的最终验证损失仍比 AdamW 低 0.081（种子集，标准差 0.003）。在达到相同损失时，AdamW 需要 1.4–1.6 倍的 Token；当批大小（Batch Size）扩大到 4 倍时，差

  2026-10-31 · 17 分钟阅读 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습

• Muon 详解：将梯度矩阵正交化的优化器

  阅读 2026 年大语言模型（LLM）预训练论文时，经常会看到 Muon 代替 AdamW 出现在优化器的位置。Muon 通过将动量矩阵转换为奇异值全为 1 的矩阵，将原本集中在少数方向的更新均匀分摊到所有方向。由于它用五次矩阵乘法（Newton–Schulz 迭代）来近似替代 SVD，因此计算成本低，并且仅用于隐藏层的二维矩阵。用组合矩阵重新测量后发现，原本前 10 个方向占据的 93.7% 能量在经过 5 次迭代后均匀分散到了 2.

  2026-10-31 · 15 分钟阅读 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+