标签: #LLM 사전학습

← 全部文章

• 小型 GPT 实测 AdamW 对比 Muon 对比 MUON+

  使用 3400 万参数的 GPT 在 1 亿个 FineWeb-Edu 托盘（Token）上进行训练，仅更换优化器进行对比。即使为每个优化器单独搜索学习率、对齐 weight decay 的实际强度并调整嵌入层的 AdamW 后，Muon 的最终验证损失仍比 AdamW 低 0.081（种子集，标准差 0.003）。在达到相同损失时，AdamW 需要 1.4–1.6 倍的 Token；当批大小（Batch Size）扩大到 4 倍时，差

  2026-10-31 · 17 分钟阅读 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습

• Muon 详解：将梯度矩阵正交化的优化器

  阅读 2026 年大语言模型（LLM）预训练论文时，经常会看到 Muon 代替 AdamW 出现在优化器的位置。Muon 通过将动量矩阵转换为奇异值全为 1 的矩阵，将原本集中在少数方向的更新均匀分摊到所有方向。由于它用五次矩阵乘法（Newton–Schulz 迭代）来近似替代 SVD，因此计算成本低，并且仅用于隐藏层的二维矩阵。用组合矩阵重新测量后发现，原本前 10 个方向占据的 93.7% 能量在经过 5 次迭代后均匀分散到了 2.

  2026-10-31 · 15 分钟阅读 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+