标签: #Newton-Schulz
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
Muon 详解：将梯度矩阵正交化的优化器
阅读 2026 年大语言模型（LLM）预训练论文时，经常会看到 Muon 代替 AdamW 出现在优化器的位置。Muon 通过将动量矩阵转换为奇异值全为 1 的矩阵，将原本集中在少数方向的更新均匀分摊到所有方向。由于它用五次矩阵乘法（Newton–Schulz 迭代）来近似替代 SVD，因此计算成本低，并且仅用于隐藏层的二维矩阵。用组合矩阵重新测量后发现，原本前 10 个方向占据的 93.7% 能量在经过 5 次迭代后均匀分散到了 2.
2026-10-31 · 15 分钟阅读 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+