标签: #학습률 탐색
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
小型 GPT 实测 AdamW 对比 Muon 对比 MUON+
使用 3400 万参数的 GPT 在 1 亿个 FineWeb-Edu 托盘（Token）上进行训练，仅更换优化器进行对比。即使为每个优化器单独搜索学习率、对齐 weight decay 的实际强度并调整嵌入层的 AdamW 后，Muon 的最终验证损失仍比 AdamW 低 0.081（种子集，标准差 0.003）。在达到相同损失时，AdamW 需要 1.4–1.6 倍的 Token；当批大小（Batch Size）扩大到 4 倍时，差
2026-10-31 · 17 分钟阅读 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습