标签: #데이터 큐레이션
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
2026年 LLM 训练研究趋势：优化器、数据、蒸馏与 RL
本文按门类整理了 2026 年下半年的 LLM 训练论文。在预训练方面，Muon 系列正逐渐成为默认优化器；一项扩展定律表明，当网络数据中 AI 生成内容的比例超过 31% 时，数据短缺才会凸显其负面影响；而以小预算从头开始训练的配方（IMU-1、Puro-2B）则采用了 Muon 变体、长衰减调度以及质量课程。在后训练方面，“少做改动”成为了共识：一方面分析指出 RL 仅改变少数决策点，另一方面结果显示同系列 on-policy 蒸馏
2026-10-31 · 14 分钟阅读 #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습