状态：草稿 (2026-10-18)，实际测量。 数字是通过重新阅读第 11~14 篇的训练结果(
measure/robot-arm-basics/out/rl/*_s{0,1,2}.json, 16 种配置 × 3 个随机种子)计算得出的。 环境为笔记本电脑 (Apple M1 Max, macOS 26.5), Python 3.9.6·numpy 2.0.2。没有实际的机器人实验（未进行硬件测量）。参考资料查阅于 2026-10-18。 编写规则：以实测数据为基础，无法测量的标记为“未实测”，未能确认的标记为“未确认”。
目录
- 1. 直觉：一条完美的曲线可能会说谎
- 2. 规则 1：区分训练球与评估球
- 3. 规则 2：运行多个随机种子并记录中位数与范围
- 4. 规则 3：汇报最后的值，而不是表现最好的瞬间
- 5. 规则 4：与基准线并排摆放
- 6. 规则 5：面向真实目标，确保可复现
- 7. 下一步：真实的乒乓球机械臂
- 8. 局限性
- 9. 总结
- 参考资料
1. 直觉：一条完美的曲线可能会说谎
在强化学习中，即使代码和配置完全相同，结果也会因随机种子（Seed）的不同而产生巨大差异。由于学习曲线上下波动，如果只挑选“最高点”，就会夸大实际能力。 并且，在模拟器中表现出色的策略并不能保证在实物中也同样出色（第 14 篇）。
Henderson 等人于 2017 年指出，基准环境的不确定性和方法本身的方差使得深度强化学习结果难以复现；Agarwal 等人于 2021 年建议，在使用较少次数的运行得出结果时，应使用区间估计、四分位数均值（IQM）等稳健指标以及性能分布图（两篇论文均见摘要）。本文通过第 11~14 篇的实际数据，对本系列所遵循的五条规则进行了检验。
2. 规则 1：区分训练球与评估球
在球拍圆弧附近经过的 7,315 个球中，有一开始就预留出来的 1,000 个球未用于训练。训练结束后，分别在 1,000 个训练球和 1,000 个评估球上对策略进行了评估。
| 比较 | 数值 |
|---|---|
| 训练球 − 评估球成功率差值（成功率超过 10% 的 36 次训练） | 中位数 +0.7%p，范围 −0.9~+4.1%p |
| 名义模拟 − “实物”差值（无随机化的策略，第 14 篇） | 中位数 +10.2%p |
即使分开了球，差异也很小，这是因为这两组球来自相同的分布。我们在 6,315 个球中抽取并击打了 19,000 次，因此策略很难记住单个球。 真正的风险在于分布发生改变时。在物理常数稍有不同的“实物”环境中，同一个策略损失了 10 个百分点。因此，评估必须进行两项测试： 未用于训练的同分布球，以及 故意改变分布的球（不同的反弹、延迟、更快的球、更强的旋转）。
3. 规则 2：运行多个随机种子并记录中位数与范围
| 配置 | 种子 0 | 种子 1 | 种子 2 | 中位数 |
|---|---|---|---|---|
| PPO 基础 | 82.9% | 76.8% | 90.9% | 82.9% |
| 熵 0.01 | 87.7% | 87.5% | 87.8% | 87.7% |
| GAE λ = 1 | 84.2% | 41.9% | 42.6% | 42.6% |
| 混合式（知晓旋转的预测器） | 65.6% | 39.0% | 73.8% | 65.6% |
| 广泛随机化（“实物”） | 54.7% | 52.6% | 75.4% | 54.7% |
如果只运行了种子 0，我们可能会写下“GAE λ = 1 (84.2%) 比 PPO 基础 (82.9%) 更好”。但观察三个种子就会发现，λ = 1 失败了两次。相反，熵奖赏在三个种子下都集中在 0.3 个百分点以内，这为“稳定”这一说法提供了依据。3 个种子仍然较少，因此在第 12~14 篇中，范围重叠的配置之间没有进行排名。
4. 规则 3：汇报最后的值，而不是表现最好的瞬间
在训练过程中，每重复 20 次（混合式为 10 次）进行一次评估。我们比较了如果从中挑选最高值会发生什么情况。
| 配置 | 最后值中位数 | 最佳值中位数 | 夸大程度 |
|---|---|---|---|
| PPO 基础 | 82.9% | 82.9% | 0%p |
| 混合式（不知晓旋转的预测器） | 46.3% | 47.8% | +1.5%p |
| GAE λ = 1 | 42.6% | 45.6% | +3.0%p |
| 广泛随机化 | 57.4% | 60.3% | +2.9%p |
| 混合式（知晓旋转的预测器） | 65.6% | 79.6% | +14.0%p |
在稳步上升的配置中差异不大，但在有波动的配置中，“最佳值”将结果夸大了 14 个百分点。更根本的问题是，这个“最佳值” 是通过评估球挑选出来的。如果评估球被用于选择检查点（Checkpoint），它就不再是初次见到的球了。如果必须选择检查点，应当从训练球中单独划分出验证球来进行挑选，而评估球只能在最后使用一次。
5. 规则 4：与基准线并排摆放
| 方法 | 评估球成功率 |
|---|---|
| 随机策略 | 1.5% |
| 使用不知晓旋转的模型进行网格搜索的经典规划器 | 40.0% |
| 混合动作空间的最优常数动作 | 45.9% |
| 混合动作空间的上限（通过真实结果挑选） | 85.4% |
| PPO 直接控制（塑形奖赏） | 82.9% |
| PPO 直接控制 + 关节极限惩罚 | 89.2% |
仅凭“PPO 达到 83%”这个数字，无法判断其好坏。只有将随机策略的 1.5%、经典规划器的 40%、相同动作空间上限的 85% 放在一起对比，才能说出“这是使用错误模型的规划器的两倍，且接近单自由度球拍所能达到的上限”。第 13 篇中的混合式（46%）与最优常数动作（46%）相同这一事实，如果没有基准线，也会被误读为“训练成功了”。
6. 规则 5：面向真实目标，确保可复现
- 以真实目标进行评估。 在第 13 篇中，获得“只要击中就得奖”的策略在奖赏标准下成功率为 98%，但落入球台的球仅有 0~9%。无论训练奖赏是什么，评估都只看一点：“是否击入了对方球台”。
- 评估不包含随机性。 虽然训练中的策略从正态分布中抽取动作，但评估时只使用平均动作。用相同的策略评估相同的球，会得出相同的数字。
- 确认可复现性。 第 14 篇的“无随机化”实验与第 12 篇的 PPO 基础配置相同，只是多做了一项评估。两个实验的名义模拟成功率在每个种子上精确到了小数点后（82.9%、76.8%、90.9%）。如果固定随机种子和代码，这个玩具环境中的训练是确定性的。由于真实的机器人或 GPU 并行物理仿真无法做到这一点（未实测），因此需要更多的随机种子和区间估计。
- 记录环境。 Python·numpy 版本、CPU、并发执行数量、训练量（回合·环境步数）以及训练时间均随结果一同保留（第 12 篇状态横幅）。
7. 下一步：真实的乒乓球机械臂
第 11~15 篇的玩具问题旨在用数字展示原理。在同一个项目中，我们正在 MuJoCo 乒乓球模拟器上使用接近真实结构的机械臂进行强化学习。撰写本文时，相关结果尚未整理完毕，因此未纳入具体数字。当结果出炉后，本系列将推出“实际训练结果”篇，严格遵循本文的五条规则（划分评估球、多个随机种子、最后的值、基准线、真实目标）进行汇报。
| 篇 | 玩具问题中测得的核心要点 |
|---|---|
| 11 | 基准线：随机 1.5%，错误模型的规划器 40%，动作空间上限 85%。通过 4,096 个并行处理吞吐量提升 353 倍 |
| 12 | PPO 83%（熵为 0.01 时 88%）。无裁剪·λ = 0 为 0% |
| 13 | 奖赏作弊：98% 击中却有 0% 入台。通过极限惩罚将极限碰撞从 79% 降至 8% 以下。混合式速度快，但陷入了经典部分（46% → 知晓旋转时 66%） |
| 14 | 在“实物”中无随机化下降 10 个百分点，窄随机化表现最好，达到“实物”的 80% |
| 15 | 根据种子不同在 42% 与 84% 之间波动，“最佳值”最多夸大 14 个百分点 |
8. 局限性
- 仅有 3 个随机种子。我们没有计算 Agarwal 等人推荐的区间估计（自助法置信区间）和 IQM。当只有 3 个种子时，IQM 等同于中位数。
- 1,000 个评估球的成功率在成功率为 50~85% 时的抽样误差约为 ±2.2~3.1%p（95%，二项分布近似，由我们计算）。小于此范围的差异没有意义。
- “不同分布”的评估仅进行了第 14 篇中的“实物”一项。诸如更快的球、更强的旋转等分布偏移评估属于未实测项。
9. 总结
- 区分训练球与评估球，并单独进行不同分布的评估。同分布内的差异在 1 个百分点左右，而当分布改变时则达到 10 个百分点。
- 使用多个随机种子，并以中位数和范围进行汇报。仅凭单个种子会导致结论完全反转。
- 汇报最后的值，而不是表现最好的瞬间。切勿使用评估球来挑选检查点。
- 数字必须与基准线并排摆放才具有实际意义。
蒂蒂寄语。 只展示一个练习球打得很好的视频，谁都能看起来像个运动员。必须用初次见到的球、多次测试、展示最后的真实水平，那才是真的厉害！
参考资料
所有资料均查阅于 2026-10-18。
- Henderson, Islam, Bachman, Pineau, Precup, Meger, Deep Reinforcement Learning that Matters, arXiv:1709.06560, 摘要。
- Agarwal, Schwarzer, Castro, Courville, Bellemare, Deep Reinforcement Learning at the Edge of the Statistical Precipice, arXiv:2108.13264(NeurIPS 2021), 摘要。