标签: #PPO

← 全部文章

• 策略梯度与 PPO：为什么要裁剪比例、优势函数与 GAE、价值函数、熵

  策略梯度是一种提高比平时表现更好的动作概率的方法，而 PPO 通过限制新策略与旧策略的概率比率不会一次性走得太远，从而能够多次复用相同的数据。我们使用 numpy 从零实现了 PPO，并在第 11 篇的摆杆球拍直接控制中进行了训练。在使用 19,200 个球（约 140 万个环境步数）后，评估时的击球成功率在 3 个随机种子的中位数为 83%，如果加入 0.01 的熵奖励，则会提升至 88%，并且种子之间的离散程度也减小了。如果不进行裁

  2026-10-18 · 12 分钟阅读 #탁구 로봇#강화학습#PPO#정책 경사#GAE

• 乒乓球手臂强化学习：超越了基准线，但收益的大部分并非来自学习

  我们在与前 5 篇中相同的球和机器人上，学习了两种强化学习方法，并与五种经典控制基准线进行了对比。仅选择击球参数的混合式 RL，其回球成功率在真实状态下为 84.8%、120 Hz 且 30 ms 延迟下为 83.8%、120 Hz 且 100 ms 延迟下为 58.2%，大幅超越了基准线（61.6%、59.2%、26.6%）。然而，在不进行学习、仅使用新的标称规划器的情况下，成功率也达到了 83.2%、80.6% 和 53.6%。学习

  2026-10-17 · 15 分钟阅读 #탁구 로봇#강화학습#PPO#MuJoCo Warp#하이브리드 제어