标签: #GAE

← 全部文章

• 策略梯度与 PPO：为什么要裁剪比例、优势函数与 GAE、价值函数、熵

  策略梯度是一种提高比平时表现更好的动作概率的方法，而 PPO 通过限制新策略与旧策略的概率比率不会一次性走得太远，从而能够多次复用相同的数据。我们使用 numpy 从零实现了 PPO，并在第 11 篇的摆杆球拍直接控制中进行了训练。在使用 19,200 个球（约 140 万个环境步数）后，评估时的击球成功率在 3 个随机种子的中位数为 83%，如果加入 0.01 的熵奖励，则会提升至 88%，并且种子之间的离散程度也减小了。如果不进行裁

  2026-10-18 · 12 分钟阅读 #탁구 로봇#강화학습#PPO#정책 경사#GAE