标签: #강화학습

← 全部文章

• 强化学习评估：训练球与评估球、多个随机种子的中位数、汇报最后的值、基准线

  强化学习的结果如果只看单个随机种子、只看表现最好的一次，很容易被夸大。我们重新阅读了第 11~14 篇中的 48 次训练，用数字对评估规则进行了检查。在相同配置下，根据种子的不同，成功率在 42% 和 84% 之间分化；如果选择训练过程中表现最好的评估值，中位数比最后的值最多高出 14 个百分点。虽然训练使用的球和未使用的球之间的差异较小，中位数为 0.7 个百分点，但如果迁移到物理特性略有不同的“实物”环境中，成功率则下降了 10 个

  2026-10-18 · 10 分钟阅读 #탁구 로봇#강화학습#평가#재현성#시드

• 从仿真到真实：域随机化、延迟与噪声建模、系统辨识、大规模并行仿真

  在仿真器中学习到的策略，在真实世界中出错的程度取决于仿真器出错的程度。我们针对摆球拍问题单独制作了一个具有“真实”特性的环境：球拍反弹 0.72、观测延迟 20 ms、位置噪声 5 mm、空气阻力 1.1 倍、马格努斯效应 1.5 倍，并尝试了四种训练分布。没有进行随机化的策略从标称仿真环境的 83% 下降到“真实”环境的 73%。窄范围随机化在“真实”环境中表现最好，达到 80%；宽范围随机化使仿真与“真实”之间的差距缩小到 3%，但

  2026-10-18 · 11 分钟阅读 #탁구 로봇#강화학습#sim2real#도메인 랜덤화#시스템 식별

• 奖励设计与动作空间：稀疏奖励与塑形奖励、奖励黑客攻击、关节极限惩罚、直接控制与混合控制

  强化学习只会学习奖励所指示的内容。在使用 PPO 算法对 12 篇中的乒乓球拍施加五种奖励进行训练时，我们发现“进球即得 1 分”的稀疏奖励达到了 87%，塑形奖励达到了 83%，两者相差无几；而“只要击中就给奖”或“快速击球就给奖”则导致了奖励黑客攻击，球拍击中率高达 98%，但成功率却只有 0%~9%。引入关节极限惩罚后，触及极限的轮次占比从最高 79% 降低到了 8% 以下，成功率达到了 89%。将动作空间简化为两个击球参数的混合

  2026-10-18 · 12 分钟阅读 #탁구 로봇#강화학습#보상 설계#보상 해킹#행동 공간

• 策略梯度与 PPO：为什么要裁剪比例、优势函数与 GAE、价值函数、熵

  策略梯度是一种提高比平时表现更好的动作概率的方法，而 PPO 通过限制新策略与旧策略的概率比率不会一次性走得太远，从而能够多次复用相同的数据。我们使用 numpy 从零实现了 PPO，并在第 11 篇的摆杆球拍直接控制中进行了训练。在使用 19,200 个球（约 140 万个环境步数）后，评估时的击球成功率在 3 个随机种子的中位数为 83%，如果加入 0.01 的熵奖励，则会提升至 88%，并且种子之间的离散程度也减小了。如果不进行裁

  2026-10-18 · 12 分钟阅读 #탁구 로봇#강화학습#PPO#정책 경사#GAE

• 强化学习的框架：通过乒乓球臂理解 MDP、状态·动作·奖励·折扣、策略与价值函数

  强化学习通过不断重复“观察状态—选择动作—获得奖励”的过程，来寻找能够最大化奖励之和的策略。本文将该框架（MDP）的五个要素一一对应到乒乓球臂上，并创建了将在第 11~15 篇中共同使用的玩具问题（Toy Problem）。我们在侧视二维环境中放置了一个 1 自由度的摆式球拍，并将 DeepMind 的真实击球数据用于发球。随机策略成功回球率为 1.5%，使用不了解旋转的模型在网格中搜索的经典规划器为 40%，相同动作空间的上限为 85

  2026-10-18 · 12 分钟阅读 #탁구 로봇#강화학습#MDP#가치 함수#할인율

• 经典方法与强化学习：什么用方程求解，什么交由学习处理

  乒乓球机器人的论文都将方程与学习结合起来，但划分边界的位置各有不同。Mülling 等 (2013) 将动作选择交由学习处理，Büchler 等 (2022) 将直到肌肉控制的整个过程交由学习处理，Google DeepMind (2024) 则将技术及技术选择交由学习处理。我们通过一个小实验重新审视了这个问题。在球拍模型错误（反弹系数 0.72 对模型 0.8）的情况下，仅使用方程时的落点误差为 24.5 cm；而如果仅用数据重新调整

  2026-10-18 · 15 分钟阅读 #탁구 로봇#강화학습#하이브리드 제어#시스템 식별#정책 탐색

• 乒乓球机器人回球全过程：分步仿真视频中的计算解析

  本视频通过 MuJoCo 录制了乒乓球机器人接住对手击球并将其打入对方球场目标位置的全过程，并将其拆解为观测、预测、击球决策、逆运动学、轨迹、接触和着陆七个步骤。在 0.2 s 时，球经过 21 次观测做出了第一次规划；在 0.497 s 弹地后，经过 4 次观测重新规划；在 0.543 s 击中球，落点距离目标 3.7 cm。重新规划后，在剩余的 39 ms 内，横轴加速度需求达到了极限的 8 倍（323 m/s²），导致落后了 6.

  2026-10-18 · 31 分钟阅读 #탁구 로봇#MuJoCo#시뮬레이션 영상#역기구학#궤적 생성