タグ: #PPO

← すべての記事

• 政策勾配とPPO：クリッピングの理由、アドバンテージ関数とGAE、価値関数、エントロピー

  政策勾配は普段より良かった行動の確率を上げる手法であり、PPOは一度に大きく変化しすぎないよう新しい政策と古い政策の確率比率をクリッピングし、同じデータを複数回使用します。numpyでPPOをスクラッチ実装し、第11話の振り子ラケットを直接制御で学習させました。19,200個のボール（環境ステップ約140万）を使用した後の評価ボール成功率は3シードの中央値で83％であり、エントロピーボーナス0.01を加えると88％となりシード間のばらつ

  2026-10-18 · 12 分で読めます #탁구 로봇#강화학습#PPO#정책 경사#GAE

• 卓球アーム強化学習：基準線を超えたが、利得の大部分は学習によるものではなかった

  5つの古典的制御基準線と同じボール、同じロボットで2種類の強化学習を学習しました。打撃パラメータのみを選択するハイブリッドRLは、返球成功率が真の状態84.8%、120 Hz・30 ms 83.8%、120 Hz・100 ms 58.2%となり、基準線（61.6、59.2、26.6%）を大きく超えました。しかし、学習なしで新しい名目プランナーを使うだけでも83.2、80.6、53.6%でした。学習の純利得は1.6〜4.6%pであり、利得

  2026-10-17 · 15 分で読めます #탁구 로봇#강화학습#PPO#MuJoCo Warp#하이브리드 제어