タグ: #강화학습

← すべての記事

• 報酬設計と行動空間: 希薄報酬と形骸化報酬、報酬ハッキング、関節限界ペナルティ、直接制御対ハイブリッド

  強化学習は報酬が語る通りのことしか学習しません。第12話の振り子ラケットに5種類の報酬を与えてPPOで学習させたところ、「入れれば1」の希薄報酬が87%、形を与えた報酬が83%と似ており、「当てるだけでボーナス」や「ボールを速く送るとボーナス」を与えると、ラケットに98%の確率で当たるものの成功は0〜9%という報酬ハッキングが発生しました。関節限界ペナルティを入れると、限界に達するエピソードが最大79%から8%未満に減り、成功率は89%

  2026-10-18 · 12 分で読めます #탁구 로봇#강화학습#보상 설계#보상 해킹#행동 공간

• 強化学習の評価：学習用ボールと評価用ボール、複数シードの中央値、最後の値の報告、ベースライン

  強化学習の結果は、1つのシードや最も良かった瞬間だけを見ると簡単に誇張されてしまいます。第11〜14話の学習48回を読み直し、評価のルールを数値で検証しました。同じ設定であっても、シードによって成功率が42%と84%に分かれ、学習中最も良かった評価値を選ぶと、最後の値よりも中央値が最大14%p高くなりました。学習に使ったボールと使っていないボールの差は中央値0.7%pと小さかったものの、物理法則が少し異なる「実物」に移行すると10%p低

  2026-10-18 · 10 分で読めます #탁구 로봇#강화학습#평가#재현성#시드

• シミュレーションから実世界へ：ドメインランダム化、遅延・ノイズモデリング、システム同定、大規模並列シミュレーション

  シミュレータで学習したポリシーは、シミュレータが間違っている分だけ実世界でも間違えます。振り子ラケットの問題において、ラケット反発0.72、観測遅延20 ms、位置ノイズ5 mm、抗力1.1倍、マグナス効果1.5倍の「実物」を別途作成し、学習分布を4つに分けて試してみました。ランダム化なしで学習したポリシーは、公称シミュレーションの83%から「実物」の73%へと低下しました。狭いランダム化は「実物」で80%と最も良く、広いランダム化はシ

  2026-10-18 · 11 分で読めます #탁구 로봇#강화학습#sim2real#도메인 랜덤화#시스템 식별

• 強化学習の枠組み：MDP、状態・行動・報酬・割引、方針と価値関数を卓球のラケットで読み解く

  強化学習は、状態を見て行動を選び、報酬を受け取ることを繰り返し、報酬の総和を大きくする方針を探します。この記事では、その枠組み（MDP）の5つの要素を卓球のラケットに1つずつ対応させ、第11〜15回で共通して使用するトイプロブレムを作成します。横から見た2次元空間に1自由度の振り子ラケットを置き、DeepMindの実データを元にボールを送りました。ランダム方針はボールを1.5%しか返せず、回転を知らないモデルで格子を探索した古典的プラン

  2026-10-18 · 12 分で読めます #탁구 로봇#강화학습#MDP#가치 함수#할인율

• 政策勾配とPPO：クリッピングの理由、アドバンテージ関数とGAE、価値関数、エントロピー

  政策勾配は普段より良かった行動の確率を上げる手法であり、PPOは一度に大きく変化しすぎないよう新しい政策と古い政策の確率比率をクリッピングし、同じデータを複数回使用します。numpyでPPOをスクラッチ実装し、第11話の振り子ラケットを直接制御で学習させました。19,200個のボール（環境ステップ約140万）を使用した後の評価ボール成功率は3シードの中央値で83％であり、エントロピーボーナス0.01を加えると88％となりシード間のばらつ

  2026-10-18 · 12 分で読めます #탁구 로봇#강화학습#PPO#정책 경사#GAE

• 古典的手法と強化学習：何を方程式で解き、何を学習に任せるか

  卓球ロボットの論文はいずれも方程式と学習を組み合わせていますが、その境界を引く場所が異なります。Müllingら（2013年）は動作選択を、Büchlerら（2022年）は筋肉制御までの全てを、Google DeepMind（2024年）は技術と技術の選択を学習に任せました。同じ疑問を小さな実験で検証してみました。ラケットモデルが間違っている状態（反発係数0.72、モデルは0.8）で方程式のみを使用した場合、着地誤差は24.5 cmでし

  2026-10-18 · 15 分で読めます #탁구 로봇#강화학습#하이브리드 제어#시스템 식별#정책 탐색