ステータス:ドラフト(2026-10-18)、原作の読解と実測。 論文の数値は、2026-10-18にarXivのHTML版(2408.03906v3)を直接開き、該当セクションで再確認したもののみを記載しており、ページ番号の代わりにセクションおよび表番号を使用しています。 実測は第2・第5回と同様の一時ポッド(ミニPCノード Intel Core Ultra 9 185H、上限CPU 3コア・メモリ3 GiB、GPUなし、MuJoCo 3.16.0、タイムステップ1 ms)で行い、他のシミュレーション実験とCPUを共有しました。 すべての返球率はシミュレータ内における相対的な比較値です。 実際のロボットや実物のボールで測定した値ではありません。観測ノイズσ 3 mm、ラケットラバー、判断地平などの条件は仮定値です。 試行回数は観測ノイズのシード3つによるもので、表の数値はシードごとの成功率の中央値です。ウォールクロック時間はDM1が1,702 s、DM2が560 sでした。元データは作業ディレクトリ
measure/sim-tt-deepmind/にあります。
目次
- 1. 直感:アマチュア中級まで到達したロボットがどこで壁にぶつかったのか
- 2. 論文の成果
- 3. 著者が挙げた9つの限界(§V)
- 4. シミュレータ実験DM1:判断地平と回転の知識
- 5. シミュレータ実験DM2:回転の「種類」を知るだけでもどれほど回復するか
- 6. おまけ:同じ接触値における反発がインテグレーターによって異なる(DM3)
- 7. 改善の方向性:私たちが最初に行うべき5つのこと
- 8. 公開されているものと公開されていないもの
- 9. 限界
- 10. 次回予告
- 参考文献
1. 直感:アマチュア中級まで到達したロボットがどこで壁にぶつかったのか
DeepMindの卓球ロボットは対人試合を行い、「アマチュア中級」レベルに到達しました。しかし、上級者たちはすぐに弱点を見つけ出しました。低く強いアンダースピン、速いボール、バックハンドです。 この記事では、論文自身が挙げている限界を原典で確認し、その中から回転と判断タイミングの問題を私たちのシミュレータで実際に測定してみます。卓球ロボットをゼロから作る立場として、「どこに最初にリソースを注ぐべきか」を決定するためです。
2. 論文の成果
Achieving Human Level Competitive Robot Table Tennis(arXiv 2408.03906、ICRA 2025)で確認した構成です。
| 項目 | 原典の内容 | セクション |
|---|---|---|
| 本体 | 6軸産業用マニピュレータ(ABB IRB 1100)をFesto製リニアガントリー2台の上に搭載。左右4 m、前後2 m | §II-A |
| ビジョン | Ximea製カメラ2台、125 Hz。ニューラルネットワークによる認識が同じ周期でボールの位置を出力。対戦相手のラケットはモーションキャプチャで追跡 | §II-A |
| 遅延 | システム全体で約100 ms。制御周期は50 Hz | §V(1) |
| ポリシー | 低水準スキルポリシー17個(サーブレシーブ4、ラリー13。フォアハンド11、バックハンド6)と、ボールごとにその中から1つを選択する高水準コントローラ | §II、付録 |
| ポリシー入力 | 8ステップのボールの位置・速度(6)、関節位置(8)、フォアハンド・バックハンドのワンホット(2)。回転は入力に含まれない | §II-C |
| 回転 | 回転量は推定しない。飛来するボールがトップスピンかアンダースピンかを選択する分類器のみ。サーブのアンダースピンに対して精度1.0、再現率0.4 | §II-D3、§III-G |
| シミュレータ | MuJoCo。実機での微調整なしでデプロイ(ゼロショット sim-to-real) | §II-E |
| 戦績 | 29試合13勝(45%)。初級7/7、中級6/11、上級(Advanced)0/5、最上級(Advanced+)0/6 | §III、表XIV |
再現率0.4とは、アンダースピンのサーブ10本のうち6本をトップスピンと誤読したことを意味します。
3. 著者が挙げた9つの限界(§V)
- 速いボール。 データ不足、約100 msのシステム遅延、ボールごとに同じ準備姿勢に戻るリセット動作が原因です。
- 高いボール。 卓球台の上方約6フィートを超えるとカメラの視野外になります。実際には稀であったと記載されています。
- 低いボール。 ラケットを保護する衝突回避ルールのために台ぎりぎりの低さを通過するボールをうまく処理できず、上級者は低いアンダースピンでこの点を突いてきました。
- ショートツキプ(表ソフト)ラケット。 シミュレータでモデル化可能なゴムを選択しました。上級者向けの裏ソフトラバーは非線形で複数のモードを持つため、モデル化が非常に困難であると記載されています。
- 回転の読み取り。 極端な回転を正確に読み取れず、対応できる回転量が制限されました。回転認識が向上すれば性能はすぐに向上すると考えられます。
- 複数のボール先を読む戦略の欠如。 ボール単位で学習しているためです。
- モーションキャプチャの不安定さ。 時折発生する追跡エラーがパフォーマンスを低下させました。
- バックハンドがフォアハンドよりも弱い。
- 予測可能な配球。 審判が挙げた改善領域の上位3つは、配球、回転の読み取り、バックハンドでした。
9つのうち3つ(1.遅延、3.低いアンダースピン、5.回転)は「回転をいつ、どれほど知るか」に集約されます。そのため、この問題から検証を行いました。
4. シミュレータ実験DM1:判断地平と回転の知識
設定。 DeepMindが公開している初期のボール状態(ラリー中にロボット側に向かってくるボール)から200個を抽出し、DeepMindのMJCF値を用いたMuJoCoによるシミュレーション軌道を「真実」としました。打点(y = −1.6 m)においてボールの中心がテーブルの高さより 5 cm低いボール10個と、ネット・2バウンド等のボール4個を除外し、186個が残りました。カメラ(120 fpsまたは240 fps)は、ボールの位置に軸ごとにσ 3 mmのノイズを加算して観測し、打撃時刻から 判断地平 H(認知遅延 + 動作準備時間)を差し引いた時刻までの観測のみを使用します。推定量が位置・速度を推定し、プランナーがラケット面の法線と速度を決定します。 回転は方式ごとに異なります。「回転無視」は0、「真の回転」は真値、「回転誤差 x%」は真値にx%の誤差を混ぜた値、「軌道フィッティング」は軌道の曲がり具合から回転まで推定した値です。 認知誤差がなければ186個すべてを返球しました(上限100%)。
| 回転方式(120 fps) | H 50 | 100 | 150 | 200 | 250 | 300 | 350 | 400 ms |
|---|---|---|---|---|---|---|---|---|
| 回転無視 | 84.4 | 83.3 | 66.7 | 50.0 | 45.7 | 48.9 | 50.5 | 47.8 |
| 軌道から回転をフィッティング | 100 | 100 | 100 | 98.4 | 94.6 | 85.5 | 78.5 | 66.7 |
| 回転誤差 15% | 100 | 100 | 100 | 100 | 99.5 | 95.7 | 90.9 | 88.2 |
| 真の回転 | 100 | 100 | 100 | 100 | 100 | 98.9 | 97.3 | 96.2 |
- 回転を無視した場合、地平が短ければ84%です。 ボールには当たりますが、ラケットの反発計算を誤るためテーブルの外に飛ばしてしまいます。地平がバウンド後の残り時間(中央値284 ms)を超えると、50%前後に低下します。 回転は、飛行予測とラケットでの反発の両方において必要です。
- 軌道フィッティングは、地平150 msまでは真の回転と同等でした。 地平が長くなると低下し、300 msで85.5%、400 msで66.7%でした。240 fpsのカメラでは長い地平においてのみ差が出ました(300 msで87.6%、400 msで76.9%)。
- 真の回転が分かっていても、400 msでは96.2%です。 残りの誤差は、推定器の単純なバウンドモデルとMuJoCoの接触モデルの違いに起因します。第5回の基準線で見た「モデルの差異」と同じ話です。
5. シミュレータ実験DM2:回転の「種類」を知るだけでもどれほど回復するか
DeepMindの分類器のように回転の種類のみを知っている場合を別途測定しました。種類はDeepMindの付録の基準(トップ ωx > 50、バック ωx < −25 rad/s、その他は無回転)で分類し、種類ごとに80個を抽出しました。 データの回転は上級者よりも弱いため、回転を2倍、3倍に強めたボールも作成しました。地平は、速いアームを仮定した150 msと、遅いガントリーを仮定した300 msです(どちらも仮定値)。 「種類 + 軌道」は、ボール以外のシグナル(相手の姿勢、打球音など)により種類が判別できたとし、その種類の平均回転を事前分布の中心に据えた軌道フィッティングです。
| 回転倍率 | H | 回転無視 | 種類平均のみ | 軌道フィッティング | 種類 + 軌道 | 真の回転 |
|---|---|---|---|---|---|---|
| ×1 | 150 ms | 69 | 93 | 93 | 100 | 100 |
| ×1 | 300 ms | 55 | 72 | 77 | 94 | 99 |
| ×2 | 150 ms | 35 | 83 | 88 | 97 | 100 |
| ×2 | 300 ms | 26 | 48 | 63 | 82 | 98 |
| ×3 | 150 ms | 20 | 76 | 88 | 98 | 100 |
| ×3 | 300 ms | 11 | 40 | 61 | 74 | 90 |
(トップ・バック・無回転のボールをすべて合算した返球率(%)です。有効なボール数は×1が220個、×2が176個、×3が122個です。回転を強くするとロボット側のテーブルに落ちないボールが発生し、数が減少しました。)
- 種類のヒントを軌道フィッティングに加えると、すべての条件で7〜19%p向上しました。 真の回転を除けば最も優れた手法でした。
- 種類平均のみを使用する方法は、軌道フィッティングと同等かそれ以下でした。 種類の情報は軌道フィッティングを置き換えるものではなく、補うものです。種類の正解率が80%にとどまると、種類平均手法は5〜13%p低下しました。
- 最も難しかったボールはトップスピンでした。 3倍のトップスピン、地平300 msにおいて、回転無視で0%、軌道フィッティングで32%、種類 + 軌道で53%、真の回転で84%でした。 バックスピンは軌道フィッティングのみで91〜100%でした。DeepMindのテーブル接触値では、バウンドによってバックスピンがほぼかき消されてしまうためです(1倍バックスピンの平均ωxはバウンド前が−41、後が−5 rad/s)。
- それでは、DeepMindが実機で経験したバックスピンの弱点(限界3、5)は飛行予測よりも ラケット側(ボールを持ち上げるラケットの角度、ゴムのモデル、低いボールの衝突回避)に起因していた可能性があります。 これは推測であり、検証はされていません。 この実験ではプランナーと実態が同じラケットモデルを使用しているため、ラケット側の影響を小さく見積もっている可能性があります。テーブルの摩擦を文献値に変更し、ラケットモデルを真値とは異なるものに設定した再実験が次のステップです。
6. おまけ:同じ接触値における反発がインテグレーターによって異なる(DM3)
第2部第5節において、斜めバウンドの法線方向の反発が1を超えるセル(1.081)が存在しました。タイムステップ3種類、インテグレーター2種類、摩擦コーン2種類、入射6種類の計72セルを再測定したところ、 1を超えたのは implicitfast・1 ms・楕円コーン・バックスピン 300 rad/s の1セルのみであり(0.5 msでは1.001、0.25 msでは0.984)、同じ1 msであってもRK4は0.838〜0.951、implicitfastは0.961〜1.081でした。 総運動エネルギー(並進 + 回転)の接触後/前の比は72セルすべてで1未満であったため(0.851〜0.996)、エネルギーが生成されたわけではなく、接線方向のエネルギーが法線方向に移行したものです。 システム同定に合わせて調整した接触値は、その時の積分器や時間間隔とセットで扱う必要があります。
7. 改善の方向性:私たちが最初に行うべき5つのこと
| 順序 | 改善案 | 狙うべき限界 | この記事の根拠 |
|---|---|---|---|
| 1 | 回転の種類ヒント + 軌道フィッティング 相対姿勢・打球音・ラケット面から種類を先に判別し、その平均を軌道フィッティングの事前分布として使用します。 | 3, 5 | DM2:7~19%p |
| 2 | 二段階の決定。 低速なガントリーは早めに動き、手首はバウンド後の観測によって遅れて補正します。 | 1 | DM1:ホライズンがバウンド後の残り時間を超えると崖っぷち。二段階決定自体は未実測 |
| 3 | 120~240 fpsのカメラで軌道から回転をフィッティング。 回転センサーなしで取得する基準線です。 | 5 | DM1:ホライズン150 msまで真の回転と同じ |
| 4 | 回転・速度によって変化するボールの物理挙動と接触モデルの同定。 | 4, 5 | DM1の「真の回転96.2%」、第2弾のマグナス4.2倍、DM3 |
| 5 | 打撃の瞬間を最適化で解き、強化学習は残差のみに適用する。 | 1, 8 | 第5弾の古典的ベースラインがスタート地点 |
1番目は、TT Labがスコアボード認識において追求している「ボール・音・姿勢」のマルチモーダル信号認識に直結します。「ボールが飛ぶ前に回転の種類を知る」ことがロボットのパフォーマンスにつながる鍵であるため、最も優先して再現を試みるべき方向性です。
8. 公開されているものと公開されていないもの
- 公開リポジトリは
google-deepmind/competitive_robot_table_tennisつであり、2025-04-26以降はアーカイブ(archived)状態です。コードはApache-2.0、データはCC BY 4.0です。 - 含まれているのは、ボールの初期状態(ラリー13,088件、サーブ2,704件)とMuJoCoのボール・卓球台のノートブックのみです。 ポリシーの重みや学習コードはありません。 ロボット・ガントリー・ラケットのモデルもありません。
- そのため、「DeepMindのロボットをそのまま動かしてみる」ような再現は不可能であり、この記事のようにボールの分布や物理設定を借りてきて部分的に測定するのが現実的です。
9. 限界
- 返球率はすべてMuJoCoを正解(真値)としたシミュレーター内での比較です。実際のロボットの返球率を予測するものではありません。
- 観測ノイズ σ 3 mm、ラケットのゴム(e 0.85、μ 0.6)、打撃許容半径 6 cm、バウンド区間を知っているという仮定、ホライズン 150・300 msはいずれも仮定値です。
- 「種類 + 軌道」方式において、種類の予測を間違えた場合の影響は測定していません。
- 推定計算時間(回転まで合わせる場合は中央値 77~186 ms)は純粋なPythonでCPUを分散使用して測定した値であるため、リアルタイム処理の予算の根拠として使用してはなりません。
10. 次回予告
次回は、第5弾のベースラインに強化学習を上乗せし、この記事の1番目の方向性(回転の種類のヒント)が学習されたポリシーにおいても同等の効果を発揮するのかを確認します(第7弾)。結果を先にお伝えすると、遅延100msにおいてヒントが+10.4%pのプラスをもたらしましたが、その利益は学習によるものではなく、軌道フィッティングの事前値から得られたものです。
TTひとこと。 ボールがどのような回転がかかっているか「種類」だけでも事前に分かれば、10%以上多くレシーブすることができました。相手の姿勢や打球音を捉える目や耳が、ロボットの腕を助けてくれるということです!
参考
すべてのリンクは2026-10-18にアクセス可能であることを確認しました。
- DeepMind, Achieving Human Level Competitive Robot Table Tennis(ICRA 2025), arXiv HTML版 v3: https://arxiv.org/html/2408.03906v3
- 公開リポジトリ(アーカイブ状態): https://github.com/google-deepmind/competitive_robot_table_tennis(コード Apache-2.0、初期ボール状態 © 2025 Google LLC, CC BY 4.0。データは再配布せず、シミュレーション結果のみを掲載しています。)
- DeepMind, Robotic Table Tennis: A Case Study into a High Speed Learning System(RSS 2023): https://arxiv.org/abs/2309.03315
- MuJoCo: https://github.com/google-deepmind/mujoco