ステータス：ドラフト（2026-10-13）、未実測。 論文や技術レポートの数値は、原文を開いて条件とともに確認しました。実際に自分で試したのはトークン数を数える計算（
code/12_video_tokens.py）だけであり、ビジョン・言語モデルを自前の卓球動画で動かしたことはありません（未実測）。実際のサービス（Gemini）の動画入力条件と低速確認層の設計については、TT Scoreモデル解剖の第8編で扱います。本編は「学習方式とベンチマーク」に焦点を当てます。 シリーズ「ビジョンモデルを読む2」の第12編（最後）。第1編の CLIPの画像エンコーダーがここで再び登場します。
目次
- 1. 直感：目言語モデルに取り付ける
- 2. どのように学習させるのか
- 3. 実践：10秒ラリーのトークン数
- 4. ベンチマークが示すもの
- 5. なぜ弱いのか：学習方式から見えた3つの理由
- 6. 制限事項（本編の主張に対する）
- 7. 我々のプロジェクトとのつながり
- 参考文献
1. 直感：目言語モデルに取り付ける
ビジョン・言語モデルは通常、既存の2つのコンポーネントを結合します。 画像を見るエンコーダー（第1編のCLIP系）と テキストを処理する言語モデルです。その間に小さな 接続層を置き、画像エンコーダーが出力したベクトルを言語モデルが単語のように読み込めるベクトル（「画像トークン」）に変換します。動画の場合は、フレームを何枚か抽出してそれぞれ画像トークンに変換したのち、連結します。
学習の損失関数は言語モデルと同じで、 次の単語の予測です。「この動画で選手は何回打ち返しましたか？」という質問と画像トークンを入力し、正解文の単語を1つずつ予測させます。このシンプルな枠組みの中で、何をどれほど高密度に提示し、どのような文を正解として与えるかがモデルの能力を決定します。
2. 如何に学習させるか
LLaVA：2つの段階
LLaVA（NeurIPS 2023）がこの系統の基本手順を確立しました（論文）。
- 接続層のみの学習。 画像と説明文のペア59万5千件を用い、画像エンコーダー（CLIP ViT-L/14）と言語モデルを凍結したまま、線形接続層のみを学習させます。1エポック、約4時間。画像トークンを言語モデルの単語空間に「適合させる」段階です。
- 指示追従（マニュアル・フォローイング）の学習。 質問と回答形式のデータ15万8千件を用いて、接続層と言語モデルを同時に学習させます。3エポック、約10時間。損失は 回答部分の単語に対してのみ 計算します。
両方の段階ともに、データセンター向けのGPU 8枚を使用して行われました。興味深いのは第2段階データの出所です。人間が書いたものではなく、 画像を見ることができないテキスト専用モデル（GPT-4）に画像のキャプションと物体バウンディングボックスの座標をテキストで与え 、対話、詳細な説明、推論のQ&Aを作成させました。つまり、正解文は画像からではなく「画像に関するテキスト」から生み出されたということです。
動画への拡張
Video-LLaVA（2023）は、動画からフレームを 8枚均等に抽出して224pxで入力します。第1段階では画像とテキストのペア55万8千件と動画とテキストのペア70万2千件を、第2段階では画像の指示データ66万5千件と動画の指示データ10万件を使用しました（論文）。動画の数秒間が8枚のフレームに要約されます。
Qwen2.5-VL：トークンを削減し、視覚を組み込む
長い動画を入力するには、トークンを節約する必要があります。Qwen2.5-VL（2025年の技術レポート）では次のように行います。
- 画像を14×14ピクセルのパッチに分割した後、隣接する2×2のパッチを小さなMLPで 1つのトークンに統合します。 1つのトークンが28×28ピクセルを担当します。
- 連続する 2つのフレームを1つのグループとして処理します。
- 学習時にフレームレートを変更しながら入力し（動的FPS）、位置エンコーディングの時間軸を 実際の秒数に合わせます。トークン番号の間隔が実際の時間間隔を反映しているため、モデルは「何秒の時点か」に答えることができます。
- 評価時には、1つの動画を最大768フレーム、24,576トークンに切り詰めました。
動画内でイベントが発生する区間を特定するタスク（Charades-STA）において、72BモデルはmIoU 50.9を記録しました（レポート）。「何秒の区間」かはある程度捉えられますが、その単位は秒単位です。
ストリーミング：いつ発話すべきかまで学ぶ
リアルタイム実況は、質問が終わってから答える対話とは異なります。動画が継続的に入力され、モデルは 発話すべきタイミングを自分で決定する必要が あります。
- VideoLLM-online（CVPR 2024）：言語モデルの損失に加え、フレームごとに「今は発話しない」を予測する交差エントロピー損失（ストリーミングEOS）を課します。一人称の調理・作業動画のタイムスタンプ付き説明（Ego4D）と、言語モデルが生成した対話で学習を行いました。2fps入力、論文の実験ではフレームあたり10トークン（公開モデルは10個）に削減し、5分間の動画をデータセンター向けGPU1枚で秒間10フレーム以上で処理しました（論文）。
- LiveCC（CVPR 2025）：YouTube動画の 自動字幕を1秒単位でフレーム（2fps）と交互に挿入し、その1秒間に発話された単語を予測させました。解説者が話すタイミング自体が正解となります。事前学習に500万クリップ、ファインチューニングには音声認識で再生成した字幕52万6千件などを使用しました（論文）。
- StreamingVLM（ICLR 2026）：無限に続く動画を処理するため、先頭の512個のトークン（アテンションが集中する「アンカー」）、直近のテキストトークン512個、直近16秒間の画像トークンのみを保持し、残りは破棄します。学習は24秒間のセグメントを12秒ずつオーバーラップさせて切り出して行い、実況のない秒については「...」を正解とします。学習データはバスケットボール、サッカー、アイスホッケー、野球、アメリカンフットボールの2,449試合、4,000時間を超える中継でした。 卓球はありません。 データセンター向けGPU1枚で8fpsで動作しました（論文）。
これら3つの手法すべてにおいて、正解は 人間の言葉（説明、字幕、実況） です。実況者は「見事なフォアハンド！」とは言っても、「レシーバー側のバウンドは第41フレーム」とは言いません。モデルが学習できる時間解像度は、正解文の時間解像度を超えることが難しいのです。
3. 実践：10秒ラリーのトークン数
code/12_video_tokens.py Qwen2.5-VLの方式（28×28ピクセルが1トークン、2フレームが1グループ）に従って、10秒ラリーにかかる視覚トークン数を計算しました（code/12_video_tokens.out.txt）。評価の上限は1つの動画あたり24,576トークンです。
| 解像度（グループあたりトークン数） | 1fps | 2fps | 8fps | 30fps | 60fps |
|---|---|---|---|---|---|
| 448×252(144) | 720 | 1,440 | 5,760 | 21,600 | 43,200（超過） |
| 896×504(576) | 2,880 | 5,760 | 23,040 | 86,400（超過） | 172,800（超過） |
| 1792×1008(2,304) | 11,520 | 23,040 | 92,160（超過） | 345,600（超過） | 691,200（超過） |
そしてその解像度におけるボールの大きさをトークン1マスと比較しました。サイドから撮影した1080p動画におけるボールの直径の中央値11ピクセル（TT Scoreモデル解剖第2編の実測値）を比率通りに縮小しました。
448×252: 공 지름 2.6px = 토큰 한 칸 폭의 9%
896×504: 공 지름 5.1px = 토큰 한 칸 폭의 18%
1792×1008: 공 지름 10.3px = 토큰 한 칸 폭의 37%
トレードオフが確認できます。 60fpsですべてのフレームを入力しようとすると、448×252まで解像度を下げても上限を超えてしまい、そのときのボールはトークン1マスの9%の大きさになります。ボールが見えるように解像度を上げると、1〜2fpsしか入力できません。1つのバウンドの接触は1〜2フレーム（60fpsで17〜33ms）の間に起こるため、「高密度の時間」と「小さな物体」を同時に収める余裕がトークン予算にはありません。ちなみに、VideoLLM-onlineの公開モデルはフレームあたり10トークン（3×3マス＋1）へと極端に削減しています。10秒の2fpsで200トークンですが、画面全体を3×3マスとしてしか捉えていません。
4. ベンチマークが示すもの
TennisTV：テニスラリーの理解
TennisTVは、F3Setのテニス動画1,298本を使用して8つのタスク、2,527問を作成しました（現在のv5基準、論文）。
| 対象 | 平均精度 |
|---|---|
| 人間 | 89.2 |
| ランダム | 27.9 |
| 最高性能モデル（GPT-4.1） | 45.1 |
| GPT-4o / Gemini 2.5 Pro | 44.5 / 43.9 |
| Qwen2.5-VL-7B | 38.8 |
最も優れたモデルであっても人間の半分程度の水準であり、ランダムよりも17点高いだけです。 ラリーの打球数カウントは、人間が92.5、最高性能モデルが39.8でした。第1編でCLIPが「数えること」が苦手だと自ら記述していたことと同じ傾向です。
さらに興味深いのは、 フレーム数を増やした実験です（Qwen2.5-VL-7B、論文）。
| 入力 | 全体 | ラリー単位のタスク | 打球単位のタスク |
|---|---|---|---|
| 1fps | 38.1 | — | — |
| 16フレーム | 38.6 | 39.3 | 38.0 |
| 32フレーム | 38.8 | 38.8 | 38.9 |
| 64フレーム | 38.4 | 37.7 | 39.1 |
フレームを4倍に増やしても全体はほぼ横ばいであり、ラリー単位のタスクはむしろ低下しました。 フレームを多く見せたからといって、モデルがそれを活用する方法を知っているわけではありません。 学習時にそのような正解（高密度な時間に関するQ&A）をほとんど目にする機会がなかったためと解釈できます（推測）。
F3Set：比較対象から除外された
高速で高密度な細微イベントベンチマークであるF3Set（ICLR 2025）は、GPT-4Vにテニスラリーの連続12フレームを見せる予備試験を行いました。競技、スコアボード、大会は認識できたものの、細かいイベントや フレーム間の順序（打球の方向など）を捉えることができず、本実験の比較対象から除外されました（論文付録）。第10編のフレーム単位モデルと同じテーブルに並べられる水準ではなかったということです。
SportR：強化学習によるルールの推論
SportR（2025）は、卓球を含む5競技の画像4,789枚と4競技の動画2,052本を用いて、ルールや反則の推論を問いかけます。結果は2つの方向に分かれています（論文）。
- 動画の反則分類は、最も優れたモデル（GPT-5）でも34.39%であり、画像内の位置を特定するタスク（IoU）は、ベースモデルで4.61、後述の学習後でも9.94にとどまりました。
- 学習面では希望的な結果もあります。Qwen2.5-VL-7Bを 画像のみで 短期間教師あり学習させた後、正解かどうか（他の言語モデルによる採点やバウンディングボックスの重なり）を報酬とする強化学習（GRPO）を行ったところ、動画を一度も学習していないにもかかわらず、動画の反則検出精度が25.49%から59.52%へと向上し、GPT-5（59.17%）を上回りました。
ルールに関する 推論は学習によって向上させることができますが、その推論の材料となる 高密度な知覚（ボールがどこにいつ接触したか）はいまだに弱いという図式です。
SCBench: 卓球解説
SCBench（2024）には719個の卓球クリップ（平均9.96秒）が含まれています。卓球における最高モデル（InternVL-Chat-2、401Bパラメータ）の解説スコアは10点満点中5.92点でした。採点は別の言語モデルにより6つの側面から行われました（論文）。
5. なぜ弱いのか：学習方法から見た3つの理由
- 正解が言葉である。 学習データの正解は、キャプション、字幕、解説、言語モデルが書いたQ&Aです。人間はバウンドのフレーム番号を言葉で言ったりしません。正解の中に含まれない時間解像度を学ぶのは困難です。
- トークンバジェットにより、時間と空間のトレードオフが発生する。 上記の計算のように、すべてのフレームを入力するとボールが1トークンより小さくなり、ボールを見えるようにするとフレームが間引きされます。
- 視覚が「数」と「細かさ」に弱い。 多くのモデルはCLIP系の画像エンコーダを凍結して使用しています。そのエンコーダが数や細かい区別に弱いことは第1部で見ました。
6. 限界（本編の主張に対する）
- ベンチマークのほとんどは 中継映像です。サイドの固定カメラによる練習映像でも同じ結果になるかはわかりません。
- モデルは急速に変化します。上記の数値は2025〜2026年の論文発表時点のモデルによるものです。TennisTVだけでもv1からv5まで数値が変わっているため、引用する際はバージョンを明記する必要があります。
- いかなるビジョン・言語モデルも卓球映像で実行していません（未実測）。本編の結論は論文と計算に基づいたものです。
7. 我々のプロジェクトとのつながり
- 判定には組み込まない。 TT Scoreの判定（認識 → イベント → 審判）にはビジョン・言語モデルを配置しません。「要確認」と表示されたラリーのみ、ラリー終了後にクリップとして送信して勝者や状況を再度問い合せ、判定と異なる場合に表示を行うだけの 遅延確認レイヤーを予定しています（TT Score第8部）。実際に呼び出したことはありません。
- ストリーミングモデルの有用性は解説分野。 StreamingVLMやLiveCCのように解説を学習するモデルは、「スコア判定」ではなく「ハイライトの説明」や「ラリーの要約」に適しています。それについても、卓球データで学習された公開モデルは見つかっていません。
- ルール推論は別の話。 SportRの結果のように、ルールに関する推論は学習によって向上させることができます。我々のエンジンが出力したイベント列（バウンド・打球・ネット）をテキストに変換し、「この順序はルール上可能か」を問い掛ける用途は、映像を直接見るよりもこれらのモデルの強みに合致している可能性があります（推測、未実測）。
TTの一言。 ビジョン・言語モデルは解説者の言葉から学びます。しかし、解説者は「41番目のフレームでバウンド！」とは言いません。そのため言葉は流暢でも、ボールがいつ落下したのかはよく知りません。判定はボールを数えるエンジンに、説明は流暢なモデルに任せるのが適切だと思われます。
参考文献
- Liu et al., Visual Instruction Tuning(LLaVA), NeurIPS 2023. https://arxiv.org/abs/2304.08485
- Lin et al., Video-LLaVA: Learning United Visual Representation by Alignment Before Projection, arXiv 2023. https://arxiv.org/abs/2311.10122
- Bai et al., Qwen2.5-VL Technical Report, arXiv 2025. https://arxiv.org/abs/2502.13923
- Chen et al., VideoLLM-online: Online Video Large Language Model for Streaming Video, CVPR 2024. https://arxiv.org/abs/2406.11816
- Chen et al., LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale, CVPR 2025. https://arxiv.org/abs/2504.16030
- Xu et al., StreamingVLM: Real-Time Understanding for Infinite Video Streams, ICLR 2026. https://arxiv.org/abs/2510.09608
- Bao et al., TennisTV: Do Multimodal Large Language Models Understand Tennis Rallies?, arXiv 2025(v5). https://arxiv.org/abs/2509.15602
- Liu et al., F³Set: Towards Analyzing Fast, Frequent, and Fine-grained Events from Videos, ICLR 2025. https://arxiv.org/abs/2504.08222
- Xia et al., SportR: A Benchmark for Multimodal Large Language Model Reasoning in Sports, arXiv 2025. https://arxiv.org/abs/2511.06499
- Ge et al., SCBench: A Sports Commentary Benchmark for Video LLMs, arXiv 2024. https://arxiv.org/abs/2412.17637
- サンプルコードと出力：
code/12_video_tokens.py,code/12_video_tokens.out.txt