状态：草稿（2026-10-13），未经验证。 论文和技术报告中的数值是在打开原文并结合条件后确认的。亲自动手做的仅有计算 Token 数量的运算（
code/12_video_tokens.py），从未将视频-语言模型运行在我们的乒乓球视频上（未经验证）。实际服务（Gemini）的视频输入条件和慢速确认层设计将在 TT Score 模型解剖第 8 篇中讨论。本篇专注于「训练方式与基准测试」。 系列「阅读视觉模型 2」第 12 篇（最后一篇）。第 1 篇的 CLIP图像编码器在这里再次出现。
目录
- 1. 直觉：为语言模型安上眼睛
- 2. 如何训练
- 3. 亲自动手：10 秒多拍的 Token 价值
- 4. 基准测试展示了什么
- 5. 为什么薄弱：从训练方式看三个原因
- 6. 局限性（针对本文的观点）
- 7. 与我们项目的联系
- 参考文献
1. 直觉：为语言模型安上眼睛
视频-语言模型通常连接现有的两个组件： 查看图像的编码器（第 1 篇的 CLIP 系列）和 处理文字的语言模型。在它们之间放置一个小的 连接层，将图像编码器输出的向量转换为语言模型可以像阅读单词一样读取的向量（「图像 Token」）。视频是通过抽取若干帧，分别转换为图像 Token 后连接起来的。
训练的损失与语言模型相同，即 预测下一个词。输入「这个视频里运动员击球了多少次？」这个问题和图像 Token，让模型逐个预测正确答案句子的词。在这个简单的框架内，展示什么、展示得多么密集、以及给出什么样的句子作为正确答案，决定了模型的能力。
2. 如何训练
LLaVA：两阶段
LLaVA（NeurIPS 2023）确立了该系列的基本顺序（论文）。
- 仅训练连接层。 使用 59.5 万个图文对，冻结图像编码器（CLIP ViT-L/14）和语言模型，仅训练一个线性连接层。1 个 Epoch，约 4 小时。这一阶段使图像 Token「适配」语言模型的词汇空间。
- 指令跟随训练。 使用 15.8 万个问答格式的数据，共同训练连接层和语言模型。3 个 Epoch，约 10 小时。损失 仅施加在答案部分的词上 。
两个阶段均使用 8 张数据中心级 GPU 完成。有趣的是第 2 阶段数据的来源。它不是由人类编写的，而是 让无法看到图像的纯文本模型（GPT-4）根据图像的标题和物体边界框坐标的文本 来编写对话、详细说明和推理问答。这意味着正确答案的句子不是来自图像，而是来自「关于图像的文字」。
扩展到视频
Video-LLaVA（2023）从视频中均匀抽取 8 帧并以 224px 输入。第 1 阶段使用了 55.8 万个图文和 70.2 万个视频-文本，第 2 阶段使用了 66.5 万个图像指令和 10 万个视频指令（论文）。视频的几秒钟被概括为 8 帧。
Qwen2.5-VL：减少 Token 并引入视觉
为了输入长视频，必须节省 Token。Qwen2.5-VL（2025 年技术报告）是这样做的：
- 将图像分割为 14×14 像素的块，然后通过小型 MLP 将相邻的 2×2 块 合并为一个 Token。 一个 Token 负责 28×28 像素。
- 将连续的 两帧作为一个批次处理。
- 在训练时动态更改帧率输入（动态 FPS），并将位置编码的时间轴对齐到 实际秒数。由于 Token 编号的间隔反映了实际时间间隔，模型可以回答「在几秒」。
- 在评估时，单个视频被切片为最多 768 帧、24,576 个 Token。
在视频中寻找事件区间的任务（Charades-STA）中，72B 模型的 mIoU 为 50.9（报告）。「几秒钟的区间」虽然能做一些，但其单位是秒。
流式传输：学习何时开口说话
实时解说不同于问题结束才回答的对话。视频源源不断地输入，模型必须 自行决定何时开口说话 。
- VideoLLM-online（CVPR 2024 C）：除了语言模型的损失之外，还在每一帧上施加交叉熵（流式 EOS），用于预测「现在不说话」。使用第一人称烹饪/操作视频的时间标记描述（Ego4D）以及语言模型生成的对话进行训练。输入为 2fps，在论文实验中缩减为每帧 1 个 Token（开源模型为 10 个），并在单张数据中心级 GPU 上以每秒超过 10 帧的速度处理 5 分钟的视频（论文）。
- LiveCC（CVPR 2025）：将 YouTube 视频的 自动字幕以 1 秒为单位与帧（2fps）交替插入，并让其预测该 1 秒内出现的词。解说员说话的时机本身就成了正确答案。预训练包含 500 万个剪辑，微调使用通过语音识别重新生成的 5.26 万个字幕等（论文）。
- StreamingVLM（ICLR 2026）：为了处理无限延续的视频，只保留最前面的 512 个 Token（注意力汇聚的「锚点」）、最近的 512 个文本 Token 以及最近 16 秒的图像 Token，其余的全部丢弃。训练时将 24 秒的区间重叠 12 秒切片进行，在没有解说的秒数中，将「…」设为正确答案。训练数据是篮球、足球、冰球、棒球、美式橄榄球共 2,449 场比赛超过 4,000 小时的转播。 没有乒乓球。 在单张数据中心级 GPU 上以 8fps 运行（论文）。
这三者的正确答案都是 人类的话语（描述、字幕、解说） 。解说员可能会说「漂亮的正手！」，但不会说「接球方的弹跳在第 41 帧」。模型能够学习的时间分辨率很难超过正确答案文本的时间分辨率。
3. 亲自动手：10 秒多拍的 Token 价值
code/12_video_tokens.py 按照 Qwen2.5-VL 的方式（28×28 像素为一个 Token，两帧为一个批次）计算了 10 秒多拍所需的视觉 Token 数量（code/12_video_tokens.out.txt）。评估上限是每个视频 24,576 个 Token。
| 分辨率（每批次 Token） | 1fps | 2fps | 8fps | 30fps | 60fps |
|---|---|---|---|---|---|
| 448×252(144) | 720 | 1,440 | 5,760 | 21,600 | 43,200（超出） |
| 896×504(576) | 2,880 | 5,760 | 23,040 | 86,400（超出） | 172,800（超出） |
| 1792×1008(2,304) | 11,520 | 23,040 | 92,160（超出） | 345,600（超出） | 691,200（超出） |
并且在该分辨率下将球的大小与单个 Token 进行了比较。我们将侧面拍摄的 1080p 视频中的球直径中位数 11 像素（TT Score 模型解剖第 2 篇的实测值）按比例缩小。
448×252: 공 지름 2.6px = 토큰 한 칸 폭의 9%
896×504: 공 지름 5.1px = 토큰 한 칸 폭의 18%
1792×1008: 공 지름 10.3px = 토큰 한 칸 폭의 37%
权衡显而易见。 如果要以 60fps 输入所有帧，即使将分辨率降低到 448×252 也会超出上限，此时球仅占单个 Token 区域的 9%。为了让球清晰可见而提高分辨率，则只能输入 1-2fps。单次弹跳的接触发生在 1 到 2 帧（60fps 下为 17-33ms），因此 Token 预算中没有空间同时容纳「密集的时间」和「小的物体」。顺便一提，VideoLLM-online 开源模型极端地将其缩减为每帧 10 个 Token（3×3 格 + 1）。虽然 10 秒 2fps 只有 200 个 Token，但它将整个画面仅视为 3×3 的格子。
4. 基准测试展示了什么
TennisTV：理解网球多拍
TennisTV 使用 F3Set 的 1,298 个网球视频构建了 8 个任务的 2,527 个问题（当前基于 v5，论文）。
| 对象 | 平均准确率 |
|---|---|
| 人类 | 89.2 |
| 随机 | 27.9 |
| 表现最好的模型（GPT-4.1） | 45.1 |
| GPT-4o / Gemini 2.5 Pro | 44.5 / 43.9 |
| Qwen2.5-VL-7B | 38.8 |
表现最好的模型也仅达到人类的一半水平，只比随机高出 17 分。 多拍的击球次数统计中，人类为 92.5，表现最好的模型为 39.8。这与第 1 篇中自述 CLIP 不擅长「计数」的结论属于同一性质。
更有趣的是 增加帧数的实验（Qwen2.5-VL-7B，论文）。
| 输入 | 整体 | 多拍单位任务 | 击球单位任务 |
|---|---|---|---|
| 1fps | 38.1 | — | — |
| 16 帧 | 38.6 | 39.3 | 38.0 |
| 32 帧 | 38.8 | 38.8 | 38.9 |
| 64 帧 | 38.4 | 37.7 | 39.1 |
即使将帧数增加 4 倍，整体结果也几乎没有变化，多拍单位任务甚至有所下降。 展示更多帧并不意味着模型知道如何使用它们。 这可以解释为（推测）在训练时几乎没有见过这样的正确答案（关于密集时间的问答）。
F3Set：直接从比较中缺席
快节奏且密集的细粒度事件基准 F3Set（ICLR 2025）对 GPT-4V 进行了预备测试，向其展示了网球多拍的连续 12 帧。虽然识别出了项目、记分牌和比赛，但由于无法捕捉细粒度事件和 帧之间的顺序（击球方向等），因此将其从正式实验的比较对象中排除了（论文附录）。这意味着它没有达到与第 10 篇的帧级模型放在同一表格中的水平。
SportR：通过强化学习推导规则
SportR（2025）使用包含乒乓球在内的 5 个项目的 4,789 张图像和 4 个项目的 2,052 个视频来询问规则和犯规推导。结果分为两个方向（论文）。
- 视频犯规分类中，表现最好的模型（GPT-5）也仅有 34.39%；在图像中指出位置的任务（IoU）中，基础模型为 4.61，在进行下方训练后也仅为 9.94。
- 在训练方面也有令人希望的结果。在对 Qwen2.5-VL-7B 进行 仅限图像 的简短监督微调后，以是否正确（由其他语言模型评分或边界框重叠）作为奖励进行强化学习（GRPO），在从未训练过视频的情况下，视频犯规查找的准确率从 25.49% 提升至 59.52%，超过了 GPT-5（59.17%）。
对规则的 推导可以通过训练来增强，但作为推导素材的 密集感知（球在何时何地触碰）依然薄弱，这就是现状。
SCBench: 乒乓球解说
在 SCBench(2024) 中包含 719 个乒乓球视频片段（平均 9.96 秒）。乒乓球领域表现最好的模型（InternVL-Chat-2，410 亿参数）的解说得分为 5.92 分（满分 10 分）。评分是由其他语言模型从六个维度进行的（论文）。
5. 为什么薄弱：从训练方式来看的三个原因
- 标准答案是文字。 训练数据的标准答案是字幕、台词、解说以及语言模型编写的问答。人类在说话时并不会说出弹击的帧编号。因此很难从标准答案中学习到时间分辨率。
- Token 预算迫使时间和空间相互妥协。 如同上面的计算，如果输入所有帧，球就会变得比单个 Token 还小；而如果为了让球可见，帧率就会变得稀疏。
- 视觉在“计数”和“细节”上比较薄弱。 许多模型都会冻结 CLIP 系列的图像编码器来使用。我们在第 1 篇中已经看到，该编码器在计数和细粒度区分上比较薄弱。
6. 局限性（针对本篇的观点）
- 基准测试大部分是 转播视频。我们无法确定在侧面固定相机的训练视频中是否会得出相同的结果。
- 模型更新速度很快。上述数值是 2025–2026 年论文发表时的模型数据。仅 TennisTV 的版本就从 v1 迭代到了 v5，数值也随之改变，因此在引用时必须标明版本。
- 我们没有在乒乓球视频上运行过任何视频-语言模型（未实际测量）。本篇的结论依赖于论文和计算。
7. 与我们项目的关联
- 不纳入判罚。 在 TT Score 的判罚流程（识别 → 事件 → 裁判）中，不使用视频-语言模型。我们的计划是，仅将标记为“需要确认”的回合在回合结束后发送为视频片段，重新询问胜者和情况，如果与判罚结果不符则仅做标记，即 慢速确认层（TT Score 第 8 篇）。实际上并未进行过调用。
- 流式模型的用武之地在于解说。 像 StreamingVLM 和 LiveCC 这样学习解说的模型，更适合用于“高光说明”或“回合总结”，而不是“比分判罚”。即便如此，我们也未能找到用乒乓球数据训练过的开源模型。
- 规则推理则是另一回事。 就像 SportR 的结果一样，对规则的推理可以通过训练来提升。将我们引擎生成的事件序列（弹击、击球、网球）转换为文本，并询问“按此顺序在规则上是否可行”，这种用法可能比直接观看视频更符合这些模型的优势（推测，未实际测量）。
TT 的一句话总结。 视频-语言模型是通过解说员的话来学习的。然而，解说员并不会说“在第 41 帧弹击！”。正因如此，它们虽然很会说话，却并不清楚球究竟是什么时候落地的。所以，把判罚交给擅长数球的引擎，把说明交给擅长语言的模型，这才是正确的选择。
参考文献
- Liu et al., Visual Instruction Tuning(LLaVA), NeurIPS 2023. https://arxiv.org/abs/2304.08485
- Lin et al., Video-LLaVA: Learning United Visual Representation by Alignment Before Projection, arXiv 2023. https://arxiv.org/abs/2311.10122
- Bai et al., Qwen2.5-VL Technical Report, arXiv 2025. https://arxiv.org/abs/2502.13923
- Chen et al., VideoLLM-online: Online Video Large Language Model for Streaming Video, CVPR 2024. https://arxiv.org/abs/2406.11816
- Chen et al., LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale, CVPR 2025. https://arxiv.org/abs/2504.16030
- Xu et al., StreamingVLM: Real-Time Understanding for Infinite Video Streams, ICLR 2026. https://arxiv.org/abs/2510.09608
- Bao et al., TennisTV: Do Multimodal Large Language Models Understand Tennis Rallies?, arXiv 2025(v5). https://arxiv.org/abs/2509.15602
- Liu et al., F³Set: Towards Analyzing Fast, Frequent, and Fine-grained Events from Videos, ICLR 2025. https://arxiv.org/abs/2504.08222
- Xia et al., SportR: A Benchmark for Multimodal Large Language Model Reasoning in Sports, arXiv 2025. https://arxiv.org/abs/2511.06499
- Ge et al., SCBench: A Sports Commentary Benchmark for Video LLMs, arXiv 2024. https://arxiv.org/abs/2412.17637
- 示例代码与输出：
code/12_video_tokens.py,code/12_video_tokens.out.txt