状态：草稿 (2026-10-13)，未实际测量。 SAM 3 尚未在我们的环境中运行过（原因见第 6 节）。本文于 2026-10-13 参考论文 (arXiv v2)、官方仓库和 Hugging Face 页面整理了相关条件，硬件配置按等级列出。第 3 节中的存在分数计算仅为解释说明的手工计算，并非模型输出。 编写规则：以实测数据为基础，未测量的内容标记为“未测量”。
目录
1. 从“这个”到“所有这些”
第 9 篇和第 10 篇的 SAM 以及 SAM 2 接收的是 视觉提示。点击一下点就能涂抹“这个”。然而，这类操作通过点击来完成非常繁琐。
- 在比赛视频中 所有 涂抹乒乓球（包括在地板上滚动的球）
- 无需点击，直接查找并涂抹“乒乓球桌”
- 在数百张图片中全部涂抹“球拍”
Carion 等人的 SAM 3 将这项工作定义为 提示词概念分割（Promptable Concept Segmentation, PCS）任务。当你提供图像或短视频（30秒以内），并附带 名词短语（如 "white sneakers" 等简短文字）、 示例框（指出这类是/不是），或者两者兼具时，它会找出并涂抹 所有 符合该概念的物体，并在视频中进行追踪。它也完全兼容原有的点击提示（SAM 2 方式）。
2. 架构：检测器 + 追踪器，单一编码器
- 共享视觉编码器：以 Meta 的 Perception Encoder 为核心，检测器和追踪器共享相同的特征。
- 检测器：采用第 8 篇的 DETR 系列。由文字和示例提示限定条件的各个查询分别负责一个物体，并输出检测框和掩膜。由于“全部查找”是未知数量的集合预测，因此 DETR 的集合预测非常契合这一点。
- 追踪器：延续了第 10 篇的 SAM 2 设计，在视频中通过内存对检测到的物体进行追踪。
存在标记：区分“是否存在”与“在哪里”
SAM 3 的新组件是 存在标记（presence token）。这是一个全局标记，仅通过观察整张图来判断“该概念是否存在于图中”。每个查询只负责“在什么地方（位置）”，最终分数为两者相乘。
최종 점수 = 질의 점수(이 자리에 그것이 있다면 이 상자) × 존재 점수(그것이 그림에 있나)
为什么要进行拆分？单个查询只能观察图像的一部分来判断“这是否是乒乓球桌”。带有白色线条的蓝色书桌，如果只看局部，看起来很像乒乓球桌。相反，“这张图里有乒乓球桌吗”这个问题，通过观察整张图的上下文（球网、球拍、体育馆）来判断会更容易。通过手工计算，结果如下。
| 场景 | 查询分数（最高者） | 存在分数 | 最终 |
|---|---|---|---|
| 乒乓球馆 | 0.90 | 0.95 | 0.86 |
| 没有乒乓球桌的办公室里的蓝色书桌 | 0.60 | 0.05 | 0.03 |
（用于解释说明的数字。）原本仅凭查询本身给出 0.60 分被认为“可能是乒乓球桌”的书桌，与存在分数相乘后被过滤掉了。在论文的消融实验中，存在头使 cgF1 提高了 1.5 分。cgF1 是该论文为 PCS 定义的指标，它同时考察“是否存在概念”的判断和“各物体掩膜”的准确度。
3. 数据引擎：人工 + AI 验证器
与 SAM 和 SAM 2 一样，SAM 3 也使用数据引擎来构建训练数据。这一次，部分人工工作交给了 AI 验证器。
- 利用 Llama 系列语言模型提出容易与名词短语候选混淆的“困难负样本”概念（例如：针对“乒乓球桌”提出“餐桌”）。
- 使用经第一阶段人工标注微调过的 Llama 3.2 来进行 掩膜验证（该掩膜是否符合概念）和 完整性验证（是否涂抹了该概念的所有物体）。论文报告称，这使数据引擎的吞吐量大约翻了一倍。
| 数据 | 规模（论文） |
|---|---|
| SA-Co/HQ（高质量训练） | 唯一名词短语 400 万，掩膜 5200 万，图像 520 万张 |
| SA-Co/SYN（合成） | 名词短语 3800 万，掩膜 14 亿 |
| SA-Co/VIDEO | 视频 52,500 部，掩膜序列 467,000 个 |
| SA-Co 评估基准 | 唯一概念 207K，图像 12 万张 + 视频 1,700 部，媒体-名词短语对 300 万个以上 |
最后一行原文存在出入。论文 (v1·v2) 记载唯一概念为 207K，而官方 README 记载为 270K 。关于与人类性能的对比，论文记载为 74%，README 记载为 75–80%。本文采用论文的数据。哪一方正确尚未得到确认。
4. 数值与规模
| 项目 | 数值（论文·README） | 条件 |
|---|---|---|
| PCS 准确度 | 在 SA-Co/Gold 上 OWLv2 的 cgF1 的 2 倍以上。估计人类性能的 74% | 论文 |
| LVIS 零样本掩膜 AP | 48.8（先前最高 38.5） | 论文 |
| 速度 | 包含 100 多个物体的单张图像 30ms | 单张数据中心 GPU（最新一代） |
| 视频 | 延迟随物体数量增加而增加，接近实时的物体数量上限约为 5 个。30fps 演示需要 2 张 GPU 处理 10 个物体，8 张 GPU 处理 64 个物体 | 论文 |
| 参数量 | 8.48 亿 | README |
| 训练计算量 | 数据中心 GPU 时间 172,000（上一代）+ 86,000（最新一代） | 论文 |
8.48 亿参数大约是 SAM 2.1 tiny（3,890 万）的 22 倍。将其与第 12 篇的 OWLv2 进行比较，是因为两者都执行“通过文字查找物体”，而 SAM 3 在此基础上还增加了掩膜和视频追踪功能。
5. 局限性
- 沉重。 在数据中心 GPU 上单张图像 30ms 虽快，但与手机或共享小型 GPU 的环境相去甚远。视频中的物体越多，所需的 GPU 资源就越多。
- 语义模糊。 "table" 既可以指餐桌，也可以指乒乓球桌。名词短语越简短，概念的边界就越模糊。同时提供示例框的功能弥补了这一不足。
- 概念的范围。 难以用名词短语表达的事物（例如“准备击球瞬间的球”这类事件）超出了该任务的范畴。
6. 我们无法使用的原因
TT Score 曾将 SAM 3 作为无需点击即可查找乒乓球桌的候选方案进行评估，并在其他任务中为其预留了代码位置和替代路径（进行中）。然而截至 2026-10-13 仍无法运行。原因有四个。
- 权重访问审批。 必须在 Hugging Face 上登录并同意共享联系信息后， 申请访问并获得批准 才能获取检查点（官方 README·模型页面）。截至 2026-10-13，我们的令牌未被允许访问，因此 Hub 拒绝了下载请求（HTTP 403），未能获取权重。
- 运行环境。 官方 README 要求 Python 3.12 或更高版本、PyTorch 2.7 或更高版本以及 CUDA 12.6 或更高版本。我们推理工作者的 Python 版本是 3.11，因此即使有权重，当前的镜像也会在加载阶段受阻。更新镜像时会重新评估。
- 许可证。 它不是 Apache 许可证，而是独立的“SAM 许可证”。虽然允许使用、修改和重新分发，但在重新分发时必须附加相同的协议，必须在论文等资料中披露使用事实，禁止反向工程，禁止用于军事、武器、核武器、情报用途以及违反出口管制（ITAR）的对象，包含因指控 Meta 侵犯知识产权而导致许可证终止的条款，以及 Meta 可更改条件的条款。其中不包含非商业条款。若要将其投入网页服务，必须对这些条件进行审查。
- 并非刚需。 屏幕上只有一个乒乓球桌，人工点一下即可。“查找符合概念的所有物体”的优势在此并不明显。我们已经通过 SAM 2.1 tiny 获得了几何轮廓差异中位数 4.7px 的效果（TT Score 模型剖析第 3 篇）。
因此目前将其定位为“获批且运行环境合适时可进行测试的候选方案”。如果进行测试，我们将测量其在与 SAM 2.1 相同的乒乓球桌数据集上进行无需点击查找的准确度和延迟，并将其补充到本文中。
TT 寄语。 这是一个用文字询问“乒乓球桌在哪里？”就能全部找出的模型，但门被锁上了。等钥匙（审批）到了，我们将率先从寻找我们的乒乓球桌开始。
参考文献
- Carion, N. et al. (2026). SAM 3: Segment Anything with Concepts. ICLR 2026. https://arxiv.org/abs/2511.16719
- SAM 3 仓库（README、SAM 许可证）： https://github.com/facebookresearch/sam3
- SAM 3 模型页面（申请访问）： https://huggingface.co/facebook/sam3
- Ravi, N. et al. (2025). SAM 2: Segment Anything in Images and Videos. ICLR 2025. https://arxiv.org/abs/2408.00714
- Carion, N. et al. (2020). End-to-End Object Detection with Transformers. ECCV 2020. https://arxiv.org/abs/2005.12872