ステータス: ドラフト（2026-10-13）、未計測。 SAM 3は私たちの環境では動作させていません（理由はセクション6）。論文（arXiv v2）および公式リポジトリ・Hugging Faceページを2026-10-13時点の条件で参照し、ハードウェアはグレードで記載しています。セクション3の存在スコアの計算は説明のための手計算であり、モデルの出力ではありません。 執筆方針: 実測データを基本とし、計測できなかったものは「未計測」と表記します。
目次
- 1. 「これ」から「このようなものすべて」へ
- 2. 構造: 検出器 + トラッカー、単一のエンコーダー
- 3. データエンジン: 人間 + AI検証器
- 4. 数値とサイズ
- 5. 制限事項
- 6. 私たちが使えなかった理由
- 参考文献
1. 「これ」から「このようなものすべて」へ
第9・10弾のSAMおよびSAM 2は 視覚的プロンプトを受け取ります。点を打つと「これ」をセグメンテーションします。しかし、このような作業をすべてクリックで行うのは手間がかかります。
- 競技場の動画から すべての ピンポン玉をセグメンテーションする（床に転がっているボールを含む）
- クリックなしで「卓球台」を見つけてセグメンテーションする
- 何百枚もの画像から「ラケット」をすべてセグメンテーションする
CarionらによるSAM 3は、この作業を プロンプト概念セグメンテーション（Promptable Concept Segmentation、PCS）というタスクとして定義します。画像や短い動画（30秒以下）とともに、 名詞句（「white sneakers」のような短いテキスト）、 例示ボックス（これは正解／不正解）、あるいはその両方を与えると、その概念に該当する すべて の物体を見つけてセグメンテーションし、動画内では追跡します。従来のクリックプロンプト（SAM 2方式）もそのまま受け付けます。
2. 構造: 検出器 + トラッカー、単一のエンコーダー
- 共有ビジョンエンコーダー：MetaのPerception Encoderをバックボーンとし、検出器とトラッカーが同一の特微量を共有します。
- 検出器：第8弾の DETR系です。テキストや例示プロンプトで条件付けされたクエリがそれぞれ1つの物体を担当し、ボックスとマスクを出力します。「すべてを見つける」ことは個数の分からない集合予測であるため、DETRの集合予測が適しています。
- トラッカー：第10弾の SAM 2の設計を受け継ぎ、検出された物体を動画内でメモリを通じて追跡します。
存在トークン: 「あるか」と「どこにあるか」を分離する
SAM 3の新しいコンポーネントは 存在トークン（presence token）です。画像全体を見て「この概念が画像にあるか」のみを判断するグローバルトークンです。各クエリは「どこにあるか（位置）」のみを担当し、最終スコアは両者の積となります。
최종 점수 = 질의 점수(이 자리에 그것이 있다면 이 상자) × 존재 점수(그것이 그림에 있나)
なぜ分離するのでしょうか。1つのクエリは画像の一部だけを見て「これが卓球台か」を判断しなければなりません。白い線が引かれた青い机は、一部だけを見ると卓球台のように見えます。一方、「この画像に卓球台があるか」は、画像全体の文脈（ネット、ラケット、体育館）から判断する方が容易です。手計算で見ると以下のようになります。
| シーン | クエリのスコア（最高のもの） | 存在スコア | 最終 |
|---|---|---|---|
| 卓球場 | 0.90 | 0.95 | 0.86 |
| 卓球台のないオフィスの青い机 | 0.60 | 0.05 | 0.03 |
（説明用の数値。）クエリ単体では0.60として「おそらく卓球台」と判定した机が、存在スコアと掛け合わされることでフィルタリングされます。論文のアブレーション実験において、存在ヘッドはcgF1を1.5ポイント向上させました。cgF1は本論文がPCSのために定義した指標であり、「概念が存在するか」の判断と「物体ごとのマスク」の精度を合わせて評価します。
3. データエンジン: 人間 + AI検証器
SAMやSAM 2と同様に、SAM 3もデータエンジンによって学習データを作成しました。今回は人間による作業の一部を AI検証器が担います。
- 名詞句の候補と混同しやすい「困難なネガティブ」概念（例：「卓球台」に対する「食卓」）をLlama系言語モデルによって提案させます。
- 第1段階の人間のラベルでファインチューニングされたLlama 3.2が マスクの検証（このマスクが概念に適合しているか）と 網羅性の検証（その概念の物体をすべてセグメンテーションしたか）を行います。これにより、データエンジンのスループットが約2倍になったと論文は報告しています。
| データ | 規模（論文） |
|---|---|
| SA-Co/HQ（高品質学習） | ユニークな名詞句 400万、マスク 5,200万、画像 520万枚 |
| SA-Co/SYN（合成） | 名詞句 3,800万、マスク 14億 |
| SA-Co/VIDEO | 動画 52,500本、マスクレット 467,000個 |
| SA-Co評価ベンチマーク | ユニーク概念 207K、画像 12万枚 + 動画 1,700本、メディア・名詞句ペア 300万個以上 |
最後の行で原文に食い違いがあります。論文（v1・v2）はユニーク概念を 207K、公式READMEは 270K と記載しています。人間の性能との比較についても、論文は74%、READMEは75〜80%となっています。本記事では論文に従いました。どちらが正しいかは確認できていません。
4. 数値とサイズ
| 項目 | 値（論文・README） | 条件 |
|---|---|---|
| PCS精度 | SA-Co/GoldにおけるOWLv2のcgF1の 2倍以上。推定された人間の性能の74% | 論文 |
| LVISゼロショットマスクAP | 48.8（従来最高は38.5） | 論文 |
| 速度 | 100個以上の物体がある画像1枚あたり 30ms | データセンター用GPU 1基（最新世代） |
| 動画 | 物体の数に応じて遅延が増加し、リアルタイムに近いのは物体約5個まで。30fpsのデモはGPU 2基で物体10個、8基で64個 | 論文 |
| パラメータ数 | 8億4,800万 | README |
| 学習計算量 | データセンターGPU時間 172,000（前世代） + 86,000（最新世代） | 論文 |
8億4,800万パラメータはSAM 2.1 tiny（3,890万）の約22倍です。第12弾のOWLv2と比較しているのは、両者とも「テキストによる物体検出」を行うためであり、SAM 3はその上にマスクと動画追跡まで行います。
5. 制限事項
- 重い。 データセンター用GPUでの画像1枚あたり30msは高速ですが、スマートフォンや小規模なGPUを共有する環境とはかけ離れています。動画では物体が増えるほどGPUの必要数が増加します。
- 言葉の曖昧さ。 「table」は食卓である可能性もあれば、卓球台である可能性もあります。名詞句が短いほど、概念の境界線が曖昧になります。例示ボックスを一緒に与える機能がこれを補完します。
- 概念のスコープ。 名詞句で表現しにくいもの（「サーブしようとする瞬間のボール」のようなイベント）はこのタスクの対象外です。
6. 私たちが使えなかった理由
TT Scoreでは、クリックなしで卓球台を見つける候補としてSAM 3を検討し、別の作業においてコードの配置場所や代替パスまで作成していました（進行中）。しかし、2026-10-13現在、動作させることができませんでした。理由は4つあります。
- 重みへのアクセス承認。 チェックポイントは、Hugging Faceでログインし、連絡先の共有に同意した上で アクセスを申請して承認を受ける 必要があります（公式README・モデルページ）。2026-10-13現在、私たちのトークンではアクセスが許可されず、ハブがダウンロードリクエストを拒否したため（HTTP 403）、重みを取得できませんでした。
- 実行環境。 公式READMEはPython 3.12以上、PyTorch 2.7以上、CUDA 12.6以上を要求します。私たちの推論ワーカーのPythonは3.11であるため、重みがあったとしても現在のコンテナイメージでは読み込みの段階でブロックされます。イメージを更新する際に改めて確認します。
- ライセンス。 Apacheではなく、独自の「SAM License」です。使用・変更・再配布は許可されていますが、再配布時に同じ契約を付与すること、論文等で使用した事実を明記すること、リバースエンジニアリングの禁止、軍事・兵器・核・諜報目的および輸出管理（ITAR）対象用途での使用の禁止、Metaを知的財産権侵害で提訴した場合はライセンスが終了する条項、Metaが条件を変更できる条項が含まれています。非商用条項はありません。Webサービスに組み込むには、これらの条件を検討する必要があります。
- 必須ではなかった。 卓球台は画面内に1つしかなく、人間が一度指定すれば済みます。「概念に該当するものすべて」というメリットが小さいのです。SAM 2.1 tinyを用いて、幾何学的なコーナーの差分の中心値4.7pxですでに達成しています（TT Scoreモデル解剖 第3弾）。
そのため、現在は「承認が下りて実行環境が整えばテストしてみる候補」として置いています。テストすることになった場合は、SAM 2.1と同じ卓球台のセットにおいて、クリックなしでの検出精度と遅延を測定してこの記事に追記します。
TTの一言。 「卓球台はどこ？」と文字で尋ねればすべて見つけてくれるモデルですが、ドアに鍵がかかっています。鍵（承認）が届けば、真っ先に私たちの卓球台を探してみます。
参考文献
- Carion, N. et al. (2026). SAM 3: Segment Anything with Concepts. ICLR 2026. https://arxiv.org/abs/2511.16719
- SAM 3リポジトリ（README、SAM License）: https://github.com/facebookresearch/sam3
- SAM 3モデルページ（アクセス申請）: https://huggingface.co/facebook/sam3
- Ravi, N. et al. (2025). SAM 2: Segment Anything in Images and Videos. ICLR 2025. https://arxiv.org/abs/2408.00714
- Carion, N. et al. (2020). End-to-End Object Detection with Transformers. ECCV 2020. https://arxiv.org/abs/2005.12872