タグ: #CLIP

← すべての記事

• オープンボキャブラリー検出：CLIPのテキスト埋め込みを検出器に組み込む — OWL-ViT、OWLv2、Grounding DINO、YOLO-World、YOLOE

  通常の検出器は、学習時に定めた80種類（COCO）のカテゴリしか検出できません。「racket」というテキストを与えるだけでラケットを見つけるオープンボキャブラリー検出は、分類ヘッドの固定重みをテキストエンコーダーが生成した埋め込みに置き換えることから始まります。ViTのトークンごとにボックスとテキスト埋め込みを結び付けたOWL-ViT、数十億枚のウェブ画像に自らラベル付けしてレアクラスのAPを31.2から44.6に向上させたOWLv2

  2026-10-17 · 15 分で読めます #비전 모델#열린 어휘 검출#CLIP#OWL-ViT#OWLv2

• 対照学習とCLIP：画像とテキストをペアで学習すれば、見たことのないものも当てられる

  人が付けた分類ラベルなしで、インターネット上の画像とテキストのペア4億個だけで学習したCLIPが、どのように見たことのない分類問題を解くのかを解説します。バッチ内のN×N類似度行列にかけるInfoNCE損失、温度τの役割、プロンプトで分類器を作る方法をイラストと数式で紐解き、numpyで損失を直接計算した後、20個の概念からなるおもちゃの世界で「見たことのない概念」を当ててみます。SigLIPのシグモイド損失とCLIPの限界（個数、細か

  2026-10-17 · 14 分で読めます #비전 모델#CLIP#대조 학습#InfoNCE#SigLIP