标签: #CLIP

← 全部文章

• 对比学习与 CLIP：通过图文配对，学会识别从未见过的事物

  本文解释了在没有任何人工分类标签的情况下，仅凭互联网上的 4 亿对图文训练出来的 CLIP 如何解决从未见过的分类问题。通过图表和公式拆解了批次内 N×N 相似度矩阵的 InfoNCE 损失、温度参数 τ 的角色以及如何通过提示词构建分类器，并在 numpy 中直接计算损失后，在包含 20 个概念的玩具世界中尝试识别“从未见过的概念”。同时通过论文数据确认了 SigLIP 的 Sigmoid 损失以及 CLIP 的局限性（计数、精细区分

  2026-10-17 · 14 分钟阅读 #비전 모델#CLIP#대조 학습#InfoNCE#SigLIP

• 开放词汇检测：将 CLIP 文本 embedding 附加到检测器上 — OWL-ViT、OWLv2、Grounding DINO、YOLO-World、YOLOE

  普通检测器只能识别训练时固定的 80 个类别（COCO）。开放词汇检测器只需给定「racket」这样的文本即可识别球拍，其出发点是将分类头的固定权重替换为由文本编码器生成的 embedding。本文梳理了将 ViT 的每个 token 与边界框和文本 embedding 相结合的 OWL-ViT；通过为数十亿张网络图片自主打标签、将罕见类别 AP 从 31.2 提升至 44.6 的 OWLv2；深度融合文本和图像的 GLIP 与 Gro

  2026-10-17 · 15 分钟阅读 #비전 모델#열린 어휘 검출#CLIP#OWL-ViT#OWLv2