태그: #CLIP

← 전체 글

• 대조 학습과 CLIP: 그림과 글을 짝지어 배우면 처음 보는 것도 맞힌다

  사람이 붙인 분류 라벨 없이, 인터넷의 그림-글 짝 4억 개만으로 학습한 CLIP 이 어떻게 처음 보는 분류 문제를 푸는지 설명합니다. 배치 안의 N×N 유사도 행렬에 거는 InfoNCE 손실, 온도 τ 의 역할, 프롬프트로 분류기를 만드는 법을 그림과 수식으로 풀고, numpy 로 손실을 직접 계산한 뒤 개념 20개짜리 장난감 세계에서 「본 적 없는 개념」 을 맞혀 봅니다. SigLIP 의

  2026-10-17 · 14 분 읽기 #비전 모델#CLIP#대조 학습#InfoNCE#SigLIP

• 열린 어휘 검출: CLIP 글자 임베딩을 검출기에 붙이기 — OWL-ViT, OWLv2, Grounding DINO, YOLO-World, YOLOE

  보통의 검출기는 학습 때 정한 80가지(COCO)만 찾습니다. 「racket」이라는 글자만 주면 라켓을 찾는 열린 어휘 검출기는 분류 머리의 고정 가중치를 글자 인코더가 만든 임베딩으로 바꾸는 것에서 출발합니다. ViT 의 토큰마다 상자와 글자 임베딩을 붙인 OWL-ViT, 웹 그림 수십억 장에 스스로 라벨을 달아 희귀 클래스 AP 를 31.2 에서 44.6 으로 올린 OWLv2, 글자와 그

  2026-10-17 · 15 분 읽기 #비전 모델#열린 어휘 검출#CLIP#OWL-ViT#OWLv2