태그: #DeiT

← 전체 글

• 지식 증류: 큰 모델이 아는 것을 작은 모델로 옮기기 — 그리고 「녹화본 교사 → 실시간 학생」

  지식 증류는 큰 모델(교사)의 출력을 작은 모델(학생)의 정답으로 쓰는 학습법입니다. 온도로 부드럽게 만든 교사의 확률에 「틀린 답들 사이의 닮음」 이라는 정보가 들어 있다는 Hinton 외(2015)의 생각, 정답을 손실에 섞는 법과 T² 보정, DeiT·Noisy Student·「참을성 있는 교사」·EfficientAT·DWPose 의 수치를 차례로 봅니다. 그리고 TT Score 의 계

  2026-10-17 · 17 분 읽기 #비전 모델#지식 증류#온도#DeiT#Noisy Student

• Vision Transformer: 그림을 16×16 조각의 문장으로 읽기, 그리고 데이터가 많이 필요한 이유

  문장을 읽던 트랜스포머로 그림을 읽는 ViT(2021)의 원리를 봅니다. 그림을 16×16 조각으로 잘라 단어처럼 늘어놓고, 셀프 어텐션으로 모든 조각 쌍의 관계를 봅니다. 「조각으로 잘라 선형 변환」이 보폭 16 합성곱과 똑같다는 것, 위치 임베딩이 없으면 모델이 조각의 순서를 전혀 모른다는 것, 해상도를 2배 늘리면 어텐션 비용이 16배가 된다는 것을 numpy 로 확인합니다. 합성곱이

  2026-10-17 · 13 분 읽기 #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩