태그: #온도
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
지식 증류: 큰 모델이 아는 것을 작은 모델로 옮기기 — 그리고 「녹화본 교사 → 실시간 학생」
지식 증류는 큰 모델(교사)의 출력을 작은 모델(학생)의 정답으로 쓰는 학습법입니다. 온도로 부드럽게 만든 교사의 확률에 「틀린 답들 사이의 닮음」 이라는 정보가 들어 있다는 Hinton 외(2015)의 생각, 정답을 손실에 섞는 법과 T² 보정, DeiT·Noisy Student·「참을성 있는 교사」·EfficientAT·DWPose 의 수치를 차례로 봅니다. 그리고 TT Score 의 계
2026-10-17 · 17 분 읽기 #비전 모델#지식 증류#온도#DeiT#Noisy Student