태그: #PTQ
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
숫자를 줄이기: FP16·BF16·INT8 양자화, 사후 양자화와 양자화 인식 학습, 보정 데이터
학습은 32비트 부동소수(FP32)로 하지만 추론은 16비트나 8비트 정수로도 됩니다. 비트를 줄이면 메모리 이동이 줄고 전용 계산 장치를 쓸 수 있어 빨라집니다. FP16 과 BF16 이 범위와 촘촘함을 어떻게 나눠 가졌는지, INT8 이 실수를 눈금에 맞추는 식 r = S(q − Z), 학습 뒤에 범위만 재는 사후 양자화(PTQ)와 학습 중에 양자화를 흉내 내는 QAT, 범위를 정하는 보
2026-10-15 · 18 분 읽기 #비전 모델#실시간#FP16#BF16#INT8