태그: #Marlin
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
양자화: 가중치를 8비트로 줄이면 디코드가 빨라지는 까닭과 그 대가
디코드 한 걸음은 가중치 전체를 메모리에서 읽는 시간이 대부분이라, 가중치를 작게 만들면 걸음이 짧아집니다. vLLM 은 bf16 체크포인트를 띄우면서 그 자리에서 FP8 로 바꾸는 온라인 양자화를 지원합니다. 8GB급 GPU 에서 0.6B 모델로 재 보니 가중치 메모리가 1.12GiB 에서 0.71GiB 로 줄고, 혼자 쓸 때 처리량이 174.2 에서 236.3 tok/s(1.36배), 동
2026-10-27 · 13 분 읽기 #vLLM#양자화#FP8#AWQ#GPTQ