태그: #n-gram
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
추측 디코딩: 맞히면 네 배, 못 맞히면 손해
추측 디코딩은 값싼 방법으로 다음 토큰 몇 개를 미리 짐작하고, 큰 모델이 그 초안을 한 걸음에 검증해 맞는 만큼 한꺼번에 받아들입니다. 탐욕 디코딩에서는 출력이 바뀌지 않는 것이 원칙입니다. 가장 가벼운 n-gram 방식을 8GB급 GPU 와 0.6B 모델로 재 보니, 글을 그대로 베끼는 작업에서 혼자 쓸 때 초당 176.4토큰이 704.1토큰(4.0배, 제안 4개)과 1,117토큰(6.3
2026-10-27 · 17 분 읽기 #vLLM#추측 디코딩#speculative decoding#n-gram#EAGLE