태그: #vLLM 기능 지도
쿠버네티스·DevOps·MLOps 를 직접 돌려 보고 잰 값으로 쓰는 블로그 · 9 편
#vLLM 기능 지도 태그가 붙은 글은 9편이고, 가장 최근 글은 2026-10-27에 올라왔습니다.
함께 자주 붙은 태그: #vLLM 9 #실측 5 #구조화 출력 3 #KV 오프로딩 2 #보안 2
최근 90일 동안 많이 읽힌 글:
병렬화, 멀티모달, 풀링: GPU 한 장으로 잴 수 있는 것과 없는 것
vLLM 의 나머지 큰 기능 셋을 묶었습니다. 모델을 여러 GPU 에 나누는 텐서·파이프라인·데이터·전문가 병렬은 GPU 가 한 장이라 미실측이고, 각각 무엇을 나누고 언제 쓰는지를 문서와 논문으로 정리했습니다. 이미지·영상·오디오 입력은 필요한 모델을 새로 받아야 해서 미실측이며, 대신 SSRF 를 막는 --allowed-media-domains 와 CPU 메모리를 4GiB 잡는 처리기 캐
2026-10-27 · 16 분 읽기 #vLLM#텐서 병렬#파이프라인 병렬#데이터 병렬#전문가 병렬운영 기능: 잠자기 모드, 기동 시간, /metrics, 그리고 --api-key 가 지키지 않는 길
서버를 끄지 않고 GPU 를 비우는 잠자기 모드, 다시 띄우는 시간을 줄이는 컴파일 캐시, 상태를 보는 /metrics, 그리고 인증을 직접 재 봤습니다. 잠자기 2단계는 42ms 만에 GPU 메모리를 6,168MiB 에서 606MiB 로 비웠고, 가중치를 다시 읽어 깨우는 데 0.39초가 걸렸습니다(같은 설정의 재기동은 32초). 1단계는 가중치를 CPU 로 옮기다 4GiB 와 4.5GiB
2026-10-27 · 17 분 읽기 #vLLM#sleep mode#잠자기 모드#기동 시간#torch.compileKV 오프로딩과 분리 서빙: 밀려난 접두사를 CPU 에서 다시 불러오기
GPU 의 접두사 캐시는 자리가 모자라면 오래된 블록부터 지웁니다. vLLM 의 기본 CPU 오프로딩(--kv-offloading-size)은 다 쓴 KV 블록을 고정 메모리로 복사해 두었다가 같은 접두사가 다시 오면 GPU 로 되돌립니다. GPU KV 를 2,336토큰으로 일부러 줄이고 1,600토큰 접두사를 밀어낸 뒤 다시 보냈더니, 오프로딩이 없으면 다시 계산해 77.3ms, 있으면 C
2026-10-27 · 12 분 읽기 #vLLM#KV 캐시#KV 오프로딩#OffloadingConnector#분리 서빙양자화: 가중치를 8비트로 줄이면 디코드가 빨라지는 까닭과 그 대가
디코드 한 걸음은 가중치 전체를 메모리에서 읽는 시간이 대부분이라, 가중치를 작게 만들면 걸음이 짧아집니다. vLLM 은 bf16 체크포인트를 띄우면서 그 자리에서 FP8 로 바꾸는 온라인 양자화를 지원합니다. 8GB급 GPU 에서 0.6B 모델로 재 보니 가중치 메모리가 1.12GiB 에서 0.71GiB 로 줄고, 혼자 쓸 때 처리량이 174.2 에서 236.3 tok/s(1.36배), 동
2026-10-27 · 13 분 읽기 #vLLM#양자화#FP8#AWQ#GPTQ도구 호출: 파서가 글을 함수 호출로 바꾸고, strict 가 인자를 묶는다
모델이 도구를 부르는 일은 사실 모델이 정해진 모양의 글을 쓰는 일입니다. vLLM 은 채팅 템플릿으로 도구 목록을 프롬프트에 넣고, 모델이 쓴 글을 파서가 OpenAI 형식의 toolcalls 로 바꿉니다. toolchoice 가 required 나 특정 함수 이름이면 구조화 출력이 호출의 겉모양을 강제합니다. 그런데 8GB급 GPU 에서 0.6B 모델로 재 보니 strict 를 켜지 않은
2026-10-27 · 15 분 읽기 #vLLM#도구 호출#tool calling#function calling#구조화 출력구조화 출력: 토큰마다 「쓸 수 없는 글자」를 가리는 비용
구조화 출력은 모델이 다음 토큰을 고르기 직전에, 문법상 올 수 없는 토큰의 확률을 0으로 가립니다. 그래서 대화 능력이 거의 없는 0.6B 모델도 JSON 스키마를 지정하면 48번 중 46번 올바른 JSON 을 냈고, 지정하지 않으면 0번이었습니다. 틀린 두 번은 모두 maxtokens 에 걸려 잘린 경우였습니다. 비용은 두 곳에 있습니다. 새 스키마의 첫 요청은 문법을 만드느라 xgram
2026-10-27 · 17 분 읽기 #vLLM#구조화 출력#structured outputs#JSON 스키마#xgrammar추측 디코딩: 맞히면 네 배, 못 맞히면 손해
추측 디코딩은 값싼 방법으로 다음 토큰 몇 개를 미리 짐작하고, 큰 모델이 그 초안을 한 걸음에 검증해 맞는 만큼 한꺼번에 받아들입니다. 탐욕 디코딩에서는 출력이 바뀌지 않는 것이 원칙입니다. 가장 가벼운 n-gram 방식을 8GB급 GPU 와 0.6B 모델로 재 보니, 글을 그대로 베끼는 작업에서 혼자 쓸 때 초당 176.4토큰이 704.1토큰(4.0배, 제안 4개)과 1,117토큰(6.3
2026-10-27 · 17 분 읽기 #vLLM#추측 디코딩#speculative decoding#n-gram#EAGLE연속 배칭, chunked prefill, 접두사 캐시를 반복 측정으로 다시 재기
vLLM 의 기본 세 기능을 0.6B 모델로 다시 쟀습니다. 이번에는 조건마다 서너 번 반복해 중앙값을 쓰고, 기능을 아예 끈 기준선을 함께 두었습니다. 한 번에 한 요청만 돌리게 하면(--max-num-seqs 1) 동시 16요청의 처리량이 174.6 tok/s 에 머물렀고, 기본 설정은 1,683 tok/s 로 9.6배였습니다. 3,700토큰 입력이 끼어들 때 디코드가 멈추는 최대 시간은
2026-10-27 · 15 분 읽기 #vLLM#연속 배칭#chunked prefill#접두사 캐시#cache_saltvLLM 기능 지도: 무엇이 있고, 언제 이득이며, 판마다 무엇이 바뀌었나
vLLM 0.32.0(2026-10-18) 공식 문서와 릴리스 노트를 기준으로 주요 기능 열여섯 가지를 한 표에 모으고, 각 기능이 무엇을 아끼는지, 어떤 옵션으로 켜는지, 이득이 나는 조건과 안 나는 조건이 무엇인지 정리했습니다. 이 가운데 열두 가지(멀티모달·풀링은 풀링만)를 8GB급 노트북 GPU 한 장과 0.6B 모델로 직접 쟀습니다. 연속 배칭은 동시 16 에서 처리량을 9.6배로,
2026-10-27 · 15 분 읽기 #vLLM#LLM 서빙#기능 지도#PagedAttention#추측 디코딩