태그: #OffloadingConnector
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
KV 오프로딩과 분리 서빙: 밀려난 접두사를 CPU 에서 다시 불러오기
GPU 의 접두사 캐시는 자리가 모자라면 오래된 블록부터 지웁니다. vLLM 의 기본 CPU 오프로딩(--kv-offloading-size)은 다 쓴 KV 블록을 고정 메모리로 복사해 두었다가 같은 접두사가 다시 오면 GPU 로 되돌립니다. GPU KV 를 2,336토큰으로 일부러 줄이고 1,600토큰 접두사를 밀어낸 뒤 다시 보냈더니, 오프로딩이 없으면 다시 계산해 77.3ms, 있으면 C
2026-10-27 · 12 분 읽기 #vLLM#KV 캐시#KV 오프로딩#OffloadingConnector#분리 서빙