태그: #DistServe
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
NVIDIA Dynamo: 프리필과 디코드를 나누고, KV 가 있는 곳으로 보내기
프리필과 디코드를 한 GPU 에 두면 서로를 방해합니다. 8GB급 GPU 실측에서 긴 프롬프트 하나가 끼자 디코드 중인 요청의 다음 토큰이 227ms 늦었습니다. 분리 서빙은 두 단계를 다른 GPU 에 나누고 KV 를 옮겨 이 간섭을 없애며, 원조 논문 DistServe 는 같은 지연 목표에서 요청률 최대 7.4배를 보고했습니다. NVIDIA Dynamo 는 여기에 「이미 KV 가 있는 워커
2026-10-13 · 22 분 읽기 #KV 캐시#NVIDIA Dynamo#분리 서빙#KV 인지 라우팅#NIXL