태그: #prefill decode

← 전체 글

• prefill 과 decode 를 나누면, 작은 모델과 느린 망에서 잰 분리 서빙

  Dynamo 의 분리 서빙을 쿠버네티스에서 Grove 없이 띄우고, 3편과 같은 요청을 보냈습니다. 같은 서버 안에서 prefill 워커 둘과 decode 워커 둘로 나누자 첫 토큰 시간의 중앙값이 34~106ms 에서 286~896ms 로 늘었고 처리량은 37~48% 줄었습니다. 캐시에 맞은 요청도 KV 272MB 를 decode 워커로 옮겨야 하기 때문입니다. 서버 사이(1GbE)에서는

  2026-11-13 · 12 분 읽기 #NVIDIA Dynamo#vLLM#분리 서빙#prefill decode#NIXL