태그: #접두 캐시

← 전체 글

• 같은 요청을 Dynamo 로 보내면, 라운드로빈과 KV 인지 라우팅 실측

  1편에서 잰 요청을 같은 순서로 Dynamo 에 다시 보냈습니다. 프런트엔드를 라운드로빈으로 두면 적중률은 Service 뒤 vLLM 과 같았습니다. Dynamo 를 거치는 것만으로는 캐시가 살아나지 않습니다. KV 인지 라우팅을 켜면 워커 6대에서 요청 단위 적중이 접두 7종 56%→83%, 12종 32%→68%, 24종 18%→43% 로 올랐고, 동시 16 의 TTFT p99 는 1.3~

  2026-11-13 · 16 분 읽기 #NVIDIA Dynamo#vLLM#KV 인지 라우팅#접두 캐시#KV 캐시

• Service 뒤에 vLLM 을 여러 대 두면 접두 캐시는 얼마나 맞는가

  vLLM 파드 여러 대를 쿠버네티스 Service 하나로 묶으면 요청은 아무 파드로나 갑니다. 접두 캐시는 파드마다 따로이므로, 같은 앞부분을 가진 요청이 다른 파드로 가면 처음부터 다시 계산합니다. 0.6B 모델과 워커 6대·3대로 재 보니 접두가 2종일 때는 요청의 95~98% 가 캐시에 맞았지만 7종에서 52~60%, 12종에서 29~34%, 24종에서 16~18% 로 떨어졌습니다. 이

  2026-11-13 · 11 분 읽기 #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스