태그: #부하 시험

← 전체 글

• Service 뒤에 vLLM 을 여러 대 두면 접두 캐시는 얼마나 맞는가

  vLLM 파드 여러 대를 쿠버네티스 Service 하나로 묶으면 요청은 아무 파드로나 갑니다. 접두 캐시는 파드마다 따로이므로, 같은 앞부분을 가진 요청이 다른 파드로 가면 처음부터 다시 계산합니다. 0.6B 모델과 워커 6대·3대로 재 보니 접두가 2종일 때는 요청의 95~98% 가 캐시에 맞았지만 7종에서 52~60%, 12종에서 29~34%, 24종에서 16~18% 로 떨어졌습니다. 이

  2026-11-13 · 11 분 읽기 #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스