タグ: #부하 시험
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
Service の後ろに vLLM を複数台置いた場合のプレフィックスキャッシュのヒット率
vLLM ポッドを複数台 Kubernetes の Service 一つでまとめると、リクエストはいずれかのポッドにルーティングされます。プレフィックスキャッシュはポッドごとに独立しているため、同じプレフィックスを持つリクエストが別のポッドにルーティングされると、最初から再計算が行われます。0.6B モデルと 6台・3台のワーカーで測定したところ、プレフィックスが 2 種類のときはリクエストの 95～98% がキャッシュにヒットしました
2026-11-13 · 11 分で読めます #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스