标签: #접두 캐시

← 全部文章

• 将相同的请求发送给 Dynamo，实测轮询和感知 KV 路由

  我们按照第 1 篇中测试请求的相同顺序，再次将其发送给了 Dynamo。如果将前端设置为轮询（Round-Robin），其命中率与 Service 背后的 vLLM 相同。仅通过 Dynamo 并不会使缓存复苏。开启感知 KV 路由后，在 6 个 Worker 上，请求级别的命中率分别从：7 种前缀的 56% 上升到 83%、12 种前缀的 32% 上升到 68%、24 种前缀的 18% 上升到 43%；并发数为 16 时的 TTFT

  2026-11-13 · 16 分钟阅读 #NVIDIA Dynamo#vLLM#KV 인지 라우팅#접두 캐시#KV 캐시

• 在 vLLM 后方部署多台实例时，前缀缓存的命中率究竟如何？

  如果将多个 vLLM Pod 通过一个 Kubernetes Service 绑定在一起，请求会被随机分发到任意一个 Pod。由于前缀缓存是每个 Pod 各自独立维护的，当具有相同前缀的请求被发往不同的 Pod 时，系统就必须从头开始重新计算。在使用 0.6B 模型以及分别测试 6 个和 3 个 Worker 的情况下，我们发现当存在 2 种前缀时，请求的缓存命中率高达 95%~98%；但当增至 7 种时降至 52%~60%，12 种时

  2026-11-13 · 11 分钟阅读 #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스