标签: #부하 시험
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
在 vLLM 后方部署多台实例时，前缀缓存的命中率究竟如何？
如果将多个 vLLM Pod 通过一个 Kubernetes Service 绑定在一起，请求会被随机分发到任意一个 Pod。由于前缀缓存是每个 Pod 各自独立维护的，当具有相同前缀的请求被发往不同的 Pod 时，系统就必须从头开始重新计算。在使用 0.6B 模型以及分别测试 6 个和 3 个 Worker 的情况下，我们发现当存在 2 种前缀时，请求的缓存命中率高达 95%~98%；但当增至 7 种时降至 52%~60%，12 种时
2026-11-13 · 11 分钟阅读 #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스