标签: #prefill decode
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
如果将 prefill 和 decode 拆分，在小模型和慢网络下测量分离式服务
我们在 Kubernetes 中不使用 Grove 部署了 Dynamo 的分离式服务，并发送了与第 3 篇相同的请求。在同一台服务器中分为两个 prefill Worker 和两个 decode Worker 时，首个 Token 时间的中位数从 34~106ms 增加到 286~896ms，吞吐量减少了 37~48%。这是因为即使是命中文档的请求，也必须将 272MB 的 KV 转移到 decode Worker。在服务器之间（1G
2026-11-13 · 12 分钟阅读 #NVIDIA Dynamo#vLLM#분리 서빙#prefill decode#NIXL