标签: #prefill-decode분리
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 2 篇
亲自试用 NVIDIA Dynamo：KV感知路由几乎全对，而分离式推理在单张显卡上慢了5倍，在两台服务器之间慢了20多倍
我们在没有Kubernetes的单GPU环境下安装了NVIDIA Dynamo，并实测了前端开销、KV感知路由的命中率、路由器收不到事件时的静默失败、单GPU上的prefill/decode分离开销，以及拆分到两个不同GPU服务器上的开销。文中区分并记录了第6篇文档中整理的内容有哪些通过实测得到了验证，哪些尚未实测。
2026-10-07 · 23 分钟阅读 #Dynamo#LLM서빙#KV캐시#라우팅#prefill-decode분리分布式推理与 NVIDIA Dynamo：并行化、prefill/decode 分离、KV 缓存迁移
本文总结了当模型无法放入单张 GPU 时所使用的四种并行化及通信特性，解释了为什么需要分离 prefill 和 decode，以及 KV 缓存迁移所付出的代价。接着，以 2026 年 10 月为基准，将 NVIDIA Dynamo v1.5.0 的架构和 Kubernetes 部署方式与 llm-d、vLLM 和 SGLang 进行了对比。
2026-10-07 · 33 分钟阅读 #LLM서빙#분산추론#Dynamo#병렬화#prefill-decode분리