标签: #라우팅
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
亲自试用 NVIDIA Dynamo：KV感知路由几乎全对，而分离式推理在单张显卡上慢了5倍，在两台服务器之间慢了20多倍
我们在没有Kubernetes的单GPU环境下安装了NVIDIA Dynamo，并实测了前端开销、KV感知路由的命中率、路由器收不到事件时的静默失败、单GPU上的prefill/decode分离开销，以及拆分到两个不同GPU服务器上的开销。文中区分并记录了第6篇文档中整理的内容有哪些通过实测得到了验证，哪些尚未实测。
2026-10-07 · 23 分钟阅读 #Dynamo#LLM서빙#KV캐시#라우팅#prefill-decode분리