标签: #DistServe
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
NVIDIA Dynamo：分离 Prefill 与 Decode，并发送至存有 KV 的位置
如果在同一个 GPU 上同时运行 Prefill 和 Decode，它们会互相干扰。在 8GB 级别 GPU 的实际测量中，插入一个长 Prompt 后，正在进行 Decode 的请求的下一个 Token 延迟了 227ms。分离式服务将这两个阶段分配到不同的 GPU 并转移 KV 以消除这种干扰，原始论文 DistServe 报告称在相同的延迟目标下，请求率最高可提升 7.4 倍。NVIDIA Dynamo 在此基础上集成了“发送至已
2026-10-13 · 22 分钟阅读 #KV 캐시#NVIDIA Dynamo#분리 서빙#KV 인지 라우팅#NIXL