标签: #분산추론
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
分布式推理与 NVIDIA Dynamo：并行化、prefill/decode 分离、KV 缓存迁移
本文总结了当模型无法放入单张 GPU 时所使用的四种并行化及通信特性，解释了为什么需要分离 prefill 和 decode，以及 KV 缓存迁移所付出的代价。接着，以 2026 年 10 月为基准，将 NVIDIA Dynamo v1.5.0 的架构和 Kubernetes 部署方式与 llm-d、vLLM 和 SGLang 进行了对比。
2026-10-07 · 33 分钟阅读 #LLM서빙#분산추론#Dynamo#병렬화#prefill-decode분리