标签: #NIXL
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
KV 卸载与分离式服务：从 CPU 重新加载被挤出的前缀
如果 GPU 的前缀缓存空间不足，就会从最早的块开始清除。vLLM 默认的 CPU 卸载（--kv-offloading-size）会将用完的 KV 块复制到固定内存（pinned memory）中，当相同的前缀再次到来时，再将其恢复到 GPU 中。我们特意将 GPU KV 缩减至 2,336 个 token，挤出 1,600 个 token 的前缀后再次发送，结果显示：如果没有卸载，重新计算需要 77.3ms；如果有卸载，从 CPU
2026-10-27 · 12 分钟阅读 #vLLM#KV 캐시#KV 오프로딩#OffloadingConnector#분리 서빙