标签: #CacheBlend
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
LMCache: 将 KV 缓存移出 GPU，跨引擎共享
GPU 内存中的前缀缓存容量不足时会被逐出，且每个引擎实例各自独立。LMCache 会将 KV 暂存到 CPU 内存、磁盘或远程存储中，当相同的前端再次到来时，直接加载而不是重新计算。在 8GB 级 GPU 的实际测算中，当重新读取 5 万个超出 GPU 容量的文档 Token 时，首 Token 延迟从 576ms 降至 48.6ms，首次读取时的存储开销约为 4%。收益完全由“加载是否比重新计算便宜”这一条件决定。在该模型中，收支平
2026-10-13 · 34 分钟阅读 #KV 캐시#LMCache#vLLM#KV 오프로딩#CacheBlend