标签: #모델로딩

← 全部文章

• AI 存储与 KV 缓存卸载：从权重加载路径到 LMCache 实测

  本文梳理了大模型服务中决定冷启动的权重加载路径，以及将无法完全放入 GPU 内存的 KV 缓存下沉至 CPU 内存和磁盘的方法。原原本本地公开了笔者测得的 LMCache 实测数据（TTFT 从 576ms 缩短至 48.6ms）及其局限性。

  2026-10-07 · 35 分钟阅读 #AI스토리지#모델로딩#KV캐시#LMCache#vLLM