标签: #MLA
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
← 全部文章
语言模型逐个生成标记，每次生成时都会回顾前面所有的标记。由于前一个标记的 K 和 V 一旦计算后就不会改变，因此将其保存并重复使用，这就是 KV 缓存。通过 numpy 玩具模型测试发现，生成 512 个标记时，无缓存耗时 8.0 秒，有缓存时仅需 0.49 秒，且两种方式的输出结果相同。不过缓存会占用内存。单个标记的 KV 大小为 2 × 层数 × KV 头数 × 头维度 × 字节数，对于 Llama 3.1 70B 来说，一个 32
2026-10-13 · 19 分钟阅读 #KV 캐시#LLM 서빙#트랜스포머#어텐션#GQA
