标签: #PagedAttention
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
vLLM 功能地图：有哪些功能、什么时候划算、每个版本改了什么
基于 vLLM 0.32.0 (2026-10-18) 官方文档与发布说明，我们将十六项核心功能汇总成一张表，梳理了每项功能节省的开销、开启所需的参数、划算与不划算的条件。在这其中，我们使用一张 8GB 级别的笔记本 GPU 和一个 0.6B 的模型，对其中的十二项（多模态与池化仅测了池化）进行了实际测量。连续批处理在并发为 16 时将吞吐量提升了 9.6 倍，前缀缓存使 3,200 个 Token 公共部分的首个 Token 速度提升
2026-10-27 · 15 分钟阅读 #vLLM#LLM 서빙#기능 지도#PagedAttention#추측 디코딩