标签: #양자화

← 全部文章

• 量化：将权重缩减至 8 位为何能加快解码速度及其代价

  解码的一个步骤主要耗费在从内存中读取整个权重的时间上，因此减小权重可以缩短步骤耗时。vLLM 支持在线量化，即在加载 bf16 检查点的同时原地转换为 FP8。在 8GB 级 GPU 上用 0.6B 模型重新测试发现，权重内存从 1.12GiB 降至 0.71GiB，单用户吞吐量从 174.2 提升至 236.3 tok/s（1.36 倍），并发 16 时从 1,683 提升至 2,086 tok/s（1.24 倍），并发 64 时为

  2026-10-27 · 13 分钟阅读 #vLLM#양자화#FP8#AWQ#GPTQ

• vLLM 功能地图：有哪些功能、什么时候划算、每个版本改了什么

  基于 vLLM 0.32.0 (2026-10-18) 官方文档与发布说明，我们将十六项核心功能汇总成一张表，梳理了每项功能节省的开销、开启所需的参数、划算与不划算的条件。在这其中，我们使用一张 8GB 级别的笔记本 GPU 和一个 0.6B 的模型，对其中的十二项（多模态与池化仅测了池化）进行了实际测量。连续批处理在并发为 16 时将吞吐量提升了 9.6 倍，前缀缓存使 3,200 个 Token 公共部分的首个 Token 速度提升

  2026-10-27 · 15 分钟阅读 #vLLM#LLM 서빙#기능 지도#PagedAttention#추측 디코딩