标签: #GPTQ

← 全部文章

• 量化：将权重缩减至 8 位为何能加快解码速度及其代价

  解码的一个步骤主要耗费在从内存中读取整个权重的时间上，因此减小权重可以缩短步骤耗时。vLLM 支持在线量化，即在加载 bf16 检查点的同时原地转换为 FP8。在 8GB 级 GPU 上用 0.6B 模型重新测试发现，权重内存从 1.12GiB 降至 0.71GiB，单用户吞吐量从 174.2 提升至 236.3 tok/s（1.36 倍），并发 16 时从 1,683 提升至 2,086 tok/s（1.24 倍），并发 64 时为

  2026-10-27 · 13 分钟阅读 #vLLM#양자화#FP8#AWQ#GPTQ