标签: #수락률
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
推测解码：猜中赚四倍，猜错要吃亏
推测解码是一种低成本地提前预测几个下一个 Token 的方法，由大模型一步到位地验证这些草案，并将正确的部分全部接受。在贪婪解码中，输出通常保持不变。在使用 8GB 级 GPU 和 0.6B 模型重新测试最轻量的 n-gram 方法时，在原样复制文本的任务中，单独使用时的每秒 176.4 个 Token 提升到了 704.1 个 Token（4.0 倍，4 个建议）和 1,117 个 Token（6.3 倍，8 个建议）。接受率在 96
2026-10-27 · 17 分钟阅读 #vLLM#추측 디코딩#speculative decoding#n-gram#EAGLE