标签: #처리량

← 全部文章

• 对连续批处理、chunked prefill、前缀缓存进行重复测量

  我们使用 0.6B 模型重新测量了 vLLM 的三大基本功能。这一次，每个条件重复了三到四次并取中位数，同时附带了完全关闭这些功能的基线。当强制一次只处理一个请求（--max-num-seqs 1）时，16 个并发请求的吞吐量停留在 174.6 tok/s，而默认设置为 1,683 tok/s，是前者的 9.6 倍。当插入 3,700 个 token 的输入时，解码暂停的最大时间在 512 token 的 chunk 大小下为 35.6

  2026-10-27 · 15 分钟阅读 #vLLM#연속 배칭#chunked prefill#접두사 캐시#cache_salt