标签: #서빙 옵션

← 全部文章

• 用小模型亲自测试 vLLM：负载、KV 缓存容量、前缀缓存、块大小

  1. 将一个 1.7B 的模型部署到单张 8GB 级 GPU 上，随着并发请求的增加，亲自测试了吞吐量和首字延迟在何处拐弯、KV 缓存容量是否符合公式、前缀缓存、KV 8-bit 以及块大小分别带来了哪些改变。

  2026-10-07 · 29 分钟阅读 #vLLM#부하 테스트#KV 캐시#접두사 캐시#청크 프리필