タグ: #서빙 옵션

← すべての記事

• 小さなモデルで vLLM を実際に測定してみる: 負荷、KV キャッシュ容量、プレフィックスキャッシュ、チャンクサイズ

  1.7B モデル 1つを 8GB 級 GPU 1枚に載せ、同時リクエストを増やしながらスループットと TTFT（Time to First Token）がどこで低下するか、KV キャッシュ容量が計算式と一致するか、プレフィックスキャッシュ、KV 8ビット、チャンクサイズがそれぞれ何を変化させるかを実際に測定しました。

  2026-10-07 · 29 分で読めます #vLLM#부하 테스트#KV 캐시#접두사 캐시#청크 프리필