タグ: #PagedAttention

← すべての記事

• vLLM機能マップ：何があり、いつメリットがあり、バージョンごとに何が変わったか

  vLLM 0.32.0（2026-10-18）の公式ドキュメントとリリースノートを基準に、主要な16の機能を1つの表にまとめ、各機能が何を節約し、どのオプションで有効にし、メリットが出る条件と出ない条件を整理しました。このうち12個（マルチモーダル・プーリングはプーリングのみ）を8GBクラスのノートPC用GPU1枚と0.6Bモデルで実際に測定しました。連続バッチングは同時16でスループットを9.6倍に、プレフィックスキャッシュは3,20

  2026-10-27 · 15 分で読めます #vLLM#LLM 서빙#기능 지도#PagedAttention#추측 디코딩