タグ: #양자화

← すべての記事

• 量子化：重みを8ビットに減らすとデコードが速くなる理由とその代償

  デコードの1ステップは重み全体をメモリから読み込む時間が大半を占めるため、重みを小さくするとステップが短くなります。vLLMはbf16チェックポイントを読み込みつつその場でFP8に変換するオンライン量子化をサポートしています。8GBクラスのGPUで0.6Bモデルで測定したところ、重みメモリが1.12GiBから0.71GiBに減り、単一利用時のスループットが174.2から236.3 tok/s（1.36倍）、同時実行数16で1,683から

  2026-10-27 · 13 分で読めます #vLLM#양자화#FP8#AWQ#GPTQ

• vLLM機能マップ：何があり、いつメリットがあり、バージョンごとに何が変わったか

  vLLM 0.32.0（2026-10-18）の公式ドキュメントとリリースノートを基準に、主要な16の機能を1つの表にまとめ、各機能が何を節約し、どのオプションで有効にし、メリットが出る条件と出ない条件を整理しました。このうち12個（マルチモーダル・プーリングはプーリングのみ）を8GBクラスのノートPC用GPU1枚と0.6Bモデルで実際に測定しました。連続バッチングは同時16でスループットを9.6倍に、プレフィックスキャッシュは3,20

  2026-10-27 · 15 分で読めます #vLLM#LLM 서빙#기능 지도#PagedAttention#추측 디코딩