タグ: #FP8

← すべての記事

• 量子化：重みを8ビットに減らすとデコードが速くなる理由とその代償

  デコードの1ステップは重み全体をメモリから読み込む時間が大半を占めるため、重みを小さくするとステップが短くなります。vLLMはbf16チェックポイントを読み込みつつその場でFP8に変換するオンライン量子化をサポートしています。8GBクラスのGPUで0.6Bモデルで測定したところ、重みメモリが1.12GiBから0.71GiBに減り、単一利用時のスループットが174.2から236.3 tok/s（1.36倍）、同時実行数16で1,683から

  2026-10-27 · 13 分で読めます #vLLM#양자화#FP8#AWQ#GPTQ