タグ: #vLLM

← すべての記事

• 並列化、マルチモーダル、プーリング：GPU 1基で測定できるものとできないもの

  vLLMの残りの大きな機能セットをまとめました。モデルを複数のGPUに分割するテンソル・パイプライン・データ・エキスパート並列は、GPUが1基であるため未測定であり、それぞれ何を分割し、いつ使うのかをドキュメントと論文ベースで整理しました。画像・動画・音声入力は必要なモデルを新しくダウンロードする必要があるため未測定であり、代わりにSSRFを防ぐ --allowed-media-domains や、CPUメモリを4GiB確保するプロセッ

  2026-10-27 · 16 分で読めます #vLLM#텐서 병렬#파이프라인 병렬#데이터 병렬#전문가 병렬

• KV オフロードと分離サービング：押し出されたプレフィックスを CPU から再ロードする

  GPU のプレフィックスキャッシュに空き容量がない場合、最も古いブロックから削除されます。vLLM のデフォルトの CPU オフロード（--kv-offloading-size）は、使い終えた KV ブロックを固定メモリにコピーしておき、同じプレフィックスが再び来たら GPU に戻します。GPU の KV を 2,336 トークンにあえて減らし、1,600 トークンのプレフィックスを押し出した後に再度送信したところ、オフロードがない場合

  2026-10-27 · 12 分で読めます #vLLM#KV 캐시#KV 오프로딩#OffloadingConnector#분리 서빙

• 運用機能：スリープモード、起動時間、/metrics、そして --api-key が守らない領域

  サーバーを落とさずにGPUを空けるスリープモード、再起動時間を縮めるコンパイルキャッシュ、状態を確認する /metrics、そして認証について実際に検証しました。スリープ2段階目は42msでGPUメモリを6,168MiBから606MiBに解放し、重みを再ロードして復帰させるのに0.39秒かかりました（同設定での再起動は32秒）。1段階目は重みをCPUに移動する途中で4GiBと4.5GiB制限のコンテナをどちらもOOMで強制終了させ、0.

  2026-10-27 · 17 分で読めます #vLLM#sleep mode#잠자기 모드#기동 시간#torch.compile

• 量子化：重みを8ビットに減らすとデコードが速くなる理由とその代償

  デコードの1ステップは重み全体をメモリから読み込む時間が大半を占めるため、重みを小さくするとステップが短くなります。vLLMはbf16チェックポイントを読み込みつつその場でFP8に変換するオンライン量子化をサポートしています。8GBクラスのGPUで0.6Bモデルで測定したところ、重みメモリが1.12GiBから0.71GiBに減り、単一利用時のスループットが174.2から236.3 tok/s（1.36倍）、同時実行数16で1,683から

  2026-10-27 · 13 分で読めます #vLLM#양자화#FP8#AWQ#GPTQ

• ツール呼び出し：パーサーがテキストを関数呼び出しに変換し、strictが引数を制限する

  モデルがツールを呼び出すことは、実際にはモデルが決まった形式のテキストを書くことに他なりません。vLLMでは、チャットテンプレートを使用してプロンプトにツールの一覧を挿入し、モデルが生成したテキストをパーサーがOpenAI形式の toolcalls に変換します。toolchoice が required または特定の関数名である場合、構造化出力によって呼び出しの形式が強制されます。しかし、8GBクラスのGPU上で0.6Bモデルを使用し

  2026-10-27 · 15 分で読めます #vLLM#도구 호출#tool calling#function calling#구조화 출력

• 構造化出力: トークンごとに「使えない文字」をマスクするコスト

  構造化出力は、モデルが次のトークンを選択する直前に、文法上現れ得ないトークンの確率を 0 にマスクします。そのため、会話能力がほとんどない 0.6B モデルであっても、JSON スキーマを指定すると 48 回中 46 回正しい JSON を出力し、指定しない場合は 0 回でした。間違った 2 回はいずれも maxtokens に達して途切れたケースでした。コストは 2 つの場所にあります。新しいスキーマに対する初回のリクエストでは、文法

  2026-10-27 · 17 分で読めます #vLLM#구조화 출력#structured outputs#JSON 스키마#xgrammar

• 推論デコーディング：当たれば4倍、外れれば損

  推論デコーディングは、安価な方法で次の数トークンをあらかじめ予測し、大きなモデルがそのドラフトを一括して検証することで、一致した分を一度に受け入れる手法です。貪欲デコーディングでは、出力が変化しないのが原則です。最も軽量なn-gram方式を8GBクラスのGPUと0.6Bモデルで測定したところ、文章をそのままコピーする作業において、単体で使用した際の秒間176.4トークンが、704.1トークン（4.0倍、提案4個）および1,117トークン

  2026-10-27 · 17 分で読めます #vLLM#추측 디코딩#speculative decoding#n-gram#EAGLE

• 連続バッチ処理、chunked prefill、プレフィックスキャッシュを繰り返し測定で再計測する

  vLLMの基本3機能を0.6Bモデルで再計測しました。今回は条件ごとに3〜4回繰り返して中央値を採用し、機能を完全にオフにしたベースラインを併置しました。1度に1リクエストだけ処理させる場合（--max-num-seqs 1）は同時に16リクエストののスループットが174.6 tok/sにとどまり、デフォルト設定は1,683 tok/sで9.6倍でした。3,700トークンの入力が割り込むときのデコード停止の最大時間は、チャンク512トー

  2026-10-27 · 15 分で読めます #vLLM#연속 배칭#chunked prefill#접두사 캐시#cache_salt

• vLLM機能マップ：何があり、いつメリットがあり、バージョンごとに何が変わったか

  vLLM 0.32.0（2026-10-18）の公式ドキュメントとリリースノートを基準に、主要な16の機能を1つの表にまとめ、各機能が何を節約し、どのオプションで有効にし、メリットが出る条件と出ない条件を整理しました。このうち12個（マルチモーダル・プーリングはプーリングのみ）を8GBクラスのノートPC用GPU1枚と0.6Bモデルで実際に測定しました。連続バッチングは同時16でスループットを9.6倍に、プレフィックスキャッシュは3,20

  2026-10-27 · 15 分で読めます #vLLM#LLM 서빙#기능 지도#PagedAttention#추측 디코딩