タグ: #실측
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 5 件
#실측 タグの記事は5件で、最新の記事は2026-10-27に公開されました。
よく一緒に付くタグ: #vLLM 5 #vLLM 기능 지도 5 #접두사 캐시 2 #AWQ 1 #EAGLE 1
KV オフロードと分離サービング：押し出されたプレフィックスを CPU から再ロードする
GPU のプレフィックスキャッシュに空き容量がない場合、最も古いブロックから削除されます。vLLM のデフォルトの CPU オフロード（--kv-offloading-size）は、使い終えた KV ブロックを固定メモリにコピーしておき、同じプレフィックスが再び来たら GPU に戻します。GPU の KV を 2,336 トークンにあえて減らし、1,600 トークンのプレフィックスを押し出した後に再度送信したところ、オフロードがない場合
2026-10-27 · 12 分で読めます #vLLM#KV 캐시#KV 오프로딩#OffloadingConnector#분리 서빙量子化：重みを8ビットに減らすとデコードが速くなる理由とその代償
デコードの1ステップは重み全体をメモリから読み込む時間が大半を占めるため、重みを小さくするとステップが短くなります。vLLMはbf16チェックポイントを読み込みつつその場でFP8に変換するオンライン量子化をサポートしています。8GBクラスのGPUで0.6Bモデルで測定したところ、重みメモリが1.12GiBから0.71GiBに減り、単一利用時のスループットが174.2から236.3 tok/s（1.36倍）、同時実行数16で1,683から
2026-10-27 · 13 分で読めます #vLLM#양자화#FP8#AWQ#GPTQ構造化出力: トークンごとに「使えない文字」をマスクするコスト
構造化出力は、モデルが次のトークンを選択する直前に、文法上現れ得ないトークンの確率を 0 にマスクします。そのため、会話能力がほとんどない 0.6B モデルであっても、JSON スキーマを指定すると 48 回中 46 回正しい JSON を出力し、指定しない場合は 0 回でした。間違った 2 回はいずれも maxtokens に達して途切れたケースでした。コストは 2 つの場所にあります。新しいスキーマに対する初回のリクエストでは、文法
2026-10-27 · 17 分で読めます #vLLM#구조화 출력#structured outputs#JSON 스키마#xgrammar推論デコーディング：当たれば4倍、外れれば損
推論デコーディングは、安価な方法で次の数トークンをあらかじめ予測し、大きなモデルがそのドラフトを一括して検証することで、一致した分を一度に受け入れる手法です。貪欲デコーディングでは、出力が変化しないのが原則です。最も軽量なn-gram方式を8GBクラスのGPUと0.6Bモデルで測定したところ、文章をそのままコピーする作業において、単体で使用した際の秒間176.4トークンが、704.1トークン（4.0倍、提案4個）および1,117トークン
2026-10-27 · 17 分で読めます #vLLM#추측 디코딩#speculative decoding#n-gram#EAGLE連続バッチ処理、chunked prefill、プレフィックスキャッシュを繰り返し測定で再計測する
vLLMの基本3機能を0.6Bモデルで再計測しました。今回は条件ごとに3〜4回繰り返して中央値を採用し、機能を完全にオフにしたベースラインを併置しました。1度に1リクエストだけ処理させる場合（--max-num-seqs 1）は同時に16リクエストののスループットが174.6 tok/sにとどまり、デフォルト設定は1,683 tok/sで9.6倍でした。3,700トークンの入力が割り込むときのデコード停止の最大時間は、チャンク512トー
2026-10-27 · 15 分で読めます #vLLM#연속 배칭#chunked prefill#접두사 캐시#cache_salt