タグ: #OffloadingConnector

← すべての記事

• KV オフロードと分離サービング：押し出されたプレフィックスを CPU から再ロードする

  GPU のプレフィックスキャッシュに空き容量がない場合、最も古いブロックから削除されます。vLLM のデフォルトの CPU オフロード（--kv-offloading-size）は、使い終えた KV ブロックを固定メモリにコピーしておき、同じプレフィックスが再び来たら GPU に戻します。GPU の KV を 2,336 トークンにあえて減らし、1,600 トークンのプレフィックスを押し出した後に再度送信したところ、オフロードがない場合

  2026-10-27 · 12 分で読めます #vLLM#KV 캐시#KV 오프로딩#OffloadingConnector#분리 서빙