タグ: #CacheBlend
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
LMCache: KV キャシを GPU の外へ、エンジン間へ
GPU メモリ内のプレフィックスキャッシュは、空き容量が足りなくなると削除され、エンジンインスタンスごとに個別です。LMCache は KV を CPU メモリ・ディスク・リモートストレージに退避させ、同じプレフィックスが再び来ると、再計算する代わりに読み込みます。8GB 級 GPU の実測では、GPU に収まりきらない 5 万トークンの文書を再度読み込ませた際、最初のトークンまでの時間が 576ms から 48.6ms になり、初回読
2026-10-13 · 34 分で読めます #KV 캐시#LMCache#vLLM#KV 오프로딩#CacheBlend