タグ: #prefix-caching
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
vLLM 内部構造 (5) — プレフィックスキャッシュ、システムプロンプト設計が性能になる理由
vLLMのプレフィックスキャッシュがいつ効いていつ効かないかを、公式設計ドキュメントを基準に整理する。ブロックハッシュが直前のブロックに鎖のように連なる構造、フルに埋まったブロックだけがキャッシュされる理由、プロンプトの先頭に置いたタイムスタンプ一つがキャッシュ全体を無効にする過程、そしてcachesaltまで扱う。vLLM内部構造シリーズ第5回。
2026-08-12 · 12 分で読めます #vllm#prefix-caching#kv-cache#prompt-engineering#llm