タグ: #LMCache
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
vLLM production-stack · LMCache · llm-d: エンジンフロントエンドとKVキャッシュ層のコードマップ
vLLMエンジン単体をKubernetes上のサービスとして構築するには、フロントエンド（ルーター・ゲートウェイ）、KVキャッシュをGPUの外側に拡張する層、そして両者を接続するメトリクスが必要です。本記事では、production-stackのPythonルーターとHelmチャート、vLLMのKVコネクタインターフェースとLMCacheの実装、そしてllm-dのEPP（実際のコードはllm-d-routerリポジトリ）をファイル単位お
2026-10-16 · 40 分で読めます #오픈소스#코드 읽기#vLLM#production-stack#LMCache