タグ: #VAST
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
← すべての記事
大規模モデルサービングにおけるコールドスタートを決定づけるウェイト読み込みのパスと、GPU メモリに収まりきらない KV キャッシュを CPU メモリやディスクに退避させる方法について整理します。筆者が測定した LMCache の実測値（TTFT 576ms から 48.6ms）とその限界をそのまま明らかにします。
2026-10-07 · 35 分で読めます #AI스토리지#모델로딩#KV캐시#LMCache#vLLM
