タグ: #KV캐시
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 2 件
NVIDIA Dynamo を実際に使ってみる：KV認識ルーティングはほぼ正確だったが、分離サービングは1枚のGPUで5倍、2台のサーバー間で20倍以上遅かった
NVIDIA DynamoをKubernetesなしの単一GPU環境にインストールし、フロントエンドのコスト、KV認識ルーティングのヒット率、ルーターがイベントを受信できない場合のサイレント失敗、1枚のGPU上でのprefill/decode分離コスト、異なるGPUを持つ2台のサーバーに分割した場合のコストを実際に測定しました。パート6がドキュメントでまとめた内容のうち、何が実測で確認され、何がまだ未実測なのかを区別して記載しています。
2026-10-07 · 23 分で読めます #Dynamo#LLM서빙#KV캐시#라우팅#prefill-decode분리分散推論と NVIDIA Dynamo：並列化、prefill/decode分離、KVキャッシュ転送
モデルが1枚のGPUに収まらない場合の4つの並列化手法と通信特性を整理し、なぜprefill/decode分離が必要であるか、そしてKVキャッシュ転送という代償をどのように払うのかを説明します。続いて、2026年10月時点のNVIDIA Dynamo v1.5.0の構造とKubernetesデプロイ方式を、llm-d、vLLM、SGLangと比較します。
2026-10-07 · 33 分で読めます #LLM서빙#분산추론#Dynamo#병렬화#prefill-decode분리