タグ: #라우팅

← すべての記事

• NVIDIA Dynamo を実際に使ってみる：KV認識ルーティングはほぼ正確だったが、分離サービングは1枚のGPUで5倍、2台のサーバー間で20倍以上遅かった

  NVIDIA DynamoをKubernetesなしの単一GPU環境にインストールし、フロントエンドのコスト、KV認識ルーティングのヒット率、ルーターがイベントを受信できない場合のサイレント失敗、1枚のGPU上でのprefill/decode分離コスト、異なるGPUを持つ2台のサーバーに分割した場合のコストを実際に測定しました。パート6がドキュメントでまとめた内容のうち、何が実測で確認され、何がまだ未実測なのかを区別して記載しています。

  2026-10-07 · 23 分で読めます #Dynamo#LLM서빙#KV캐시#라우팅#prefill-decode분리