タグ: #vLLM 에서 Dynamo 로

← すべての記事

• prefill と decode を分離すると、小さなモデルと遅いネットワークで測定した分離サービング

  Dynamo の分離サービングを Kubernetes で Grove なしで起動し、第 3 回と同様のリクエストを送信しました。同じサーバー内で prefill ワーカー 2 つと decode ワーカー 2 つに分けたところ、初トークン時間の的中値が 34〜106ms から 286〜896ms に増加し、スループットは 37〜48% 減少しました。キャッシュにヒットしたリクエストであっても、KV 272MB を decode ワーカ

  2026-11-13 · 12 分で読めます #NVIDIA Dynamo#vLLM#분리 서빙#prefill decode#NIXL

• 同じリクエストをDynamoに送信した場合の、ラウンドロビンとKVアウェアルーティングの実測

  第1部で測定したリクエストを同じ順番でDynamoに再度送信しました。フロントエンドをラウンドロビンにした場合、ヒット率はServiceの背後にあるvLLMと同等でした。Dynamoを経由するだけではキャッシュは有効になりません。KVアウェアルーティングを有効にすると、6台のワーカーでのリクエスト単位のヒット率は、プレフィックス7種で56%から83%、12種で32%から68%、24種で18%から43%に向上し、同時実行数16のTTFT

  2026-11-13 · 16 分で読めます #NVIDIA Dynamo#vLLM#KV 인지 라우팅#접두 캐시#KV 캐시

• Service の後ろに vLLM を複数台置いた場合のプレフィックスキャッシュのヒット率

  vLLM ポッドを複数台 Kubernetes の Service 一つでまとめると、リクエストはいずれかのポッドにルーティングされます。プレフィックスキャッシュはポッドごとに独立しているため、同じプレフィックスを持つリクエストが別のポッドにルーティングされると、最初から再計算が行われます。0.6B モデルと 6台・3台のワーカーで測定したところ、プレフィックスが 2 種類のときはリクエストの 95～98% がキャッシュにヒットしました

  2026-11-13 · 11 分で読めます #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스

• Dynamoオペレーターを導入する前に確認すべき点: Webhookのスコープ、2つのインストール方式、持ち込みリスト

  Dynamo 1.6.2をKubernetesにデプロイするには、まずオペレーターをインストールする必要があります。チャートを確認したところ、デフォルト（グローバル）方式では12個のClusterRoleと8個のWebhookが作成され、そのうちの1つはクラスター内のすべてのPod作成に関与します。Webhookの範囲を絞り込む値はチャートによって拒否され、残された手段である名前空間制限方式を単体で使用すると、CRD、変換Webhook

  2026-11-13 · 15 分で読めます #NVIDIA Dynamo#쿠버네티스 오퍼레이터#승인 웹훅#Helm#폐쇄망