タグ: #접두 캐시

← すべての記事

• 同じリクエストをDynamoに送信した場合の、ラウンドロビンとKVアウェアルーティングの実測

  第1部で測定したリクエストを同じ順番でDynamoに再度送信しました。フロントエンドをラウンドロビンにした場合、ヒット率はServiceの背後にあるvLLMと同等でした。Dynamoを経由するだけではキャッシュは有効になりません。KVアウェアルーティングを有効にすると、6台のワーカーでのリクエスト単位のヒット率は、プレフィックス7種で56%から83%、12種で32%から68%、24種で18%から43%に向上し、同時実行数16のTTFT

  2026-11-13 · 16 分で読めます #NVIDIA Dynamo#vLLM#KV 인지 라우팅#접두 캐시#KV 캐시

• Service の後ろに vLLM を複数台置いた場合のプレフィックスキャッシュのヒット率

  vLLM ポッドを複数台 Kubernetes の Service 一つでまとめると、リクエストはいずれかのポッドにルーティングされます。プレフィックスキャッシュはポッドごとに独立しているため、同じプレフィックスを持つリクエストが別のポッドにルーティングされると、最初から再計算が行われます。0.6B モデルと 6台・3台のワーカーで測定したところ、プレフィックスが 2 種類のときはリクエストの 95～98% がキャッシュにヒットしました

  2026-11-13 · 11 分で読めます #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스