タグ: #Splitwise
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
NVIDIA Dynamo: プリフィルドecodeの分離と、KVが存在する場所へのルーティング
プリフィルとデコードを1つのGPUに混在させると、お互いに干渉し合います。8GBクラスのGPUを用いた実測では、長いプロンプトが1つ割り込んだだけで、デコード中のリクエストの次のトークンが227ms遅れました。分散サービングは両方のフェーズを別々のGPUに分け、KVを移行することでこの干渉を解消します。元論文のDistServeは、同じレイテンシー目標においてリクエストレートが最大7.4倍に向上したと報告しています。NVIDIA Dyn
2026-10-13 · 22 分で読めます #KV 캐시#NVIDIA Dynamo#분리 서빙#KV 인지 라우팅#NIXL