タグ: #prefill decode

← すべての記事

• prefill と decode を分離すると、小さなモデルと遅いネットワークで測定した分離サービング

  Dynamo の分離サービングを Kubernetes で Grove なしで起動し、第 3 回と同様のリクエストを送信しました。同じサーバー内で prefill ワーカー 2 つと decode ワーカー 2 つに分けたところ、初トークン時間の的中値が 34〜106ms から 286〜896ms に増加し、スループットは 37〜48% 減少しました。キャッシュにヒットしたリクエストであっても、KV 272MB を decode ワーカ

  2026-11-13 · 12 分で読めます #NVIDIA Dynamo#vLLM#분리 서빙#prefill decode#NIXL