タグ: #분산추론
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
分散推論と NVIDIA Dynamo：並列化、prefill/decode分離、KVキャッシュ転送
モデルが1枚のGPUに収まらない場合の4つの並列化手法と通信特性を整理し、なぜprefill/decode分離が必要であるか、そしてKVキャッシュ転送という代償をどのように払うのかを説明します。続いて、2026年10月時点のNVIDIA Dynamo v1.5.0の構造とKubernetesデプロイ方式を、llm-d、vLLM、SGLangと比較します。
2026-10-07 · 33 分で読めます #LLM서빙#분산추론#Dynamo#병렬화#prefill-decode분리