タグ: #모델 배포
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
← すべての記事
1つのベースモデルに複数のLoRAアダプターを載せてサービングする際、スループットがどれほど低下するのか、アダプター数がスロット数を超えるとどうなるのか、実行中にアダプターをロードするのにどれほど時間がかかるのかを、1.7BモデルとvLLMを使って実際に計測しました。
2026-10-07 · 19 分で読めます #LoRA#vLLM#멀티 어댑터#서빙#처리량
