タグ: #서빙

← すべての記事

• LoRAアダプターのサービングを実際に計測してみる：スループットコスト、アダプタースロット、実行時ロード

  1つのベースモデルに複数のLoRAアダプターを載せてサービングする際、スループットがどれほど低下するのか、アダプター数がスロット数を超えるとどうなるのか、実行中にアダプターをロードするのにどれほど時間がかかるのかを、1.7BモデルとvLLMを使って実際に計測しました。

  2026-10-07 · 19 分で読めます #LoRA#vLLM#멀티 어댑터#서빙#처리량