タグ: #재순위

← すべての記事

• 並列化、マルチモーダル、プーリング：GPU 1基で測定できるものとできないもの

  vLLMの残りの大きな機能セットをまとめました。モデルを複数のGPUに分割するテンソル・パイプライン・データ・エキスパート並列は、GPUが1基であるため未測定であり、それぞれ何を分割し、いつ使うのかをドキュメントと論文ベースで整理しました。画像・動画・音声入力は必要なモデルを新しくダウンロードする必要があるため未測定であり、代わりにSSRFを防ぐ --allowed-media-domains や、CPUメモリを4GiB確保するプロセッ

  2026-10-27 · 16 分で読めます #vLLM#텐서 병렬#파이프라인 병렬#데이터 병렬#전문가 병렬