标签: #LoRA

← 全部文章

• 并行化、多模态与池化：单张 GPU 能测与不能测的内容

  本文整理了 vLLM 的其余几大功能集。将模型拆分到多个 GPU 上的张量、流水线、数据和专家并行因为只有一张 GPU 而未作实测，并已通过官方文档与论文整理了各自的拆分对象与适用场景。图像、视频和音频输入因为需要重新下载模型而未作实测，取而代之的是，我们记录了在实际运维中应优先处理的事项，例如防止 SSRF 的 --allowed-media-domains 以及分配 4GiB CPU 内存的处理缓存。嵌入和重排（Rerank）使用与

  2026-10-27 · 16 分钟阅读 #vLLM#텐서 병렬#파이프라인 병렬#데이터 병렬#전문가 병렬