标签: #TensorRT

← 全部文章

• 图编译器与运行时：算子融合、torch.compile、ONNX Runtime 与 TensorRT

  相同的模型、相同的权重、相同的 GPU，仅改变执行方式就能提速一倍。Python 逐个将算子下发到 GPU 的 eager 模式会在内存中反复读写每个算子的大张量。图编译器则会全局审视整个模型并合并（融合）算子，从而消除这种往返开销。本文整理了 TVM 与 PyTorch 2 论文中的数据、ONNX、ONNX Runtime 及 TensorRT 的角色，并在我们的球体模型上应用了 torch.compile。在实验 GPU 上，FP1

  2026-10-15 · 13 分钟阅读 #비전 모델#실시간#연산 융합#torch.compile#ONNX