タグ: #TensorRT

← すべての記事

• グラフコンパイラとランタイム：演算融合、torch.compile、ONNX Runtime・TensorRT

  同じモデル、同じ重み、同じGPUであっても、実行方式を変えるだけで2倍速くすることができます。Pythonが演算を1つずつGPUに渡す eager 実行では、演算ごとに大きなテンソルをメモリに書き込んでから再び読み込みます。グラフコンパイラはモデル全体を一度に見渡し、演算をまとめて（融合して）その往復をなくします。TVMとPyTorch 2の論文の数値、ONNX・ONNX Runtime・TensorRTの役割を整理し、自社のボールモデ

  2026-10-15 · 13 分で読めます #비전 모델#실시간#연산 융합#torch.compile#ONNX