태그: #torch.compile
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
그래프 컴파일러와 런타임: 연산 융합, torch.compile, ONNX Runtime·TensorRT
같은 모델, 같은 가중치, 같은 GPU 인데 실행 방식만 바꿔 두 배 빨라질 수 있습니다. 파이썬이 연산을 하나씩 GPU 에 넘기는 즉시 실행은 연산마다 큰 텐서를 메모리에 썼다가 다시 읽습니다. 그래프 컴파일러는 모델 전체를 한 번에 보고 연산을 묶어(융합) 그 왕복을 없앱니다. TVM 과 PyTorch 2 논문의 수치, ONNX·ONNX Runtime·TensorRT 의 역할을 정리하고,
2026-10-15 · 13 분 읽기 #비전 모델#실시간#연산 융합#torch.compile#ONNX