태그: #Clockwork

← 전체 글

• 묶어 돌리기와 지연: 배치 크기, 동시 세션, GPU 나눠 쓰기

  서버 추론의 오래된 요령은 「요청을 묶어서(배치) 한 번에 돌리면 GPU 를 더 잘 쓴다」 입니다. Clipper 의 적응 배치, Clockwork 의 「한 번에 하나」, Triton 의 동적 배치기, 쿠버네티스의 GPU 시분할을 차례로 보고, 우리 공 모델로 직접 재 봤습니다. 실험용 노트북 GPU 에서 512×288 입력은 배치를 늘릴수록 초당 처리한 창이 오히려 줄었고(FP16 배치 1

  2026-10-15 · 12 분 읽기 #비전 모델#실시간#배치#동적 배치#GPU 공유