태그: #멀티모달
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
병렬화, 멀티모달, 풀링: GPU 한 장으로 잴 수 있는 것과 없는 것
vLLM 의 나머지 큰 기능 셋을 묶었습니다. 모델을 여러 GPU 에 나누는 텐서·파이프라인·데이터·전문가 병렬은 GPU 가 한 장이라 미실측이고, 각각 무엇을 나누고 언제 쓰는지를 문서와 논문으로 정리했습니다. 이미지·영상·오디오 입력은 필요한 모델을 새로 받아야 해서 미실측이며, 대신 SSRF 를 막는 --allowed-media-domains 와 CPU 메모리를 4GiB 잡는 처리기 캐
2026-10-27 · 16 분 읽기 #vLLM#텐서 병렬#파이프라인 병렬#데이터 병렬#전문가 병렬