쿠버네티스 GPU 스케줄링과 AI 배치
GPU 가 노드에 붙은 다음의 이야기입니다. 장치 플러그인과 DRA 가 GPU 를 어떻게 광고하고 고르게 하는지, Kueue 가 큐와 쿼터로 언제 들어갈지를 정하고 JobSet·LeaderWorkerSet 이 여러 파드를 한 덩어리로 묶는 방법, KAI-Scheduler 의 갱 스케줄링·우선순위·GPU 쪼개기를 가짜 GPU 를 단 VM 의 진짜 쿠버네티스에서 직접 돌려 봅니다. 마지막으로 Dynamo 가 이 부품들을 어떻게 쌓아 추론 서비스를 올리는지 읽습니다.
고급 · 레슨 25 · 실습 7
커리큘럼
장치 플러그인이 노드에 적는 것
- 스케줄러는 GPU 를 세기만 한다 reading
- 가짜 GPU 로 장치 플러그인의 광고와 할당을 본다 lab
- 퀴즈: 장치 플러그인과 가짜 GPU quiz
DRA: 몇 개가 아니라 어떤 장치를
- 요청서가 장치를 고른다 reading
- DRA 로 장치를 고르고 나눠 쓴다 lab
- 퀴즈: DRA 의 네 객체 quiz
Kueue: 입장은 큐가, 배치는 스케줄러가
- 거절 대신 줄을 세운다 reading
- Kueue 로 GPU 쿼터를 세우고 줄을 세운다 lab
- 퀴즈: Kueue 의 입장과 쿼터 quiz
Kueue: 빌려 쓰고, 되찾고, 앞질러 간다
- 빌린 것은 언제든 회수된다 reading
- Kueue 로 빌려 쓰고, 되찾고, 앞질러 간다 lab
- 퀴즈: cohort 와 선점 quiz
JobSet: 분산 학습을 한 덩어리로
- 하나가 죽으면 모두 다시 reading
- JobSet 으로 분산 학습 작업을 묶는다 lab
- 퀴즈: JobSet quiz
LeaderWorkerSet: 여러 노드에 걸친 추론 하나
- 복제의 단위는 그룹이다 reading
- LeaderWorkerSet 으로 멀티 노드 추론 그룹을 다룬다 lab
- 퀴즈: LeaderWorkerSet quiz
KAI-Scheduler: 배치 단계에서 함께 결정한다
Dynamo 를 쿠버네티스에 올리는 구조
- 그래프를 선언하면 부품들이 나눠 맡는다 reading
- 퀴즈: Dynamo 를 쿠버네티스에 올리는 구조 quiz
층으로 다시 보기, 그리고 고치러 가기
- 도구보다 층을 먼저 부른다 reading
- 퀴즈: 층으로 다시 보기 quiz