Kubernetes の GPU スケジューリングと AI バッチ
模擬 GPU の上でキュー・クォータ・ギャングスケジューリングを実際に動かす
고급 · レッスン 25 · ラボ 7
カリキュラム
デバイスプラグインがノードに書くもの
- スケジューラーは GPU を数えるだけ reading
- 模擬 GPU でデバイスプラグインの広告と割り当てを見る lab
- クイズ: デバイスプラグインと模擬 GPU quiz
DRA: 何個ではなく、どのデバイスか
- 要求書がデバイスを選ぶ reading
- DRA でデバイスを選び、共有する lab
- クイズ: DRA の四つのオブジェクト quiz
Kueue: 入場はキューが、配置はスケジューラーが
- 拒否する代わりに並ばせる reading
- Kueue で GPU クォータを作り、ジョブを並ばせる lab
- クイズ: Kueue の入場とクォータ quiz
Kueue: 借りる・取り戻す・追い越す
- 借りたものはいつでも取り戻される reading
- Kueue で借りて、取り戻して、追い越す lab
- クイズ: cohort とプリエンプション quiz
JobSet: 分散学習をひとかたまりに
- ひとつが落ちたら全部やり直す reading
- JobSet で分散学習ジョブをまとめる lab
- クイズ: JobSet quiz
LeaderWorkerSet: 複数ノードにまたがる推論ひとつ
- 複製の単位はグループ reading
- LeaderWorkerSet で複数ノードの推論グループを扱う lab
- クイズ: LeaderWorkerSet quiz
KAI-Scheduler: 配置の段階でまとめて決める
Dynamo を Kubernetes に載せる構造
- グラフを宣言すれば部品が分担する reading
- クイズ: Dynamo を Kubernetes に載せる構造 quiz
層で見直す、そして直しに行く
- ツールより先に層を呼ぶ reading
- クイズ: 層で見直す quiz