Kubernetes GPU 调度与 AI 批处理
在模拟 GPU 上真正运行队列、配额和成组调度
고급 · 课时 25 · 实验 7
课程大纲
设备插件在节点上写下了什么
- 调度器只会数 GPU reading
- 用模拟 GPU 观察设备插件的公布与分配 lab
- 测验：设备插件与模拟 GPU quiz
DRA：不是几个，而是哪一个设备
- 由申领单挑选设备 reading
- 用 DRA 选择并共享设备 lab
- 测验：DRA 的四种对象 quiz
Kueue：队列负责准入，调度器负责放置
- 用排队代替拒绝 reading
- 用 Kueue 设置 GPU 配额并让作业排队 lab
- 测验：Kueue 的准入与配额 quiz
Kueue：借用、收回、抢占
- 借来的随时会被收回 reading
- 用 Kueue 借用、收回和抢占 lab
- 测验：cohort 与抢占 quiz
JobSet：把分布式训练当成一个整体
- 一个失败，全部重来 reading
- 用 JobSet 组合分布式训练作业 lab
- 测验：JobSet quiz
LeaderWorkerSet：跨多个节点的一个推理引擎
- 复制的单位是组 reading
- 用 LeaderWorkerSet 管理多节点推理组 lab
- 测验：LeaderWorkerSet quiz
KAI-Scheduler：在放置阶段一起决定
- 换掉调度器会改变什么 reading
- 用 KAI-Scheduler 处理成组调度、优先级和 GPU 切分 lab
- 测验：KAI-Scheduler quiz
Dynamo 部署到 Kubernetes 的结构
- 声明图，组件分工承担 reading
- 测验：Dynamo 部署到 Kubernetes 的结构 quiz