GPU Operator 与时间片
从一次让四张 GPU 同时失效的事故讲起。
고급 · 课时 32 · 实验 10
课程大纲
把 GPU 挂上集群意味着什么
- GPU Operator 是怎么来的 reading
- ClusterPolicy、RuntimeClass、资源上报 reading
- 资源关卡 — 由上报、请求规则、污点分出来的 Pending lab
- 测验：GPU 栈的结构 quiz
运行时注册悄悄失败的地方
- containerd 的配置是怎么合起来的 reading
- 运行时关卡 — 不被校验的字符串与真正加载的东西的对照 lab
- 测验：运行时注册与配置合并 quiz
一张卡多人共用是什么意思
- 时间分片、MPS、MIG reading
- 滚动发布卡在一个节点上的时候 reading
- 共享配置 — 用切片、MIG、配额分开 lab
- 测验：共享与滚动发布 quiz
把事故从头再走一遍
- 什么是真的，什么是装的 reading
- 复现 GPU 事故 — 从配置合并到滚动发布停住 lab
- 测验：从事故复现里学到的 quiz
节点有没有 GPU，这件事写在标签里
标签开到哪里，Operand 才起到哪里
驱动不是应用程序，而是内核模块
- 对齐驱动版本——为什么镜像标签里塞着内核版本 reading
- 内核刚往上走一格，就只有那台节点没了驱动 lab
- 测验：驱动不是应用程序，而是内核模块 quiz
GPU Pod 起不来 — 按顺序缩小原因
- 同样的消息，不同的原因 — GPU 故障分类表 reading
- GPU 故障分类 — 从同一条消息里分出不同的原因 lab
- 测验: 把 GPU 故障分成不同分支 quiz
用什么来看 GPU
- DCGM Exporter 的指标，以及这些指标没告诉你的事 reading
- GPU 指标 — 写出暴露格式、解析它、接到告警上 lab
- 测验: 读懂 GPU 指标 quiz
用 GPU 的不只是容器
- workload.config — 一个标签决定节点的身份 reading
- 沙箱工作负载 — 标签决定资源名，库存随之被切开 lab
- 测验: 沙箱工作负载与资源名 quiz