AI瘦身失败事件
亲手构建INT8模型并测量准确率与性能
중급 · 课时 34 · 实验 10
课程大纲
数字相同，单位却不同
- 数字相同，单位却不同 reading
- 测验：数字相同，单位却不同 quiz
AI变小了，却认不出数字
- AI变小了，却认不出数字 reading
- 测验：AI变小了，却认不出数字 quiz
识破小模型的夸大性能宣传
- 识破小模型的夸大性能宣传 reading
- AI瘦身失败事件 lab
- 测验：识破小模型的夸大性能宣传 quiz
导出时被固化的东西
一个轴被固化，整个批次就过不去
- 一个轴被固化，整个批次就过不去 reading
- 一次送入 32 行却被拒绝 — 救活死掉的批次轴 lab
- 测验：动态轴与固化轴 quiz
图优化改变了什么
- 图优化改变了什么 — 数一数节点 reading
- 节点从六个减到两个 — 数清优化改动了什么 lab
- 测验：图优化改变了什么 quiz
动态量化
- 不用校准数据 — 动态量化对计算图做了什么 reading
- 不用校准数据 — 实测动态量化 lab
- 测验：动态量化 quiz
校准数据决定范围
- 校准数据决定了那把尺 — 太窄会被截断，太宽会被磨平 reading
- 校准数据决定精度 — 窄的、准的、宽的，各做一次 lab
- 测验：校准数据决定范围 quiz
缩放与零点
- 缩放与零点 — 量化就是挑一把尺 reading
- 自己造一把尺 — 缩放、零点与往返误差 lab
- 测验：缩放与零点 quiz
如何测量准确率损失
- 准确率掉了 0.3%，这句话什么时候才有意义 reading
- 这个差异能复现吗 — 如何测量准确率损失 lab
- 测验：如何测量准确率损失 quiz
算子支持与替换
- 并不是每个算子都能变成 int8 reading
- 数一数 float 孤岛 — 算子支持与替换 lab
- 测验：算子支持与替换 quiz
执行提供程序与误差累积
- 你请求的执行提供程序，未必就是你拿到的 reading
- 数清你真正拿到的 — 执行提供程序与误差累积 lab
- 测验：执行提供程序与误差累积 quiz