数据流水线
失败后重跑，结果必须一样
중급 · 课时 32 · 实验 10
课程大纲
批处理与流式
- 批处理与流式 — 按什么标准来选 reading
- 批量装载与水位线 lab
- 测验：批处理与流式 quiz
schema 与格式
- schema — 现在不校验，以后加倍还 reading
- 原始数据清洗与 schema 契约 lab
- 测验：schema 与格式 quiz
幂等性与重跑
- 幂等性 — 流水线一定会被再跑一次 reading
- 幂等的 upsert 流水线 lab
- 测验：幂等性与重跑 quiz
数据质量与契约
- 灯是绿的，数字却是错的 reading
- 测验：数据质量与契约 quiz
运行台账与原子提交
- 一定会中途挂掉 — 运行台账与原子替换 reading
- 凌晨三点挂掉的结算作业 — 台账与原子替换 lab
- 测验：运行台账与原子提交 quiz
事件时间水位线与迟到数据
- 水位线是承诺，不是事实 reading
- 昨天的数字今天变了 — 水位线与迟到数据 lab
- 测验：水位线与迟到数据 quiz
分区与文件大小
- 分区键决定了之后的每一次查询 reading
- 文件怎么摆放决定查询成本 — 分区与合并 lab
- 测验：分区与文件大小 quiz
模式演进与契约版本
- 模式总会变 — 让哪一边先改都不会坏 reading
- 给变更编号，让两边都活着 lab
- 测验：模式演进与契约版本 quiz
回填与重复计数
- 重跑过去 — 回填把数字算成两倍的时候 reading
- 重跑过去的区间 — 不要算两遍 lab
- 测验：回填与重复计数 quiz
血缘与可复现
- 这个数字是从哪来的 — 血缘与可复现 reading
- 血缘与可复现 — 跑两次，字节是否一致 lab
- 测验：血缘与可复现 quiz
质量校验与隔离
- 被隔离的行最后去了哪里 reading
- 把隔离运营起来 — 堆积、熔断、重投 lab
- 测验：质量校验与隔离 quiz