湖仓表格式 — 从元数据理解 Apache Iceberg
用元数据验证快照、模式演进、分区演进、MERGE 与表维护
중급 · 课时 27 · 实验 9
课程大纲
表格式与元数据树
目录(Catalog)
- 目录是把一个名字连到一个元数据文件的原子指针 reading
- Spark 与 pyiceberg 共用一个目录,重命名表,并找回已删除的表 lab
- 测验:目录 quiz
模式演进与列 ID
- 改了列名旧文件照样能读,原因在列 ID reading
- 添加、重命名、放宽、删除再添加列 — 一个文件都不重写 lab
- 测验:模式演进与列 ID quiz
隐藏分区与分区演进
- 分区是规则而不是列 — 隐藏分区与分区演进 reading
- 把按月分区的表改成按天 — 旧文件保持不动 lab
- 测验:隐藏分区与分区演进 quiz
时间旅行、回滚、标签与分支
并发写入与乐观并发
- 无锁并发写入 — 乐观并发保护什么、不保护什么 reading
- 两个写入者同时提交同一张表 — 谁赢、留下什么、丢了什么 lab
- 测验:并发写入与乐观并发 quiz