データパイプライン
失敗して再実行しても結果が同じでなければなりません
중급 · レッスン 32 · ラボ 10
カリキュラム
バッチとストリーミング
- バッチとストリーミング — 何を基準に選ぶのか reading
- バッチ取り込みとウォーターマーク lab
- クイズ: バッチとストリーミング quiz
スキーマと形式
- スキーマ — 検証しなければ後で倍払う reading
- 原本の整形とスキーマ契約 lab
- クイズ: スキーマと形式 quiz
冪等性と再処理
- 冪等性 — パイプラインは必ずまた回ることになる reading
- 冪等なupsertパイプライン lab
- クイズ: 冪等性と再処理 quiz
データ品質と契約
- 緑ランプなのに数字が違う reading
- クイズ: データ品質と契約 quiz
実行台帳と原子的コミット
- 途中で必ず落ちる — 実行台帳と原子的な差し替え reading
- 深夜3時に落ちた精算ジョブ — 台帳と原子的な差し替え lab
- クイズ: 実行台帳と原子的コミット quiz
イベント時間のウォーターマークと遅れて届いたデータ
パーティションとファイルサイズ
スキーマ変更と契約の版
- スキーマは変わる — どちらが先に変わっても壊れないように reading
- 版を付けて変更し、両側を生かしておく lab
- クイズ: スキーマ変更と契約の版 quiz
バックフィルと二重計上
系譜と再現
- この数字はどこから来たのか — 系譜と再現 reading
- 系譜と再現 — 二度動かしてバイトが同じか lab
- クイズ: 系譜と再現 quiz
品質チェックと隔離
- 隔離した行はどこへ行くのか reading
- 隔離を運用する — 積み、止め、戻す lab
- クイズ: 品質チェックと隔離 quiz