本文へスキップ
TT
Lab
学ぶ
サンドボックス
コミュニティ
語学学習(韓国語)
はじめる
学ぶ
学習パス
コース
レイクハウスのテーブル形式 — Apache Iceberg をメタデータで理解する
スナップショット・スキーマ進化・パーティション進化・MERGE・メンテナンスをメタデータで確かめる
중급 · レッスン 27 · ラボ 9
ラボを始める
カリキュラム
テーブル形式とメタデータの木
テーブルはディレクトリではなくファイル一覧 — metadata.json からデータファイルまで
reading
テーブルを作り、metadata.json からデータファイルまでたどる
lab
クイズ: テーブル形式とメタデータの木
quiz
カタログ
カタログは名前一つをメタデータファイル一つにつなぐ原子的なポインタだ
reading
Spark と pyiceberg で一つのカタログを共有し、名前を変え、消したテーブルを復活させる
lab
クイズ: カタログ
quiz
スキーマ進化と列 ID
列名を変えても古いファイルが読めるのは列 ID のおかげだ
reading
列を追加し、名前を変え、広げ、消して足し直す — ファイルは一度も書き直さない
lab
クイズ: スキーマ進化と列 ID
quiz
隠れたパーティショニングとパーティション進化
パーティションは列ではなく規則だ — 隠れたパーティショニングとパーティション進化
reading
月で分けたテーブルを日単位に変える — 古いファイルはそのままで
lab
クイズ: 隠れたパーティショニングとパーティション進化
quiz
タイムトラベル・ロールバック・タグ・ブランチ
元に戻すのはファイルのコピーではなくポインタの移動だ — タイムトラベル・ロールバック・タグ・ブランチ
reading
誤って消した地域を元に戻し、翌日のデータはブランチで確認してから公開する
lab
クイズ: タイムトラベル・ロールバック・タグ・ブランチ
quiz
同時書き込みと楽観的並行性
ロックなしで同時に書く — 楽観的並行性が守るものと守らないもの
reading
二人の書き手が同じテーブルに同時にコミットする — 誰が勝ち、何が残り、何が失われるか
lab
クイズ: 同時書き込みと楽観的並行性
quiz
MERGE と削除 — copy-on-write と merge-on-read
変更できないファイルで行を直す二つの方法 — copy-on-write と merge-on-read
reading
同じ削除と MERGE を二通りで — ファイルを書き直すか、消す行を書き留めるか
lab
クイズ: copy-on-write と merge-on-read
quiz
圧縮・スナップショット失効・孤立ファイル整理
Iceberg は自分では何も消さない — 圧縮、失効、孤立ファイル整理
reading
小さなコミット 30 回分を片付ける — タグ、圧縮、失効、孤立ファイルの順に
lab
クイズ: 圧縮・失効・孤立ファイル整理
quiz
複数のエンジンが同じテーブルを
一つのテーブル、複数のエンジン — 仕様が契約でカタログが出会う場所だ
reading
Spark が作り、Python が書き、DuckDB が読む — 一つのテーブルを三つのエンジンで
lab
クイズ: 複数のエンジンが同じテーブルを
quiz
参考ドキュメント
Iceberg Table Spec
Iceberg 문서 (1.11.0)
Spark Procedures
PyIceberg
DuckDB Iceberg Extension