태그: #iceberg

← 전체 글

• 2026년 데이터 도구 지형 읽는 법 — 도구 목록이 아니라 층별 결정으로

  2026년 7월 28일 GeekNews에 "개발자를 위한 데이터 도구 지형 가이드"가 올라와 51포인트를 받았습니다. 좋은 지도지만 지도는 목적지를 골라 주지 않습니다. 이 글은 같은 지형을 다섯 개 층으로 나누고, 각 층에서 실제로 내려야 하는 결정이 무엇인지 정리합니다. 테이블 포맷 전쟁이 Iceberg v3에서 사실상 끝나고 싸움이 카탈로그로 옮겨 간 경위, DuckDB급 단일 노드 엔

  2026-07-31 · 29 분 읽기 #data-engineering#lakehouse#iceberg#duckdb#data-platform

• Iceberg v3 로우 리니지 — 행 ID는 파일에 저장되지 않는다

  Apache Iceberg 포맷 v3는 모든 행에 안정적인 식별자를 부여하는 로우 리니지를 스펙에 넣었고, 이건 옵션이 아니라 v3 테이블이면 무조건 켜집니다. 그런데 이 값은 데이터 파일에 저장되지 않습니다 — 테이블의 next-row-id에서 스냅샷, 매니페스트, 데이터 파일로 내려오는 상속 체인을 통해 읽는 시점에 계산됩니다. 낙관적 커밋이 재시도될 때 데이터 파일을 다시 쓰지 않기 위

  2026-07-16 · 31 분 읽기 #iceberg#lakehouse#table-format#data-engineering#spark

• 모던 Hadoop & 빅데이터 생태계 2026 완벽 가이드 - Hadoop 3.4 · Spark 4 · Hive 4 · Kafka 4 · Flink 2 · Iceberg · Trino 심층 분석 ♪ 들을 수 있어요

  2026년 Hadoop과 빅데이터 생태계는 '죽었다'가 아니라 '재배치되었다'. Hadoop 3.4의 Erasure Coding과 Ozone, Spark 4의 ANSI 모드와 Spark Connect, Hive 4의 Iceberg 통합, Kafka 4의 KRaft GA와 tiered storage, Flink 2의 disaggregated state, Iceberg 1.8과 REST 카탈로그

  2026-05-16 · 45 분 읽기 #hadoop#spark#hive#kafka#flink

• Hadoop 생태계 & 데이터 엔지니어링 2026 완벽 가이드 - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 심층 분석 ♪ 들을 수 있어요

  2026년 5월 기준 데이터 엔지니어링 스택을 끝까지 본다. "Hadoop은 죽었다"는 자극적 헤드라인의 진실(HDFS는 줄어들지만 YARN과 레이크하우스 패턴은 살아남았다), Iceberg vs Delta Lake vs Hudi 테이블 포맷 전쟁의 결말, Spark 4.0 + Photon + Spark Connect의 현재, Flink SQL과 CDC의 스트리밍 표준화, Trino 페더레이

  2026-05-16 · 42 분 읽기 #hadoop#spark#flink#trino#presto

• 하둡은 죽었는가 — 빅데이터 스택의 진화, Hadoop에서 Lakehouse까지 (Spark·Iceberg·Delta, 그리고 2026년의 현실) ♪ 들을 수 있어요

  Hadoop은 죽었는가? 정확히 말하면 '기본값에서 내려왔다.' HDFS·YARN·MapReduce 3종 세트의 시대가 끝나고, Spark가 MR을 갈아치우고, 객체 스토리지가 HDFS를 갈아치우고, 열린 테이블 포맷(Iceberg·Delta·Hudi)이 Hive 메타스토어 시대를 끝냈다. 그 진화의 전 과정을 한 번에 정리한다 — 무엇이 무엇을 대체했고, 어디에 Hadoop이 아직 살아있고

  2026-05-14 · 37 분 읽기 #hadoop#big-data#spark#iceberg#delta-lake

• 레이크하우스 2025 완전 가이드: Iceberg vs Delta vs Hudi, Open Table Format 전쟁, Snowflake·Databricks 합종연횡 (2025)

  Season 5 Ep 1. 2024년 Snowflake가 Iceberg를 네이티브 지원하고 Databricks가 Tabular를 $1B+로 인수하면서 "Open Table Format 전쟁"은 끝났다. 남은 건 Iceberg를 어떻게 잘 쓸 것인가. Iceberg·Delta·Hudi 아키텍처 비교, Parquet·ORC·Puffin 내부, 카탈로그 전쟁(Glue/Polaris/Unity/Ne

  2026-04-15 · 20 분 읽기 #lakehouse#iceberg#delta-lake#hudi#snowflake

• 데이터 플랫폼의 현대 — Lakehouse·Iceberg·dbt·Airflow·Dagster·Flink·DuckDB·ClickHouse·Snowflake·Databricks 심층 가이드 (2025)

  Hadoop의 무덤 위에 선 2025년 데이터 스택. Lakehouse·Iceberg/Delta/Hudi·dbt/SQLMesh·Airflow vs Dagster vs Prefect·Flink vs Spark Streaming·DuckDB·ClickHouse·Snowflake vs Databricks vs BigQuery·Semantic Layer·Data Contracts·Feature St

  2026-04-15 · 19 분 읽기 #data-platform#lakehouse#iceberg#dbt#airflow

• 데이터 엔지니어링 완전 가이드 — Lakehouse·Streaming·dbt·Orchestration·Data Mesh (Season 2 Ep 8, 2025)

  데이터 엔지니어링은 더 이상 "ETL 돌리는 일"이 아니다. 2025년의 데이터 엔지니어는 Lakehouse 아키텍처(Iceberg·Delta·Hudi)를 설계하고, Streaming(Flink·Kafka)과 Batch(Spark)를 결합하며, dbt로 데이터 모델링 표준화를 이끌고, Data Mesh로 조직 경계를 재정의하고, Data Contract로 팀 간 인터페이스를 관리한다. 이 글

  2026-04-15 · 16 분 읽기 #data-engineering#lakehouse#iceberg#delta-lake#hudi