태그: #delta-lake

← 전체 글

• Hadoop 생태계 & 데이터 엔지니어링 2026 완벽 가이드 - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 심층 분석 ♪ 들을 수 있어요

  2026년 5월 기준 데이터 엔지니어링 스택을 끝까지 본다. "Hadoop은 죽었다"는 자극적 헤드라인의 진실(HDFS는 줄어들지만 YARN과 레이크하우스 패턴은 살아남았다), Iceberg vs Delta Lake vs Hudi 테이블 포맷 전쟁의 결말, Spark 4.0 + Photon + Spark Connect의 현재, Flink SQL과 CDC의 스트리밍 표준화, Trino 페더레이

  2026-05-16 · 42 분 읽기 #hadoop#spark#flink#trino#presto

• 데이터 레이크하우스 & 모던 데이터 엔지니어링 2026 — Iceberg / Delta / Hudi / Paimon / Tabular (Databricks 인수) / Trino / Spark 4 / Flink 2 / DataFusion 심층 가이드 ♪ 들을 수 있어요

  2026년의 데이터 엔지니어링은 더 이상 "데이터 웨어하우스 vs 데이터 레이크"의 시대가 아니다. Apache Iceberg가 2024-25년 테이블 포맷 전쟁의 승자로 떠오르면서 Netflix·Apple·LinkedIn·Stripe·Airbnb가 모두 그 위에 모였고, Databricks는 2024년 6월 Iceberg 공동 창시자 Ryan Blue의 Tabular를 $1B 이상으로 인수

  2026-05-16 · 48 분 읽기 #data-engineering#data-lakehouse#apache-iceberg#delta-lake#apache-hudi

• 하둡은 죽었는가 — 빅데이터 스택의 진화, Hadoop에서 Lakehouse까지 (Spark·Iceberg·Delta, 그리고 2026년의 현실) ♪ 들을 수 있어요

  Hadoop은 죽었는가? 정확히 말하면 '기본값에서 내려왔다.' HDFS·YARN·MapReduce 3종 세트의 시대가 끝나고, Spark가 MR을 갈아치우고, 객체 스토리지가 HDFS를 갈아치우고, 열린 테이블 포맷(Iceberg·Delta·Hudi)이 Hive 메타스토어 시대를 끝냈다. 그 진화의 전 과정을 한 번에 정리한다 — 무엇이 무엇을 대체했고, 어디에 Hadoop이 아직 살아있고

  2026-05-14 · 37 분 읽기 #hadoop#big-data#spark#iceberg#delta-lake

• 레이크하우스 2025 완전 가이드: Iceberg vs Delta vs Hudi, Open Table Format 전쟁, Snowflake·Databricks 합종연횡 (2025)

  Season 5 Ep 1. 2024년 Snowflake가 Iceberg를 네이티브 지원하고 Databricks가 Tabular를 $1B+로 인수하면서 "Open Table Format 전쟁"은 끝났다. 남은 건 Iceberg를 어떻게 잘 쓸 것인가. Iceberg·Delta·Hudi 아키텍처 비교, Parquet·ORC·Puffin 내부, 카탈로그 전쟁(Glue/Polaris/Unity/Ne

  2026-04-15 · 20 분 읽기 #lakehouse#iceberg#delta-lake#hudi#snowflake

• 데이터 엔지니어링 완전 가이드 — Lakehouse·Streaming·dbt·Orchestration·Data Mesh (Season 2 Ep 8, 2025)

  데이터 엔지니어링은 더 이상 "ETL 돌리는 일"이 아니다. 2025년의 데이터 엔지니어는 Lakehouse 아키텍처(Iceberg·Delta·Hudi)를 설계하고, Streaming(Flink·Kafka)과 Batch(Spark)를 결합하며, dbt로 데이터 모델링 표준화를 이끌고, Data Mesh로 조직 경계를 재정의하고, Data Contract로 팀 간 인터페이스를 관리한다. 이 글

  2026-04-15 · 16 분 읽기 #data-engineering#lakehouse#iceberg#delta-lake#hudi

• Databricks AI Engineer (FDE) 합격 가이드: Spark, Unity Catalog, RAG부터 고객 배포까지 ♪ 들을 수 있어요

  Databricks AI Engineer (FDE) JD를 완전 분석합니다. Spark/Delta Lake/Unity Catalog 기술 스택, Lakehouse 아키텍처, RAG 파이프라인 구축, 고객 현장 배포 역량까지 — 면접 예상 질문 25선과 8개월 학습 로드맵.

  2026-03-23 · 59 분 읽기 #databricks#fde#spark#delta-lake#unity-catalog