태그: #lakehouse

← 전체 글

• 2026년 데이터 도구 지형 읽는 법 — 도구 목록이 아니라 층별 결정으로

  2026년 7월 28일 GeekNews에 "개발자를 위한 데이터 도구 지형 가이드"가 올라와 51포인트를 받았습니다. 좋은 지도지만 지도는 목적지를 골라 주지 않습니다. 이 글은 같은 지형을 다섯 개 층으로 나누고, 각 층에서 실제로 내려야 하는 결정이 무엇인지 정리합니다. 테이블 포맷 전쟁이 Iceberg v3에서 사실상 끝나고 싸움이 카탈로그로 옮겨 간 경위, DuckDB급 단일 노드 엔

  2026-07-31 · 29 분 읽기 #data-engineering#lakehouse#iceberg#duckdb#data-platform

• Iceberg v3 로우 리니지 — 행 ID는 파일에 저장되지 않는다

  Apache Iceberg 포맷 v3는 모든 행에 안정적인 식별자를 부여하는 로우 리니지를 스펙에 넣었고, 이건 옵션이 아니라 v3 테이블이면 무조건 켜집니다. 그런데 이 값은 데이터 파일에 저장되지 않습니다 — 테이블의 next-row-id에서 스냅샷, 매니페스트, 데이터 파일로 내려오는 상속 체인을 통해 읽는 시점에 계산됩니다. 낙관적 커밋이 재시도될 때 데이터 파일을 다시 쓰지 않기 위

  2026-07-16 · 31 분 읽기 #iceberg#lakehouse#table-format#data-engineering#spark

• Hadoop 아키텍처 다시 보기 — HDFS, YARN, 그리고 그 이후 ♪ 들을 수 있어요

  Hadoop의 핵심인 HDFS와 YARN, 그리고 MapReduce의 동작 원리를 다이어그램으로 다시 정리합니다. 오브젝트 스토리지와 클라우드, 레이크하우스 시대에 Hadoop의 역할이 어떻게 바뀌었는지, 그리고 오늘날 Hadoop을 어떻게 이해해야 하는지를 살펴봅니다.

  2026-06-27 · 55 분 읽기 #hadoop#hdfs#yarn#mapreduce#lakehouse

• 모던 Hadoop & 빅데이터 생태계 2026 완벽 가이드 - Hadoop 3.4 · Spark 4 · Hive 4 · Kafka 4 · Flink 2 · Iceberg · Trino 심층 분석 ♪ 들을 수 있어요

  2026년 Hadoop과 빅데이터 생태계는 '죽었다'가 아니라 '재배치되었다'. Hadoop 3.4의 Erasure Coding과 Ozone, Spark 4의 ANSI 모드와 Spark Connect, Hive 4의 Iceberg 통합, Kafka 4의 KRaft GA와 tiered storage, Flink 2의 disaggregated state, Iceberg 1.8과 REST 카탈로그

  2026-05-16 · 45 분 읽기 #hadoop#spark#hive#kafka#flink

• Hadoop 생태계 & 데이터 엔지니어링 2026 완벽 가이드 - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 심층 분석 ♪ 들을 수 있어요

  2026년 5월 기준 데이터 엔지니어링 스택을 끝까지 본다. "Hadoop은 죽었다"는 자극적 헤드라인의 진실(HDFS는 줄어들지만 YARN과 레이크하우스 패턴은 살아남았다), Iceberg vs Delta Lake vs Hudi 테이블 포맷 전쟁의 결말, Spark 4.0 + Photon + Spark Connect의 현재, Flink SQL과 CDC의 스트리밍 표준화, Trino 페더레이

  2026-05-16 · 42 분 읽기 #hadoop#spark#flink#trino#presto

• 모던 클라우드 데이터 웨어하우스 2026 완벽 가이드 - Snowflake · Databricks SQL · BigQuery · Redshift · Firebolt · Azure Synapse · MotherDuck 심층 분석 ♪ 들을 수 있어요

  2026년 5월 기준 모던 클라우드 데이터 웨어하우스 생태계를 정리합니다. Snowflake, Databricks SQL, Google BigQuery, AWS Redshift Serverless, Azure Synapse, Firebolt, MotherDuck, DuckDB, ClickHouse Cloud, StarRocks, Apache Druid/Pinot, 그리고 Apache Iceb

  2026-05-16 · 47 분 읽기 #data-warehouse#snowflake#databricks#bigquery#redshift

• 피처 스토어 2026 완벽 가이드 - Feast · Tecton · Hopsworks · Databricks · Vertex AI · SageMaker · Featureform · Bytewax · Materialize · RisingWave · Fennel · Chalk 심층 분석

  2026년 5월 기준 피처 스토어 시장을 끝까지 본다. Feast(CNCF 샌드박스), Tecton(Eppo 인수 통합), Hopsworks, Vertex AI Feature Store, SageMaker Feature Store, Databricks Feature Engineering in Unity Catalog, Featureform, Bytewax/Feldera/Materialize/

  2026-05-16 · 32 분 읽기 #feature-store#feast#tecton#hopsworks#databricks

• 하둡은 죽었는가 — 빅데이터 스택의 진화, Hadoop에서 Lakehouse까지 (Spark·Iceberg·Delta, 그리고 2026년의 현실) ♪ 들을 수 있어요

  Hadoop은 죽었는가? 정확히 말하면 '기본값에서 내려왔다.' HDFS·YARN·MapReduce 3종 세트의 시대가 끝나고, Spark가 MR을 갈아치우고, 객체 스토리지가 HDFS를 갈아치우고, 열린 테이블 포맷(Iceberg·Delta·Hudi)이 Hive 메타스토어 시대를 끝냈다. 그 진화의 전 과정을 한 번에 정리한다 — 무엇이 무엇을 대체했고, 어디에 Hadoop이 아직 살아있고

  2026-05-14 · 37 분 읽기 #hadoop#big-data#spark#iceberg#delta-lake

• 레이크하우스 2025 완전 가이드: Iceberg vs Delta vs Hudi, Open Table Format 전쟁, Snowflake·Databricks 합종연횡 (2025)

  Season 5 Ep 1. 2024년 Snowflake가 Iceberg를 네이티브 지원하고 Databricks가 Tabular를 $1B+로 인수하면서 "Open Table Format 전쟁"은 끝났다. 남은 건 Iceberg를 어떻게 잘 쓸 것인가. Iceberg·Delta·Hudi 아키텍처 비교, Parquet·ORC·Puffin 내부, 카탈로그 전쟁(Glue/Polaris/Unity/Ne

  2026-04-15 · 20 분 읽기 #lakehouse#iceberg#delta-lake#hudi#snowflake

• 데이터 플랫폼의 현대 — Lakehouse·Iceberg·dbt·Airflow·Dagster·Flink·DuckDB·ClickHouse·Snowflake·Databricks 심층 가이드 (2025)

  Hadoop의 무덤 위에 선 2025년 데이터 스택. Lakehouse·Iceberg/Delta/Hudi·dbt/SQLMesh·Airflow vs Dagster vs Prefect·Flink vs Spark Streaming·DuckDB·ClickHouse·Snowflake vs Databricks vs BigQuery·Semantic Layer·Data Contracts·Feature St

  2026-04-15 · 19 분 읽기 #data-platform#lakehouse#iceberg#dbt#airflow

• 데이터 엔지니어링 완전 가이드 — Lakehouse·Streaming·dbt·Orchestration·Data Mesh (Season 2 Ep 8, 2025)

  데이터 엔지니어링은 더 이상 "ETL 돌리는 일"이 아니다. 2025년의 데이터 엔지니어는 Lakehouse 아키텍처(Iceberg·Delta·Hudi)를 설계하고, Streaming(Flink·Kafka)과 Batch(Spark)를 결합하며, dbt로 데이터 모델링 표준화를 이끌고, Data Mesh로 조직 경계를 재정의하고, Data Contract로 팀 간 인터페이스를 관리한다. 이 글

  2026-04-15 · 16 분 읽기 #data-engineering#lakehouse#iceberg#delta-lake#hudi

• Databricks AI Engineer (FDE) 합격 가이드: Spark, Unity Catalog, RAG부터 고객 배포까지 ♪ 들을 수 있어요

  Databricks AI Engineer (FDE) JD를 완전 분석합니다. Spark/Delta Lake/Unity Catalog 기술 스택, Lakehouse 아키텍처, RAG 파이프라인 구축, 고객 현장 배포 역량까지 — 면접 예상 질문 25선과 8개월 학습 로드맵.

  2026-03-23 · 59 분 읽기 #databricks#fde#spark#delta-lake#unity-catalog