태그: #dbt

← 전체 글

• Hadoop 생태계 & 데이터 엔지니어링 2026 완벽 가이드 - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 심층 분석 ♪ 들을 수 있어요

  2026년 5월 기준 데이터 엔지니어링 스택을 끝까지 본다. "Hadoop은 죽었다"는 자극적 헤드라인의 진실(HDFS는 줄어들지만 YARN과 레이크하우스 패턴은 살아남았다), Iceberg vs Delta Lake vs Hudi 테이블 포맷 전쟁의 결말, Spark 4.0 + Photon + Spark Connect의 현재, Flink SQL과 CDC의 스트리밍 표준화, Trino 페더레이

  2026-05-16 · 42 분 읽기 #hadoop#spark#flink#trino#presto

• 데이터 레이크하우스 & 모던 데이터 엔지니어링 2026 — Iceberg / Delta / Hudi / Paimon / Tabular (Databricks 인수) / Trino / Spark 4 / Flink 2 / DataFusion 심층 가이드 ♪ 들을 수 있어요

  2026년의 데이터 엔지니어링은 더 이상 "데이터 웨어하우스 vs 데이터 레이크"의 시대가 아니다. Apache Iceberg가 2024-25년 테이블 포맷 전쟁의 승자로 떠오르면서 Netflix·Apple·LinkedIn·Stripe·Airbnb가 모두 그 위에 모였고, Databricks는 2024년 6월 Iceberg 공동 창시자 Ryan Blue의 Tabular를 $1B 이상으로 인수

  2026-05-16 · 48 분 읽기 #data-engineering#data-lakehouse#apache-iceberg#delta-lake#apache-hudi

• 데이터 오케스트레이션 2025 완전 가이드: dbt·SQLMesh·Dagster·Airflow·Prefect, 데이터 계약, CI/CD (2025)

  Season 5 Ep 4. 엔진이 쿼리한다면, 오케스트레이터는 파이프라인을 다스린다. dbt의 표준화와 한계, SQLMesh의 반란, Dagster의 asset-centric 모델, Airflow 2.x/3.0의 진화, Prefect 3.0의 재탄생, 데이터 계약(Data Contracts), 파이프라인 CI/CD, 관측성과 경보, 한국 기업 실무 스택 선택까지.

  2026-04-15 · 18 분 읽기 #data-orchestration#dbt#sqlmesh#dagster#airflow

• 데이터 플랫폼의 현대 — Lakehouse·Iceberg·dbt·Airflow·Dagster·Flink·DuckDB·ClickHouse·Snowflake·Databricks 심층 가이드 (2025)

  Hadoop의 무덤 위에 선 2025년 데이터 스택. Lakehouse·Iceberg/Delta/Hudi·dbt/SQLMesh·Airflow vs Dagster vs Prefect·Flink vs Spark Streaming·DuckDB·ClickHouse·Snowflake vs Databricks vs BigQuery·Semantic Layer·Data Contracts·Feature St

  2026-04-15 · 19 분 읽기 #data-platform#lakehouse#iceberg#dbt#airflow

• 데이터 엔지니어링 완전 가이드 — Lakehouse·Streaming·dbt·Orchestration·Data Mesh (Season 2 Ep 8, 2025)

  데이터 엔지니어링은 더 이상 "ETL 돌리는 일"이 아니다. 2025년의 데이터 엔지니어는 Lakehouse 아키텍처(Iceberg·Delta·Hudi)를 설계하고, Streaming(Flink·Kafka)과 Batch(Spark)를 결합하며, dbt로 데이터 모델링 표준화를 이끌고, Data Mesh로 조직 경계를 재정의하고, Data Contract로 팀 간 인터페이스를 관리한다. 이 글

  2026-04-15 · 16 분 읽기 #data-engineering#lakehouse#iceberg#delta-lake#hudi

• 데이터 엔지니어링 파이프라인 완전 가이드 2025: ETL/ELT, Spark, Airflow, 실시간 스트리밍

  데이터 엔지니어링의 모든 것! ETL vs ELT, Apache Spark(PySpark), Apache Airflow(DAG/Operator/Sensor), 실시간 스트리밍(Kafka+Flink), dbt(데이터 변환), 데이터 웨어하우스(BigQuery/Snowflake/Redshift), 데이터 품질, 모니터링.

  2026-03-25 · 27 분 읽기 #data-engineering#etl#elt#spark#airflow

• Snowflake Data Engineer 커리어 가이드: 클라우드 데이터 웨어하우스의 왕좌를 차지한 기술의 모든 것 ♪ 들을 수 있어요

  Snowflake Data Engineer 역할을 완전 분석합니다. Snowflake 아키텍처(스토리지-컴퓨트 분리), Snowpark, Cortex AI, Iceberg 테이블, dbt 연동, 스트리밍(Snowpipe), 비용 최적화 — 면접 질문 20선과 학습 로드맵.

  2026-03-23 · 40 분 읽기 #snowflake#data-engineering#data-warehouse#sql#dbt

• 데이터 엔지니어링 완전 가이드 2025: Flink vs Spark, dbt, Iceberg, Airflow — 현대 데이터 스택 총정리 ♪ 들을 수 있어요

  Flink vs Spark 스트림 처리 비교, dbt $100M ARR 돌파, Iceberg vs Delta Lake vs Hudi 레이크하우스 대전, ClickHouse vs StarRocks 실시간 분석, Airflow 3.0 vs Dagster vs Prefect 오케스트레이션 — 2025년 현대 데이터 스택 완전 가이드.

  2026-03-22 · 50 분 읽기 #data-engineering#apache-flink#apache-spark#dbt#apache-iceberg

• 데이터 엔지니어링 & AI 파이프라인: Spark부터 Kafka까지 완전 가이드

  AI를 위한 데이터 엔지니어링 완전 가이드. Apache Spark, Kafka, Airflow, dbt, Delta Lake, 피처 스토어까지 대규모 데이터 파이프라인 설계와 구현을 다룹니다.

  2026-03-17 · 22 분 읽기 #data-engineering#apache-spark#kafka#airflow#dbt