태그: #airflow

← 전체 글

• Airflow 2 EOL 이후 — 2에서 3으로 가는 실제 작업 목록, 그리고 3.3까지 온 3.x의 현재

  Apache Airflow 2는 2026년 4월 22일에 EOL을 지났고, 이제 보안 패치도 나오지 않는 버전입니다. 그런데 2에서 3으로 가는 길은 pip 업그레이드가 아니라 아키텍처 전환입니다 — 워커의 메타데이터 DB 직접 접근이 사라지고, executiondate 계열 컨텍스트 키가 제거되고, 크론 스케줄의 기본 시맨틱까지 바뀝니다. 이 글은 공식 업그레이드 가이드와 릴리스 노트를 원

  2026-07-17 · 27 분 읽기 #data-engineering#airflow#workflow-engine#migration

• 듀러블 실행 & 워크플로우 엔진 2026 — Temporal·Inngest·Trigger.dev·Hatchet·Restate·DBOS·Step Functions 심층 비교 (장기 실행 AI 에이전트 시대의 인프라) ♪ 들을 수 있어요

  2026년 워크플로우 엔진은 두 가지 거대한 흐름 위에 서 있다 — 첫째는 장기 실행 AI 에이전트(LLM이 몇 분에서 며칠을 도는 작업)가 듀러블 실행을 사실상 강제했다는 점, 둘째는 Postgres가 메시지 큐와 워크플로우 엔진의 백본이 되어가는 거대한 합류다. Temporal(Uber Cadence 포크), Inngest, Trigger.dev v3, Hatchet, Restate, D

  2026-05-25 · 53 분 읽기 #durable-execution#workflow-engine#temporal#inngest#trigger-dev

• Hadoop 생태계 & 데이터 엔지니어링 2026 완벽 가이드 - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 심층 분석 ♪ 들을 수 있어요

  2026년 5월 기준 데이터 엔지니어링 스택을 끝까지 본다. "Hadoop은 죽었다"는 자극적 헤드라인의 진실(HDFS는 줄어들지만 YARN과 레이크하우스 패턴은 살아남았다), Iceberg vs Delta Lake vs Hudi 테이블 포맷 전쟁의 결말, Spark 4.0 + Photon + Spark Connect의 현재, Flink SQL과 CDC의 스트리밍 표준화, Trino 페더레이

  2026-05-16 · 42 분 읽기 #hadoop#spark#flink#trino#presto

• Cron & 스케줄된 작업 2026 — systemd timers / Vercel Cron / AWS EventBridge Scheduler / k8s CronJobs / BullMQ / Sidekiq / Temporal 심층 가이드

  2026년 스케줄된 작업의 지형도. 클래식 cron은 여전히 살아있고, systemd timers가 Linux의 모던 대체가 됐다. 클라우드 쪽은 Vercel Cron, AWS EventBridge Scheduler(2022.11에 CloudWatch Events Rules 대체), Cloudflare Workers Cron Triggers, GitHub Actions schedule, Gi

  2026-05-16 · 39 분 읽기 #cron#scheduled-tasks#systemd-timers#vercel-cron#aws-eventbridge-scheduler

• 워크플로우 엔진 2026 — Temporal·Inngest·Trigger.dev·Hatchet·Restate·DBOS·Airflow 심층 비교 (Durable Execution 시대의 좌표) ♪ 들을 수 있어요

  AI 에이전트 시대가 열리며 워크플로우 엔진이 다시 1군 인프라가 됐다. Temporal Cloud는 Uber Cadence를 만든 사람들이 세운 표준, Inngest와 Trigger.dev v3는 TypeScript 친화 서버리스, Hatchet은 Y Combinator W24 출신의 Postgres 기반 신예, Restate는 Rust 코어와 Virtual Objects, DBOS는 Po

  2026-05-15 · 42 분 읽기 #workflow#durable-execution#temporal#inngest#trigger-dev

• 데이터 오케스트레이션 2025 완전 가이드: dbt·SQLMesh·Dagster·Airflow·Prefect, 데이터 계약, CI/CD (2025)

  Season 5 Ep 4. 엔진이 쿼리한다면, 오케스트레이터는 파이프라인을 다스린다. dbt의 표준화와 한계, SQLMesh의 반란, Dagster의 asset-centric 모델, Airflow 2.x/3.0의 진화, Prefect 3.0의 재탄생, 데이터 계약(Data Contracts), 파이프라인 CI/CD, 관측성과 경보, 한국 기업 실무 스택 선택까지.

  2026-04-15 · 18 분 읽기 #data-orchestration#dbt#sqlmesh#dagster#airflow

• 데이터 플랫폼의 현대 — Lakehouse·Iceberg·dbt·Airflow·Dagster·Flink·DuckDB·ClickHouse·Snowflake·Databricks 심층 가이드 (2025)

  Hadoop의 무덤 위에 선 2025년 데이터 스택. Lakehouse·Iceberg/Delta/Hudi·dbt/SQLMesh·Airflow vs Dagster vs Prefect·Flink vs Spark Streaming·DuckDB·ClickHouse·Snowflake vs Databricks vs BigQuery·Semantic Layer·Data Contracts·Feature St

  2026-04-15 · 19 분 읽기 #data-platform#lakehouse#iceberg#dbt#airflow

• 데이터 엔지니어링 완전 가이드 — Lakehouse·Streaming·dbt·Orchestration·Data Mesh (Season 2 Ep 8, 2025)

  데이터 엔지니어링은 더 이상 "ETL 돌리는 일"이 아니다. 2025년의 데이터 엔지니어는 Lakehouse 아키텍처(Iceberg·Delta·Hudi)를 설계하고, Streaming(Flink·Kafka)과 Batch(Spark)를 결합하며, dbt로 데이터 모델링 표준화를 이끌고, Data Mesh로 조직 경계를 재정의하고, Data Contract로 팀 간 인터페이스를 관리한다. 이 글

  2026-04-15 · 16 분 읽기 #data-engineering#lakehouse#iceberg#delta-lake#hudi

• 데이터 엔지니어링 입문 — ETL, 데이터 웨어하우스, 스트리밍, 데이터 레이크

  데이터 파이프라인은 어떻게 구축하는가? ETL/ELT, 데이터 웨어하우스, 스트리밍, 배치 처리, Spark, Kafka, Airflow까지.

  2026-04-13 · 29 분 읽기 #data-engineering-aws#data-engineering#etl#data-warehouse#spark

• 데이터 엔지니어링 파이프라인 완전 가이드 2025: ETL/ELT, Spark, Airflow, 실시간 스트리밍

  데이터 엔지니어링의 모든 것! ETL vs ELT, Apache Spark(PySpark), Apache Airflow(DAG/Operator/Sensor), 실시간 스트리밍(Kafka+Flink), dbt(데이터 변환), 데이터 웨어하우스(BigQuery/Snowflake/Redshift), 데이터 품질, 모니터링.

  2026-03-25 · 27 분 읽기 #data-engineering#etl#elt#spark#airflow

• 데이터 엔지니어링 완전 가이드 2025: Flink vs Spark, dbt, Iceberg, Airflow — 현대 데이터 스택 총정리 ♪ 들을 수 있어요

  Flink vs Spark 스트림 처리 비교, dbt $100M ARR 돌파, Iceberg vs Delta Lake vs Hudi 레이크하우스 대전, ClickHouse vs StarRocks 실시간 분석, Airflow 3.0 vs Dagster vs Prefect 오케스트레이션 — 2025년 현대 데이터 스택 완전 가이드.

  2026-03-22 · 50 분 읽기 #data-engineering#apache-flink#apache-spark#dbt#apache-iceberg

• 토스뱅크 ML Engineer (MLOps) 합격 완벽 가이드: MLFlow부터 LLM 플랫폼까지 기술스택 총정리 ♪ 들을 수 있어요

  토스뱅크 ML Platform Team의 MLOps Engineer JD를 완전 분석합니다. MLFlow, Airflow, JupyterHub, Kubeflow, Triton Inference Server, ScyllaDB Feature Store, LLM 플랫폼까지 — 합격을 위한 기술스택 딥다이브, 면접 예상 질문 30선, 6개월 학습 로드맵.

  2026-03-21 · 67 분 읽기 #mlops#ml-platform#tossbank#kubernetes#mlflow

• 데이터 엔지니어링 & AI 파이프라인: Spark부터 Kafka까지 완전 가이드

  AI를 위한 데이터 엔지니어링 완전 가이드. Apache Spark, Kafka, Airflow, dbt, Delta Lake, 피처 스토어까지 대규모 데이터 파이프라인 설계와 구현을 다룹니다.

  2026-03-17 · 22 분 읽기 #data-engineering#apache-spark#kafka#airflow#dbt

• Airflow로 ML 학습 파이프라인 오케스트레이션하기

  Apache Airflow 공식 문서를 기반으로 KubernetesPodOperator, Dynamic Task Mapping 등을 활용한 ML 학습 파이프라인 자동화 방법을 분석한다.

  2026-03-01 · 30 분 읽기 #airflow#mlops#ml-pipeline#orchestration#kubernetes

• Airflow 기초

  The Basics of Apache Airflow

  2024-07-27 · 1 분 읽기 #airflow