태그: #dagster
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 8 편
#dagster 태그가 붙은 글은 8편이고, 가장 최근 글은 2026-05-25에 올라왔습니다.
함께 자주 붙은 태그: #airflow 8 #dbt 5 #prefect 4 #data-engineering 3 #deep-dive 3
최근 90일 동안 많이 읽힌 글:
- 워크플로우 엔진 2026 — Temporal·Inngest·Trigger.dev·Hatchet·Restate·DBOS·Airflow 심층 비교 (Durable Execution 시대의 좌표)
- Cron & 스케줄된 작업 2026 — systemd timers / Vercel Cron / AWS EventBridge Scheduler / k8s CronJobs / BullMQ / Sidekiq / Temporal 심층 가이드
- Hadoop 생태계 & 데이터 엔지니어링 2026 완벽 가이드 - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 심층 분석
듀러블 실행 & 워크플로우 엔진 2026 — Temporal·Inngest·Trigger.dev·Hatchet·Restate·DBOS·Step Functions 심층 비교 (장기 실행 AI 에이전트 시대의 인프라) ♪ 들을 수 있어요
2026년 워크플로우 엔진은 두 가지 거대한 흐름 위에 서 있다 — 첫째는 장기 실행 AI 에이전트(LLM이 몇 분에서 며칠을 도는 작업)가 듀러블 실행을 사실상 강제했다는 점, 둘째는 Postgres가 메시지 큐와 워크플로우 엔진의 백본이 되어가는 거대한 합류다. Temporal(Uber Cadence 포크), Inngest, Trigger.dev v3, Hatchet, Restate, D
2026-05-25 · 53 분 읽기 #durable-execution#workflow-engine#temporal#inngest#trigger-devHadoop 생태계 & 데이터 엔지니어링 2026 완벽 가이드 - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 심층 분석 ♪ 들을 수 있어요
2026년 5월 기준 데이터 엔지니어링 스택을 끝까지 본다. "Hadoop은 죽었다"는 자극적 헤드라인의 진실(HDFS는 줄어들지만 YARN과 레이크하우스 패턴은 살아남았다), Iceberg vs Delta Lake vs Hudi 테이블 포맷 전쟁의 결말, Spark 4.0 + Photon + Spark Connect의 현재, Flink SQL과 CDC의 스트리밍 표준화, Trino 페더레이
2026-05-16 · 42 분 읽기 #hadoop#spark#flink#trino#prestoCron & 스케줄된 작업 2026 — systemd timers / Vercel Cron / AWS EventBridge Scheduler / k8s CronJobs / BullMQ / Sidekiq / Temporal 심층 가이드
2026년 스케줄된 작업의 지형도. 클래식 cron은 여전히 살아있고, systemd timers가 Linux의 모던 대체가 됐다. 클라우드 쪽은 Vercel Cron, AWS EventBridge Scheduler(2022.11에 CloudWatch Events Rules 대체), Cloudflare Workers Cron Triggers, GitHub Actions schedule, Gi
2026-05-16 · 39 분 읽기 #cron#scheduled-tasks#systemd-timers#vercel-cron#aws-eventbridge-scheduler워크플로우 엔진 2026 — Temporal·Inngest·Trigger.dev·Hatchet·Restate·DBOS·Airflow 심층 비교 (Durable Execution 시대의 좌표) ♪ 들을 수 있어요
AI 에이전트 시대가 열리며 워크플로우 엔진이 다시 1군 인프라가 됐다. Temporal Cloud는 Uber Cadence를 만든 사람들이 세운 표준, Inngest와 Trigger.dev v3는 TypeScript 친화 서버리스, Hatchet은 Y Combinator W24 출신의 Postgres 기반 신예, Restate는 Rust 코어와 Virtual Objects, DBOS는 Po
2026-05-15 · 42 분 읽기 #workflow#durable-execution#temporal#inngest#trigger-dev데이터 오케스트레이션 2025 완전 가이드: dbt·SQLMesh·Dagster·Airflow·Prefect, 데이터 계약, CI/CD (2025)
Season 5 Ep 4. 엔진이 쿼리한다면, 오케스트레이터는 파이프라인을 다스린다. dbt의 표준화와 한계, SQLMesh의 반란, Dagster의 asset-centric 모델, Airflow 2.x/3.0의 진화, Prefect 3.0의 재탄생, 데이터 계약(Data Contracts), 파이프라인 CI/CD, 관측성과 경보, 한국 기업 실무 스택 선택까지.
2026-04-15 · 18 분 읽기 #data-orchestration#dbt#sqlmesh#dagster#airflow데이터 플랫폼의 현대 — Lakehouse·Iceberg·dbt·Airflow·Dagster·Flink·DuckDB·ClickHouse·Snowflake·Databricks 심층 가이드 (2025)
Hadoop의 무덤 위에 선 2025년 데이터 스택. Lakehouse·Iceberg/Delta/Hudi·dbt/SQLMesh·Airflow vs Dagster vs Prefect·Flink vs Spark Streaming·DuckDB·ClickHouse·Snowflake vs Databricks vs BigQuery·Semantic Layer·Data Contracts·Feature St
2026-04-15 · 19 분 읽기 #data-platform#lakehouse#iceberg#dbt#airflow데이터 엔지니어링 완전 가이드 — Lakehouse·Streaming·dbt·Orchestration·Data Mesh (Season 2 Ep 8, 2025)
데이터 엔지니어링은 더 이상 "ETL 돌리는 일"이 아니다. 2025년의 데이터 엔지니어는 Lakehouse 아키텍처(Iceberg·Delta·Hudi)를 설계하고, Streaming(Flink·Kafka)과 Batch(Spark)를 결합하며, dbt로 데이터 모델링 표준화를 이끌고, Data Mesh로 조직 경계를 재정의하고, Data Contract로 팀 간 인터페이스를 관리한다. 이 글
2026-04-15 · 16 분 읽기 #data-engineering#lakehouse#iceberg#delta-lake#hudi데이터 엔지니어링 완전 가이드 2025: Flink vs Spark, dbt, Iceberg, Airflow — 현대 데이터 스택 총정리 ♪ 들을 수 있어요
Flink vs Spark 스트림 처리 비교, dbt $100M ARR 돌파, Iceberg vs Delta Lake vs Hudi 레이크하우스 대전, ClickHouse vs StarRocks 실시간 분석, Airflow 3.0 vs Dagster vs Prefect 오케스트레이션 — 2025년 현대 데이터 스택 완전 가이드.
2026-03-22 · 50 분 읽기 #data-engineering#apache-flink#apache-spark#dbt#apache-iceberg