데이터 파이프라인
배치와 스트리밍의 선택 기준, 원본 정제와 스키마 계약, 그리고 멱등한 재처리를 다룹니다. 일부러 더럽게 만들어 둔 원본 데이터를 프로파일링하고 정제 표와 거부 표로 나눠 적재하며, 같은 작업을 두 번 돌려도 결과가 변하지 않는 파이프라인을 손으로 만듭니다.
중급 · 레슨 32 · 실습 10
커리큘럼
배치와 스트리밍
- 배치와 스트리밍 — 무엇을 기준으로 고르는가 reading
- 배치 적재와 워터마크 lab
- 퀴즈: 배치와 스트리밍 quiz
스키마와 포맷
- 스키마 — 검증하지 않으면 나중에 두 배로 낸다 reading
- 원본 정제와 스키마 계약 lab
- 퀴즈: 스키마와 포맷 quiz
멱등성과 재처리
- 멱등성 — 파이프라인은 반드시 다시 돌게 된다 reading
- 멱등한 upsert 파이프라인 lab
- 퀴즈: 멱등성과 재처리 quiz
데이터 품질과 계약
- 초록불인데 숫자가 틀렸다 reading
- 퀴즈: 데이터 품질과 계약 quiz
실행 원장과 원자적 커밋
- 도중에 죽는다 — 실행 원장과 원자적 교체 reading
- 새벽 3시에 죽은 정산 작업 — 원장과 원자적 교체 lab
- 퀴즈: 실행 원장과 원자적 커밋 quiz
이벤트 시간 워터마크와 늦게 온 자료
- 워터마크는 사실이 아니라 약속이다 reading
- 어제 숫자가 오늘 바뀌었다 — 워터마크와 늦게 온 자료 lab
- 퀴즈: 워터마크와 늦게 온 자료 quiz
파티션과 파일 크기
- 파티션 키가 뒤에 오는 모든 조회를 정한다 reading
- 파일이 놓인 모양이 조회 비용을 정한다 — 파티션과 묶기 lab
- 퀴즈: 파티션과 파일 크기 quiz
스키마 변화와 계약 판
- 스키마는 바뀐다 — 누가 먼저 바뀌어도 안 깨지게 reading
- 판을 매겨 바꾸고 양쪽을 다 살린다 lab
- 퀴즈: 스키마 변화와 계약 판 quiz
백필과 이중 계산
계보와 재현
- 이 숫자는 어디서 왔나 — 계보와 재현 reading
- 계보와 재현 — 두 번 돌려 바이트가 같은가 lab
- 퀴즈: 계보와 재현 quiz
품질 검사와 격리
- 격리한 줄은 어디로 가는가 reading
- 격리를 운영한다 — 쌓고, 끊고, 다시 넣는다 lab
- 퀴즈: 품질 검사와 격리 quiz