Airflow 해부 (0) 시리즈 소개

워크플로 오케스트레이션 도구 Airflow를 기초부터 운영까지 정리하는 시리즈의 0편입니다. 시리즈 소개와 진행 순서를 다루며, 본문은 1편부터 시작합니다.

무엇을 다루나

Airflow 하나를 도구로서 끝까지 다룹니다. 설치와 첫 DAG부터, Airflow 특유의 시간 개념(logical date, catchup), Operator와 Connection, 컨테이너 기반 운영, 그리고 ML 재학습 파이프라인 DAG까지가 범위입니다.

머신러닝 실전 워크플로 11편이 “오케스트레이션이 왜 필요한가”를 다뤘다면, 이 시리즈는 그 답으로 고른 도구의 구조와 사용법 자체를 다룹니다.

누구를 위한 시리즈인가

• cron으로 배치 작업을 돌리다가 의존 순서와 실패 처리에서 한계를 느낀 사람
• Airflow 튜토리얼 DAG는 돌려봤지만 logical date와 catchup에서 한 번 데인 사람
• 데이터 수집과 모델 재학습을 스케줄에 태워야 하는 사람

Python 함수와 데코레이터 문법을 전제로 합니다.

어떻게 진행하는가

일곱 편으로 진행하며, 순서는 아래와 같습니다.

편	주제
(1)	오케스트레이션 문제와 Airflow 구조
(2)	설치와 첫 실행: constraint와 standalone
(3)	DAG 작성 기초: TaskFlow API와 의존성
(4)	스케줄과 시간: logical date, catchup, backfill
(5)	Operator, Connection, Sensor
(6)	운영: 컨테이너 구동, executor, 멱등성
(7)	응용: 재학습 파이프라인 DAG

1편부터 3편이 기초, 4편과 5편이 Airflow를 실제로 쓸 때 부딪히는 핵심 개념, 6편이 운영, 7편이 ML 응용입니다.

실습 환경

• Python 3.12, Airflow 3.x
• 2편의 로컬 실습은 airflow standalone, 6편의 운영 구성은 공식 Docker Compose를 사용합니다
• 7편에서 MLflow 해부 시리즈의 승격 자동화 함수를 DAG에 붙입니다

같은 도구를 실제 프로젝트에 붙인 기록은 NYC 택시 프로젝트 8편에 있습니다.