Build your ultimate AI agent
코스 설명
Airflow 실력을 한 단계 높이고 싶으신가요? 이 강의는 Airflow 3.2를 기반으로 하며, 최신 방식을 배울 수 있습니다. TaskFlow API로 DAG를 작성하고, Asset과 새로운 Asset Partition을 활용해 데이터 기반 스케줄링을 구성하며, 재시도·콜백·테스트로 안정적인 파이프라인을 만드는 방법을 익힙니다.마지막 챕터에서는 DuckDB 위에서 엔드투엔드 SQL ETL 파이프라인을 구축하고, 서드파티 라이브러리 없이 Airflow 안에서 직접 데이터 품질 검사를 추가합니다. 강의를 마치면 프로토타입 수준의 파이프라인을 실제 프로덕션 환경에서 운영할 수 있는 수준으로 발전시키는 방법을 알게 됩니다.
사전 요구 사항
커리큘럼
코스 개요
1
TaskFlow와 XCom으로 DAG 작성하기
Airflow의 주요 구성 요소를 살펴보고, TaskFlow API로 첫 번째 DAG를 작성한 뒤, XCom을 이용해 태스크 간에 데이터를 전달하는 방법을 배웁니다.
2
동적 파이프라인과 데이터 인식 파이프라인
동적 태스크 매핑으로 태스크를 병렬 실행하고, Asset을 활용해 데이터 기반으로 DAG를 스케줄링하며, 사람의 승인 단계를 추가하는 방법을 익힙니다.
3
프로덕션을 위한 DAG 준비
재시도와 콜백으로 오류를 처리하고, 지연 가능한 센서로 리소스를 절약하며, 세 가지 수준에서 DAG를 테스트하는 방법을 학습합니다.
4
프로덕션 SQL ETL 파이프라인 구축
마지막 챕터에서는 DuckDB 위에서 SQL ETL 파이프라인을 구축하고, Asset Partition을 활용한 파티션 인식 스케줄링을 추가하며, 데이터 품질 검사를 파이프라인에 직접 삽입하는 방법을 배웁니다.
Airflow로 데이터 파이프라인 구축하기
코스
완료
