After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
코스 설명
Apache Airflow 3.1.6 업데이트 버전 - 데이터를 정해진 일정에 맞춰 전달하는 작업은 번거로울 수 있습니다. 스크립트를 작성하고, 복잡한 cron 작업을 추가하고, 끊임없이 바뀌는 요구사항을 충족하기 위해 다양한 방법을 시도해야 하죠. 팀원들과 함께 작업할 때는 더욱 관리하기 어렵습니다. Apache Airflow를 사용하면 워크플로에 스케줄링, 오류 처리, 보고 기능을 추가해 이러한 번거로움을 해소할 수 있습니다. 이 과정에서는 Apache Airflow의 기본기를 탄탄히 다지고, 프로덕션 환경에서 복잡한 데이터 엔지니어링 파이프라인을 구현하는 방법을 배웁니다. 또한 방향성 비순환 그래프(DAG)를 활용하고, 데이터 엔지니어링 워크플로를 자동화하며, 데이터 엔지니어링 작업을 쉽고 반복 가능한 방식으로 구현하는 방법도 익힐 수 있습니다.
사전 요구 사항
커리큘럼
코스 개요
1
Airflow 소개
이 챕터에서는 Apache Airflow의 구성 요소를 전반적으로 살펴보고, 각 구성 요소를 사용하는 방법과 이유를 배웁니다.
2
Airflow에서 DAG 구성하기
이제 Airflow DAG 구현의 기본을 배울 시간입니다. 실습 활동을 통해 오퍼레이터, 태스크, 스케줄링을 설정하고 배포하는 방법을 익혀 보세요.
3
Airflow 워크플로 유지 관리 및 모니터링
이 챕터에서는 센서, 익스큐터 등 Airflow 구성 요소를 활용해 시간을 절약하는 방법과 함께 Airflow 워크플로를 모니터링하고 문제를 해결하는 방법을 배웁니다.
4
DAG 로직 제어
지금까지 배운 내용을 모두 종합해 봅니다. 마지막 챕터에서는 학습한 모든 내용을 적용하여 프로덕션 수준의 워크플로를 Airflow에서 구축합니다.
Python으로 배우는 Apache Airflow 입문
코스
완료
