After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Хочете поглибити свої навички роботи з Airflow? У цьому курсі використано Airflow 3.2, тож ви опануєте найактуальніші підходи. Ви створюватимете Dags за допомогою TaskFlow API, плануватимете їх за даними, використовуючи Assets і нові Asset Partitions, а також зробите їх надійними завдяки повторним спробам, зворотним викликам і тестам.У фінальному розділі ви збудуєте наскрізний SQL ETL‑конвеєр на DuckDB і додасте перевірки якості даних безпосередньо в Airflow, без жодних сторонніх бібліотек, щоб дані, які створює ваш конвеєр, залишалися достовірними. Наприкінці ви знатимете, як перейти від прототипу до рішення, яке можна запускати у продакшені.
Попередні вимоги
Навчальний план
Зміст курсу
1
Створення Dags з TaskFlow та XCom
Почнете з ознайомлення зі складниками Airflow, напишете свої перші Dags за допомогою TaskFlow API та передасте дані між завданнями за допомогою XCom.
- Основні поняття Airflow50 XP
- Створення мінімального TaskFlow Dag100 XP
- Відповідність компонентів Airflow їхнім ролям100 XP
- API TaskFlow50 XP
- Перетворення класичного Dag на TaskFlow100 XP
- Додавання завдання та з'єднання залежностей100 XP
- Дослідження конвеєра в інтерфейсі Airflow50 XP
- Обмін даними між завданнями50 XP
- Повернення даних із функції TaskFlow100 XP
- Під'єднання класичного оператора до задачі TaskFlow100 XP
- Обмеження XCom50 XP
2
Динамічні та орієнтовані на дані конвеєри
Далі ви виконуватимете завдання паралельно завдяки динамічному відображенню завдань, плануватимете Dags за даними з Assets і додасте кроки з затвердженням людиною.
3
Підготовка Dags до продакшену
У цьому розділі ви опрацьовуватимете збої за допомогою повторних спроб і зворотних викликів, заощаджуватимете ресурси завдяки відкладеним сенсорам і тестуватимете свої Dags на трьох рівнях.
4
Побудова продакшен SQL ETL‑конвеєра
У фінальному розділі ви створите SQL ETL‑конвеєр на DuckDB, додасте планування з урахуванням партицій за допомогою Asset Partitions і вбудуєте перевірки якості даних.
Створення конвеєрів даних з Airflow
Курс
завершено
