После прохождения этих курсов я уверенно создаю профессиональные визуализации и дашборды.
Shoebur RahmanСпециалист по закупкам, Giz Bangladesh
Описание курса
Хотите углубить знания Airflow? В этом курсе используется Airflow 3.2 — вы освоите самые актуальные подходы. Вы научитесь создавать DAG с помощью TaskFlow API, планировать их выполнение на основе данных с использованием Assets и новых Asset Partitions, а также обеспечивать надёжность пайплайнов с помощью повторных попыток, колбэков и тестов.В заключительной главе вы построите сквозной SQL ETL-пайплайн на DuckDB и добавите проверки качества данных прямо в Airflow — без сторонних библиотек. Это позволит гарантировать достоверность данных, которые производит ваш пайплайн. По завершении курса вы будете знать, как довести пайплайн от прототипа до готового решения, пригодного для работы в продакшене.
Предварительные требования
Программа
План курса
1
Создание DAG с TaskFlow и XCom
Вы познакомитесь с компонентами Airflow, создадите первые DAG с помощью TaskFlow API и научитесь передавать данные между задачами через XCom.
- Основные концепции Airflow50 XP
- Создание минимального DAG с TaskFlow100 XP
- Сопоставление компонентов Airflow с их ролями100 XP
- TaskFlow API50 XP
- Преобразование классического DAG в TaskFlow100 XP
- Добавление задачи и настройка зависимостей100 XP
- Изучение пайплайна в интерфейсе Airflow50 XP
- Передача данных между задачами50 XP
- Возврат данных из функции TaskFlow100 XP
- Подключение классического оператора к задаче TaskFlow100 XP
- Ограничения XCom50 XP
2
Динамические и data-aware пайплайны
Далее вы запустите задачи параллельно с помощью динамического маппинга задач, настроите планирование DAG на основе данных с использованием Assets и добавите шаги ручного подтверждения.
3
Подготовка DAG к продакшену
В этой главе вы научитесь обрабатывать сбои с помощью повторных попыток и колбэков, экономить ресурсы с deferrable-сенсорами и тестировать DAG на трёх уровнях.
4
Построение SQL ETL-пайплайна для продакшена
В заключительной главе вы построите SQL ETL-пайплайн на DuckDB, настроите планирование с учётом партиций через Asset Partitions и встроите проверки качества данных.
Построение пайплайнов данных с Airflow
Курс
завершён
