Name: Введение в Apache Airflow на Python
Rating: 4.806572769953052 (2130 reviews)

Описание курса

Обновлено до Apache Airflow 3.1.6. Доставка данных по расписанию нередко превращается в рутину: приходится писать скрипты, настраивать сложные задачи cron и постоянно адаптироваться к меняющимся требованиям — а в командной работе всё это становится ещё сложнее. Apache Airflow решает эту проблему, добавляя в ваши рабочие процессы планирование, обработку ошибок и отчётность. В этом курсе вы освоите основы Apache Airflow и научитесь создавать сложные пайплайны обработки данных для использования в продакшене. Вы также узнаете, как работать с направленными ациклическими графами (DAG), автоматизировать рабочие процессы и реализовывать задачи обработки данных просто и воспроизводимо.

Предварительные требования

Intermediate Python Introduction to Shell

Программа

Структура курса

Введение в Airflow

В этой главе вы получите полное представление о компонентах Apache Airflow и узнаете, как и зачем их использовать.

Начать главу

Создание DAG в Airflow

Пора перейти к практике и освоить основы создания DAG в Airflow. В ходе практических заданий вы научитесь настраивать и запускать операторы, задачи и расписания.

Начать главу

Обслуживание и мониторинг рабочих процессов Airflow

В этой главе вы узнаете, как экономить время с помощью компонентов Airflow — таких как сенсоры и исполнители, — а также научитесь отслеживать и устранять неполадки в рабочих процессах.

Начать главу

Управление логикой DAG

Соберём всё воедино. В этой завершающей главе вы применёте всё изученное и создадите полноценный рабочий процесс Airflow для использования в продакшене.