After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Оновлено до Apache Airflow 3.1.6. Постачання даних за розкладом може вимагати ручної роботи. Ви пишете скрипти, додаєте складні завдання cron і шукаєте різні способи задовольнити постійно мінливі вимоги — і ще складніше керувати всім цим у команді. Apache Airflow знімає цей головний біль, додаючи планування, обробку помилок і звітність до ваших робочих процесів. У цьому курсі ви опanuєте основи Apache Airflow і навчитеся впроваджувати складні пайплайни інженерії даних у продакшені. Ви також дізнаєтеся, як використовувати спрямовані ациклічні графи (DAG), автоматизувати робочі процеси інженерії даних і реалізовувати завдання зручно та повторювано — щоб зберегти контроль над процесом.
Попередні вимоги
Навчальний план
Зміст курсу
1
Вступ до Airflow
У цьому розділі ви отримаєте повний вступ до компонентів Apache Airflow і дізнаєтеся, як і навіщо їх використовувати.
- Вступ до Apache Airflow50 XP
- Лічильник Dag50 XP
- Запуск вашого першого Dag50 XP
- Airflow Dags50 XP
- Створення простого Dag100 XP
- Робота з Dags і оболонкою Airflow50 XP
- Ознайомлення з командами Airflow50 XP
- Тестування завдання в Airflow50 XP
- Вебінтерфейс Airflow50 XP
- Навігація в інтерфейсі Airflow50 XP
- Дослідження Dag'ів за допомогою інтерфейсу Airflow50 XP
- Помилки Dag50 XP
2
Побудова DAG в Airflow
Що там, DAG? Час вивчити основи реалізації DAG в Airflow. На практиці ви навчитеся налаштовувати й запускати оператори, завдання та планування.
3
Підтримка й моніторинг робочих процесів Airflow
У цьому розділі ви дізнаєтеся, як заощаджувати час за допомогою компонентів Airflow, зокрема сенсорів і виконавців, одночасно відстежуючи та усуваючи несправності в робочих процесах Airflow.
4
Керування логікою DAG
Об'єднаймо все разом. У фінальному розділі ви застосуєте все вивчене, щоб створити робочий процес у Airflow, готовий до продакшену.
Вступ до Apache Airflow на Python
Курс
завершено
