After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Zaktualizowano do Apache Airflow 3.1.6 – dostarczanie danych według harmonogramu bywa żmudnym zadaniem. Piszesz skrypty, konfigurujesz skomplikowane zadania cron i próbujesz różnych sposobów, żeby sprostać ciągle zmieniającym się wymaganiom – a zarządzanie tym wszystkim w zespole to jeszcze większe wyzwanie. Apache Airflow eliminuje ten problem, dodając do twoich przepływów pracy harmonogramowanie, obsługę błędów i raportowanie. W tym kursie opanujesz podstawy Apache Airflow i nauczysz się budować złożone potoki inżynierii danych gotowe do wdrożenia produkcyjnego. Dowiesz się też, jak korzystać z grafów acyklicznych (DAG-ów), automatyzować przepływy pracy związane z inżynierią danych i realizować zadania w prosty, powtarzalny sposób – tak, żeby zachować porządek i kontrolę.
Wymagania wstępne
Program kursu
Plan kursu
1
Wprowadzenie do Airflow
W tym rozdziale poznasz komponenty Apache Airflow i dowiesz się, jak oraz dlaczego warto z nich korzystać.
- Wprowadzenie do Apache Airflow50 XP
- Licznik DAG-ów50 XP
- Uruchamianie pierwszego DAG-a50 XP
- DAG-i w Airflow50 XP
- Tworzenie prostego DAG-a100 XP
- Praca z DAG-ami i powłoką Airflow50 XP
- Analiza poleceń Airflow50 XP
- Testowanie zadania w Airflow50 XP
- Interfejs webowy Airflow50 XP
- Nawigacja po interfejsie Airflow50 XP
- Przeglądanie DAG-ów w interfejsie Airflow50 XP
- Błędy Dag50 XP
2
Budowanie DAG-ów w Airflow
Czas poznać podstawy implementacji DAG-ów w Airflow. Dzięki praktycznym ćwiczeniom nauczysz się konfigurować i wdrażać operatory, zadania i harmonogramy.
3
Utrzymanie i monitorowanie przepływów pracy w Airflow
W tym rozdziale dowiesz się, jak oszczędzać czas dzięki komponentom Airflow, takim jak sensory i executory, a także jak monitorować przepływy pracy i rozwiązywać problemy.
4
Sterowanie logiką DAG-ów
Czas połączyć wszystko w całość. W tym ostatnim rozdziale zastosujesz zdobytą wiedzę, żeby zbudować produkcyjny przepływ pracy w Airflow.
Wprowadzenie do Apache Airflow w Pythonie
Kurs
ukończony
