After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Chcesz rozwinąć swoje umiejętności w Airflow? Ten kurs oparty jest na Airflow 3.2, dzięki czemu nauczysz się najnowszych rozwiązań. Poznasz tworzenie DAG-ów z TaskFlow API, harmonogramowanie oparte na danych przy użyciu Assets i nowych Asset Partitions, a także zapewnisz niezawodność potoków dzięki ponowieniom prób, callbackom i testom.W ostatnim rozdziale zbudujesz kompletny potok SQL ETL na DuckDB i dodasz testy jakości danych bezpośrednio w Airflow — bez żadnych zewnętrznych bibliotek — tak aby dane produkowane przez potok były wiarygodne. Po ukończeniu kursu będziesz wiedzieć, jak przekształcić prototyp potoku w rozwiązanie gotowe do uruchomienia w środowisku produkcyjnym.
Wymagania wstępne
Program kursu
Plan kursu
1
Tworzenie DAG-ów z TaskFlow i XCom
Zaczniesz od poznania komponentów Airflow, napisania pierwszych DAG-ów z TaskFlow API i przesyłania danych między taskami za pomocą XCom.
- Podstawowe koncepcje Airflow50 XP
- Tworzenie minimalnego DAG-a z TaskFlow100 XP
- Dopasuj komponenty Airflow do ich ról100 XP
- TaskFlow API50 XP
- Konwersja klasycznego DAG-a do TaskFlow100 XP
- Dodawanie zadania i łączenie zależności100 XP
- Przeglądanie potoku w interfejsie Airflow50 XP
- Przekazywanie danych między zadaniami50 XP
- Zwracanie danych z funkcji TaskFlow100 XP
- Łączenie klasycznego operatora z zadaniem TaskFlow100 XP
- Ograniczenia XCom50 XP
2
Dynamiczne potoki z harmonogramowaniem na podstawie danych
Następnie uruchomisz taski równolegle dzięki dynamicznemu mapowaniu tasków, ustawisz harmonogram DAG-ów na podstawie danych przy użyciu Assets i dodasz kroki wymagające ręcznego zatwierdzenia.
3
Przygotowanie DAG-ów do środowiska produkcyjnego
W tym rozdziale nauczysz się obsługiwać błędy za pomocą ponowień i callbacków, oszczędzać zasoby dzięki operatorom deferrable i testować DAG-i na trzech poziomach.
4
Budowanie produkcyjnego potoku SQL ETL
W ostatnim rozdziale zbudujesz potok SQL ETL na DuckDB, dodasz harmonogramowanie uwzględniające partycje za pomocą Asset Partitions i wbudujesz testy jakości danych.
Budowanie potoków danych z Airflow
Kurs
ukończony
