Nach diesen Kursen fühle ich mich sicher, professionelle Visualisierungen und Dashboards zu erstellen.
Shoebur RahmanBeschaffungsspezialist, Giz Bangladesh
Kursbeschreibung
Du willst deine Airflow-Skills ausbauen? Dieser Kurs nutzt Airflow 3.2 – so lernst du den aktuellsten Weg, Dinge zu erledigen. Du schreibst Dags mit der TaskFlow API, planst sie datenbasiert mit Assets und den neuen Asset Partitions und machst sie mit Retries, Callbacks und Tests zuverlässig.Im letzten Kapitel baust du eine End-to-End-SQL-ETL-Pipeline auf DuckDB und fügst Datenqualitätsprüfungen direkt in Airflow hinzu – ganz ohne Third-Party-Bibliotheken –, damit die von deiner Pipeline erzeugten Daten vertrauenswürdig bleiben. Am Ende weißt du, wie du eine Pipeline vom Prototyp zu etwas bringst, das du wirklich in Produktion betreiben kannst.
Voraussetzungen
Lernprogramm
Kursübersicht
1
Dags mit TaskFlow und XCom erstellen
Du lernst die Airflow-Komponenten kennen, schreibst deine ersten Dags mit der TaskFlow API und übergibst Daten zwischen Tasks mit XCom.
- Airflow: zentrale Konzepte50 XP
- Einen minimalen TaskFlow-Dag schreiben100 XP
- Airflow-Komponenten ihren Aufgaben zuordnen100 XP
- Die TaskFlow-API50 XP
- Eine klassische Dag auf TaskFlow umstellen100 XP
- Eine Aufgabe hinzufügen und Abhängigkeiten verbinden100 XP
- Eine Pipeline in der Airflow-UI erkunden50 XP
- Daten zwischen Tasks austauschen50 XP
- Daten aus einer TaskFlow-Funktion zurückgeben100 XP
- Einen klassischen Operator mit einer TaskFlow-Task verbinden100 XP
- XCom-Einschränkungen verstehen50 XP
2
Dynamische und datenbewusste Pipelines
Anschließend führst du Tasks parallel mit Dynamic Task Mapping aus, planst Dags datenbasiert mit Assets und fügst Schritte zur menschlichen Freigabe hinzu.
3
Dags für die Produktion vorbereiten
In diesem Kapitel gehst du mit Retries und Callbacks gegen Fehler vor, sparst Ressourcen mit deferrable Sensors und testest deine Dags auf drei Ebenen.
4
Eine produktionsreife SQL-ETL-Pipeline bauen
Im letzten Kapitel baust du eine SQL-ETL-Pipeline auf DuckDB, ergänzt partitionsbewusste Planung mit Asset Partitions und verankerst Datenqualitätsprüfungen.
Data-Pipelines mit Airflow aufbauen
Kurs
abgeschlossen
