Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Vous voulez aller plus loin avec Airflow ? Ce cours utilise Airflow 3.2, vous apprendrez donc les méthodes les plus récentes. Vous écrirez des Dags avec la TaskFlow API, les planifierez en fonction des données à l'aide des Assets et des nouveaux Asset Partitions, et les rendrez fiables grâce aux réessais, aux rappels et aux tests.Dans le dernier chapitre, vous construirez un pipeline SQL ETL de bout en bout sur DuckDB et ajouterez des contrôles de qualité des données directement dans Airflow, sans aucune bibliothèque tierce, afin que les données produites par votre pipeline restent fiables. À la fin, vous saurez passer d'un prototype à un pipeline réellement exécutable en production.
Prérequis
Programme de formation
Plan du cours
1
Écrire des Dags avec TaskFlow et XCom
Vous commencerez par découvrir les composants d'Airflow, écrire vos premiers Dags avec la TaskFlow API et faire circuler des données entre tâches avec XCom.
- Concepts clés d'Airflow50 XP
- Écrire un Dag TaskFlow minimal100 XP
- Faire correspondre les composants d'Airflow à leurs rôles100 XP
- L'API TaskFlow50 XP
- Convertir un Dag classique en TaskFlow100 XP
- Ajouter une tâche et relier les dépendances100 XP
- Explorer un pipeline dans l'interface Airflow50 XP
- Partager des données entre les tâches50 XP
- Renvoyer des données depuis une fonction TaskFlow100 XP
- Connecter un opérateur classique à une tâche TaskFlow100 XP
- Comprendre les limites de XCom50 XP
2
Des pipelines dynamiques et sensibles aux données
Ensuite, vous exécuterez des tâches en parallèle avec le mappage dynamique des tâches, planifierez des Dags selon les données avec les Assets et ajouterez des étapes de validation humaine.
3
Préparer des Dags pour la production
Dans ce chapitre, vous gérerez les échecs avec des réessais et des rappels, économiserez des ressources avec des capteurs différables et testerez vos Dags à trois niveaux.
4
Construire un pipeline SQL ETL de production
Dans ce dernier chapitre, vous créerez un pipeline SQL ETL sur DuckDB, ajouterez une planification tenant compte des partitions avec Asset Partitions et intégrerez des contrôles de qualité des données.
Créer des pipelines de données avec Airflow
Cours
terminé
