Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Mise à jour vers Apache Airflow 3.1.6 – Livrer des données selon un planning peut vite devenir un processus manuel. Vous écrivez des scripts, ajoutez des tâches cron complexes et tentez diverses approches pour répondre à des besoins qui évoluent sans cesse — et c’est encore plus difficile à gérer en équipe. Apache Airflow élimine ce casse-tête en ajoutant la planification, la gestion des erreurs et le reporting à vos workflows. Dans ce cours, vous maîtriserez les bases d’Apache Airflow et apprendrez à mettre en production des pipelines de data engineering complexes. Vous verrez aussi comment utiliser des graphes orientés acycliques (DAGs), automatiser des workflows de data engineering et implémenter des tâches de manière simple et reproductible — de quoi préserver votre sérénité.
Prérequis
Programme de formation
Plan du cours
1
Introduction à Airflow
Dans ce chapitre, vous découvrirez en profondeur les composants d’Apache Airflow et apprendrez comment et pourquoi les utiliser.
- Introduction à Apache Airflow50 XP
- Compteur de Dags50 XP
- Exécuter votre premier Dag50 XP
- DAGs Airflow50 XP
- Créer un Dag simple100 XP
- Manipuler les Dags et le shell Airflow50 XP
- Examiner les commandes Airflow50 XP
- Tester une tâche dans Airflow50 XP
- Interface web d’Airflow50 XP
- Naviguer dans l’interface Airflow50 XP
- Examiner des Dags avec l’interface Airflow50 XP
- Erreurs de Dag50 XP
2
Créer des DAGs dans Airflow
Quoi de neuf, DAG ? Il est temps d’apprendre les bases de l’implémentation des DAGs Airflow. À travers des activités pratiques, vous verrez comment configurer et déployer des opérateurs, des tâches et la planification.
3
Maintenir et surveiller les workflows Airflow
Dans ce chapitre, vous apprendrez à gagner du temps grâce à des composants Airflow comme les capteurs et les exécuteurs, tout en surveillant et en dépannant vos workflows Airflow.
4
Contrôler la logique des DAGs
Rassemblez le tout. Dans ce dernier chapitre, vous mettrez en pratique tout ce que vous avez appris pour construire un workflow de qualité production dans Airflow.
Introduction à Apache Airflow en Python
Cours
terminé
