Introduction à Apache Airflow en Python
Apprenez à mettre en œuvre et à planifier des flux de travail d'ingénierie des données.
Commencer Le Cours Gratuitement4 heures16 vidéos55 exercices42 203 apprenantsDéclaration de réalisation
Créez votre compte gratuit
ou
En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.Formation de 2 personnes ou plus ?
Essayer DataCamp for BusinessApprécié par les apprenants de milliers d'entreprises
Description du cours
Maintenant mis à jour avec Apache Airflow 2.7 - Fournir des données selon un calendrier peut être un processus manuel. Vous écrivez des scripts, ajoutez des tâches cron complexes et tentez de répondre à un ensemble d'exigences en constante évolution - et il est encore plus difficile de tout gérer lorsque vous travaillez avec des coéquipiers. Apache Airflow peut vous débarrasser de ce casse-tête en ajoutant des fonctions de planification, de gestion des erreurs et de reporting à vos workflows. Dans ce cours, vous maîtriserez les bases d'Apache Airflow et apprendrez à mettre en œuvre des pipelines d'ingénierie de données complexes en production. Vous apprendrez également à utiliser les graphes acycliques dirigés (DAG), à automatiser les flux de travail d'ingénierie des données et à mettre en œuvre des tâches d'ingénierie des données de manière simple et reproductible, ce qui vous permettra de garder la tête froide.
Formation de 2 personnes ou plus ?
Donnez à votre équipe l’accès à la plateforme DataCamp complète, y compris toutes les fonctionnalités.Dans les titres suivants
- 1
Introduction à la circulation de l'air
GratuitDans ce chapitre, vous obtiendrez une introduction complète aux composants d'Apache Airflow et apprendrez comment et pourquoi vous devez les utiliser.
Introduction à Apache Airflow50 xpTest d'une tâche dans Airflow50 xpExamen des commandes de débit d'air50 xpDébit d'air DAGs50 xpDéfinir un simple DAG100 xpTravailler avec DAGs et le shell Airflow50 xpDépannage de la création de DAG100 xpInterface web Airflow50 xpDémarrer le serveur web Airflow50 xpNaviguer dans le flux d'air UI50 xpExaminer DAGs avec le flux d'air UI50 xp - 2
Mise en œuvre du flux d'air DAGs
Quoi de neuf sur DAG? Il est maintenant temps d'apprendre les bases de la mise en œuvre d'Airflow DAGs. Grâce à des activités pratiques, vous apprendrez à configurer et à déployer des opérateurs, des tâches et des planifications.
Opérateurs de flux d'air50 xpDéfinition d'une tâche BashOperator100 xpPlusieurs BashOperators100 xpTâches liées à la circulation de l'air50 xpDéfinir l'ordre des BashOperators100 xpDéterminer l'ordre des tâches100 xpRésolution des problèmes liés aux dépendances de DAG50 xpOpérateurs supplémentaires50 xpUtilisation de l'opérateur Python100 xpPlus d'opérateurs Python100 xpEmailOperator et dépendances100 xpProgrammation du débit d'air50 xpProgrammer une DAG via Python100 xpDécryptage des schémas de débit d'air100 xpRésolution des problèmes liés à l'exécution de DAG50 xp - 3
Maintien et suivi des flux de travail Airflow
Dans ce chapitre, vous apprendrez à gagner du temps en utilisant les composants Airflow tels que les capteurs et les exécuteurs lors du contrôle et du dépannage des flux de travail Airflow.
Capteurs de débit d'air50 xpCapteurs et opérateurs100 xpPrivation sensorielle50 xpExécutants du flux d'air50 xpDétermination de l'exécuteur testamentaire50 xpImplications pour l'exécuteur testamentaire100 xpDébogage et dépannage dans Airflow50 xpDAGdans le sac50 xpDisparu DAG100 xpSLAet les rapports dans Airflow50 xpDéfinir un SLA100 xpDéfinir une tâche SLA100 xpGénérer un rapport et l'envoyer par courrier électronique100 xpAjout de courriels d'état100 xp - 4
Construire des pipelines de production dans Airflow
Mettez tout cela ensemble. Dans ce dernier chapitre, vous appliquerez tout ce que vous avez appris pour construire un flux de production de qualité dans Airflow.
Travailler avec des modèles50 xpCréation d'un BashOperator modèle100 xpModèles avec plusieurs arguments100 xpPlus de modèles50 xpUtilisation de listes avec des modèles100 xpComprendre les options des paramètres50 xpEnvoi de courriers électroniques types100 xpBranchement50 xpDéfinir un BranchPythonOperator100 xpDépannage des succursales50 xpCréation d'un pipeline de production50 xpCréation d'une filière de production #1100 xpCréation d'un pipeline de production #2100 xpAjouter les dernières modifications à votre pipeline100 xpFélicitations !50 xp
Formation de 2 personnes ou plus ?
Donnez à votre équipe l’accès à la plateforme DataCamp complète, y compris toutes les fonctionnalités.Dans les titres suivants
collaborateurs
Qu’est-ce que les autres apprenants ont à dire ?
Inscrivez-vous 15 millions d’apprenants et commencer Introduction à Apache Airflow en Python Aujourd’hui!
Créez votre compte gratuit
ou
En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.