Accéder au contenu principal

Accueil Data Engineering

Cours

Introduction à Apache Airflow en Python

AvancéNiveau de compétence

Actualisé 06/2025

Optimisez vos flux d’ingénierie des données en apprenant à les mettre en œuvre et à les planifier efficacement.

Commencer Le Cours Gratuitement

AirflowData Engineering4 h16 vidéos55 Exercices4,050 XP61,196Certificat de réussite.

Créez votre compte gratuit

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données seront hébergées aux États-Unis.

Apprécié par des utilisateurs provenant de milliers d'entreprises

Former 2 personnes ou plus ?

Essayez DataCamp for Business

Description du cours

Mise à jour vers Apache Airflow 2.7 – Livrer des données selon un calendrier peut vite devenir manuel et fastidieux. Vous écrivez des scripts, ajoutez des tâches cron complexes et essayez différentes approches pour répondre à des exigences qui évoluent sans cesse — et c’est encore plus délicat à gérer en équipe. Apache Airflow peut vous simplifier la vie en intégrant la planification, la gestion des erreurs et le reporting à vos workflows. Dans ce cours, vous allez maîtriser les bases d’Apache Airflow et apprendre à mettre en production des pipelines de data engineering complexes. Vous verrez aussi comment utiliser des graphes acycliques orientés (DAG), automatiser des workflows de data engineering et implémenter des tâches de manière simple et reproductible — de quoi préserver votre sérénité.

Prérequis

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Testing a task in Airflow

Examining Airflow commands

Airflow DAGs

Defining a simple DAG

Working with DAGs and the Airflow shell

Troubleshooting DAG creation

Airflow web interface

Starting the Airflow webserver

Navigating the Airflow UI

Examining DAGs with the Airflow UI

Commencer Le Chapitre

2

Implementing Airflow DAGs

What’s up DAG? Now it’s time to learn the basics of implementing Airflow DAGs. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Defining a BashOperator task

Multiple BashOperators

Airflow tasks

Define order of BashOperators

Determining the order of tasks

Troubleshooting DAG dependencies

Additional operators

Using the PythonOperator

More PythonOperators

EmailOperator and dependencies

Airflow scheduling

Schedule a DAG via Python

Deciphering Airflow schedules

Troubleshooting DAG runs

Commencer Le Chapitre

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensors

Sensors vs operators

Sensory deprivation

Airflow executors

Determining the executor

Executor implications

Debugging and troubleshooting in Airflow

DAGs in the bag

Missing DAG

SLAs and reporting in Airflow

Defining an SLA

Defining a task SLA

Generate and email a report

Adding status emails

Commencer Le Chapitre

4

Building production pipelines in Airflow

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Working with templates

Creating a templated BashOperator

Templates with multiple arguments

More templates

Using lists with templates

Understanding parameter options

Sending templated emails

Define a BranchPythonOperator

Branch troubleshooting

Creating a production pipeline

Creating a production pipeline #1

Creating a production pipeline #2

Adding the final changes to your pipeline

Congratulations!

Commencer Le Chapitre

Introduction à Apache Airflow en Python

Cours
terminé

Obtenez un certificat de réussite

Ajoutez cette certification à votre profil LinkedIn, à votre CV ou à votre portfolio
Partagez-la sur les réseaux sociaux et dans votre évaluation de performanceS'inscrire Maintenant

Rejoignez plus de 19 millions d'utilisateurs et commencez Introduction à Apache Airflow en Python dès aujourd'hui !

Créez votre compte gratuit

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données seront hébergées aux États-Unis.

Apprenez où que vous soyez avec l'application DataCamp

Progressez où que vous soyez grâce à nos cours conçus pour mobile et à nos défis quotidiens de 5 minutes.