Ga naar hoofdinhoud

Home Data Engineering

Cursus

Introductie tot Apache Airflow in Python

GevorderdVaardigheidsniveau

Bijgewerkt 05-2026

Leer hoe u data-engineeringworkflows implementeert en plant.

Start Cursus Kosteloos

AirflowData Engineering

4 u

16 videos

57 Opdrachten

4,000 XP

62,205

Bewijs van Prestatie

Geliefd bij leerlingen van duizenden bedrijven

Een team trainen?

Probeer voor bedrijven

Cursusbeschrijving

Nu bijgewerkt naar Apache Airflow 3.1.6 - Gegevens volgens een schema leveren kan handmatig en omslachtig zijn. Je schrijft scripts, voegt complexe cron-taken toe en probeert op allerlei manieren te voldoen aan steeds veranderende eisen—en samenwerken met teamgenoten maakt het nóg lastiger om alles te beheren. Apache Airflow neemt je deze zorg uit handen door planning, foutafhandeling en rapportage aan je workflows toe te voegen. In deze cursus leer je de basis van Apache Airflow en hoe je complexe data-engineeringpijplijnen in productie implementeert. Je leert ook hoe je Directed Acyclic Graphs (Dags) gebruikt, data-engineeringworkflows automatiseert en data-engineeringtaken eenvoudig en herhaalbaar uitvoert—zodat je het overzicht bewaart.

Vereisten

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Hoofdstuk Beginnen

2

Building Dags in Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Decorating a task

Defining a BashOperator with @task.bash

Define order of Tasks

More @tasks

Scheduling Dags

Schedule a Dag via Python

Deciphering Airflow schedules

Troubleshooting Dag runs

Passing data between tasks with XCom

Passing data with XCom

XCom variables

Airflow Sensors

Determining the order of tasks

Creating a FileSensor

Sensory Deprivation

Hoofdstuk Beginnen

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Monitoring, Alerting, and Callbacks

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

Missing Dag

Hoofdstuk Beginnen

4

Controlling Dag Logic

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Hoofdstuk Beginnen

Introductie tot Apache Airflow in Python

Cursus
voltooid

Verdien een prestatieverklaring

Voeg deze referentie toe aan je LinkedIn-profiel, cv of curriculum vitae
Deel het op sociale media en in je functioneringsgesprekSchrijf Je Nu in

Sluit je aan bij meer dan 19 miljoen leerlingen en start vandaag nog met Introductie tot Apache Airflow in Python!

Ontwikkel je datavaardigheden met DataCamp voor Mobiel

Maak vooruitgang onderweg met onze mobiele cursussen en dagelijkse 5-minuten programmeeruitdagingen.