Sariți la conținutul principal

Acasă Data Engineering

Curs

Introducere în Apache Airflow în Python

AvansatNivel de competențe

Actualizat 05.2026

Învață cum să implementezi și să programezi fluxuri de lucru de data engineering.

Începe cursul gratuit

AirflowData Engineering

4 h

16 videoclipuri

57 Exerciții

4,000 XP

62,354

Certificat de realizare

Îndrăgit de cursanți din mii de companii

Formare pentru o echipă?

Încearcă pentru afaceri

Descrierea cursului

Acum actualizat la Apache Airflow 3.1.6 – Livrarea datelor după un program poate fi un proces manual. Scrii scripturi, adaugi sarcini cron complexe și încerci diverse metode pentru a satisface cerințe în continuă schimbare – iar gestionarea tuturor acestora în echipă devine și mai dificilă. Apache Airflow elimină această bătaie de cap prin adăugarea de planificare, gestionare a erorilor și raportare în fluxurile tale de lucru. În acest curs, vei stăpâni elementele de bază ale Apache Airflow și vei învăța cum să implementezi pipeline-uri complexe de inginerie a datelor în producție. Vei învăța, de asemenea, cum să folosești Grafuri Aciclice Direcționate (DAG-uri), să automatizezi fluxuri de lucru de inginerie a datelor și să implementezi sarcini de inginerie a datelor într-un mod simplu și repetabil – păstrându-ți astfel claritatea minții.

Cerințe prealabile

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Începe capitolul

2

Building Dags in Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Decorating a task

Defining a BashOperator with @task.bash

Define order of Tasks

More @tasks

Scheduling Dags

Schedule a Dag via Python

Deciphering Airflow schedules

Troubleshooting Dag runs

Passing data between tasks with XCom

Passing data with XCom

XCom variables

Airflow Sensors

Determining the order of tasks

Creating a FileSensor

Sensory Deprivation

Începe capitolul

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Monitoring, Alerting, and Callbacks

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

Missing Dag

Începe capitolul

4

Controlling Dag Logic

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Începe capitolul

Introducere în Apache Airflow în Python

Curs
finalizat

Obține diploma de absolvire

Adaugă această acreditare la profilul tău LinkedIn, CV sau rezumat
Distribuie pe rețelele de socializare și în evaluarea ta de performanțăÎnscrie-te acum

Alătură-te celor peste 19 de milioane de cursanți și începe Introducere în Apache Airflow în Python astăzi!

Dezvoltați-vă abilitățile de gestionare a datelor cu DataCamp pentru mobil

Fă progrese din mers cu cursurile noastre mobile și provocările zilnice de programare de 5 minute.