Przejdź do treści głównej

Dom Data Engineering

course

Introduction to Apache Airflow in Python

ZaawansowanyPoziom umiejętności

Zaktualizowano 06.2025

Learn how to implement and schedule data engineering workflows.

Rozpocznij Kurs Za Darmo

AirflowData Engineering4 godz.16 videos55 Exercises4,050 PD61,143Oświadczenie o osiągnięciu

Utwórz bezpłatne konto

Lub

Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności oraz fakt, że Twoje dane są przechowywane w USA.

Uwielbiany przez pracowników tysięcy firm

Szkolenie 2 lub więcej osób?

Wypróbuj DataCamp for Business

Opis kursu

Now Updated to Apache Airflow 2.7 - Delivering data on a schedule can be a manual process. You write scripts, add complex cron tasks, and try various ways to meet an ever-changing set of requirements—and it's even trickier to manage everything when working with teammates. Apache Airflow can remove this headache by adding scheduling, error handling, and reporting to your workflows. In this course, you'll master the basics of Apache Airflow and learn how to implement complex data engineering pipelines in production. You'll also learn how to use Directed Acyclic Graphs (DAGs), automate data engineering workflows, and implement data engineering tasks in an easy and repeatable fashion—helping you to maintain your sanity.

Wymagania wstępne

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Testing a task in Airflow

Examining Airflow commands

Airflow DAGs

Defining a simple DAG

Working with DAGs and the Airflow shell

Troubleshooting DAG creation

Airflow web interface

Starting the Airflow webserver

Navigating the Airflow UI

Examining DAGs with the Airflow UI

Rozpocznij Rozdział

2

Implementing Airflow DAGs

What’s up DAG? Now it’s time to learn the basics of implementing Airflow DAGs. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Defining a BashOperator task

Multiple BashOperators

Airflow tasks

Define order of BashOperators

Determining the order of tasks

Troubleshooting DAG dependencies

Additional operators

Using the PythonOperator

More PythonOperators

EmailOperator and dependencies

Airflow scheduling

Schedule a DAG via Python

Deciphering Airflow schedules

Troubleshooting DAG runs

Rozpocznij Rozdział

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensors

Sensors vs operators

Sensory deprivation

Airflow executors

Determining the executor

Executor implications

Debugging and troubleshooting in Airflow

DAGs in the bag

Missing DAG

SLAs and reporting in Airflow

Defining an SLA

Defining a task SLA

Generate and email a report

Adding status emails

Rozpocznij Rozdział

4

Building production pipelines in Airflow

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Working with templates

Creating a templated BashOperator

Templates with multiple arguments

More templates

Using lists with templates

Understanding parameter options

Sending templated emails

Define a BranchPythonOperator

Branch troubleshooting

Creating a production pipeline

Creating a production pipeline #1

Creating a production pipeline #2

Adding the final changes to your pipeline

Congratulations!

Rozpocznij Rozdział

Introduction to Apache Airflow in Python

Kurs
ukończony

Zdobądź oświadczenie o osiągnięciach

Dodaj te dane uwierzytelniające do swojego profilu na LinkedIn, CV lub życiorysu
Udostępnij w mediach społecznościowych i w swojej ocenie okresowejZapisz Się Teraz

Dołącz do nas 19 milionów uczniów i zacznij Introduction to Apache Airflow in Python już dziś!

Utwórz bezpłatne konto

Lub

Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności oraz fakt, że Twoje dane są przechowywane w USA.

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.