Przejdź do głównej treści

Strona główna Data Engineering

Kurs

Wprowadzenie do Apache Airflow w Pythonie

ZaawansowanyPoziom umiejętności

Zaktualizowano 05.2026

Naucz się wdrażać i planować harmonogramy przepływów pracy inżynierii danych.

Zacznij kurs za darmo

AirflowData Engineering

4 godz.

16 filmów

57 Ćwiczeń

4,000 XP

62,972

Zaświadczenie o ukończeniu

Uwielbiany przez kursantów z tysięcy firm

Szkolisz zespół?

Wypróbuj dla firm

Opis kursu

Zaktualizowano do Apache Airflow 3.1.6 – dostarczanie danych według harmonogramu bywa żmudnym zadaniem. Piszesz skrypty, konfigurujesz skomplikowane zadania cron i próbujesz różnych sposobów, żeby sprostać ciągle zmieniającym się wymaganiom – a zarządzanie tym wszystkim w zespole to jeszcze większe wyzwanie. Apache Airflow eliminuje ten problem, dodając do twoich przepływów pracy harmonogramowanie, obsługę błędów i raportowanie. W tym kursie opanujesz podstawy Apache Airflow i nauczysz się budować złożone potoki inżynierii danych gotowe do wdrożenia produkcyjnego. Dowiesz się też, jak korzystać z grafów acyklicznych (DAG-ów), automatyzować przepływy pracy związane z inżynierią danych i realizować zadania w prosty, powtarzalny sposób – tak, żeby zachować porządek i kontrolę.

Wymagania wstępne

Intermediate Python Introduction to Shell

1

Wprowadzenie do Airflow

W tym rozdziale poznasz komponenty Apache Airflow i dowiesz się, jak oraz dlaczego warto z nich korzystać.

Wprowadzenie do Apache Airflow

Licznik DAG-ów

Uruchamianie pierwszego DAG-a

DAG-i w Airflow

Tworzenie prostego DAG-a

Praca z DAG-ami i powłoką Airflow

Analiza poleceń Airflow

Testowanie zadania w Airflow

Interfejs webowy Airflow

Nawigacja po interfejsie Airflow

Przeglądanie DAG-ów w interfejsie Airflow

Błędy Dagów

Zacznij rozdział

2

Budowanie DAG-ów w Airflow

Czas poznać podstawy implementacji DAG-ów w Airflow. Dzięki praktycznym ćwiczeniom nauczysz się konfigurować i wdrażać operatory, zadania i harmonogramy.

Operatory Airflow

Dekorowanie zadania

Definiowanie BashOperatora za pomocą @task.bash

Definiowanie kolejności zadań

Więcej dekoratorów @task

Planowanie DAG-ów

Harmonogramowanie DAG-a w Pythonie

Rozszyfruj harmonogramy Airflow

Rozwiązywanie problemów z uruchomieniami DAG-a

Przekazywanie danych między zadaniami za pomocą XCom

Przekazywanie danych za pomocą XCom

Zmienne XCom

Sensory Airflow

Określanie kolejności zadań

Tworzenie FileSensora

Deprywacja sensoryczna

Zacznij rozdział

3

Utrzymanie i monitorowanie przepływów pracy w Airflow

W tym rozdziale dowiesz się, jak oszczędzać czas dzięki komponentom Airflow, takim jak sensory i executory, a także jak monitorować przepływy pracy i rozwiązywać problemy.

Monitorowanie, alerty i wywołania zwrotne

Implementacja funkcji zwrotnej

Implementacja SmtpNotifier

Co kryją logi?

Szablony z Jinja

Szablony Jinja w praktyce

Zmiana szablonu

Zmienne Airflow

Odpowiedź to zmienna

Odczytywanie zmiennej w Pythonie

Nieprawidłowe zmienne

Debugowanie i rozwiązywanie problemów w Airflow

Rozwiązywanie problemów z DAG-iem

Zaginiony DAG

Zacznij rozdział

4

Sterowanie logiką DAG-ów

Czas połączyć wszystko w całość. W tym ostatnim rozdziale zastosujesz zdobytą wiedzę, żeby zbudować produkcyjny przepływ pracy w Airflow.

Wyzwalacze i odporność na błędy

Implementacja reguły wyzwalania

Dodawanie ponownych prób

Wyzwalanie podrzędnego DAGa

Rozgałęzianie

Definiowanie @task.branch

Rozwiązywanie problemów z rozgałęzianiem

Operator HITL

Dodawanie ludzkiego zatwierdzenia

Zadanie ApprovalOperator

Tworzenie potoku produkcyjnego

Konfigurowanie potoku ETL dla działu sprzedaży

Dodawanie miesięcznego rozgałęzienia

Dodawanie bramki zatwierdzenia przez człowieka

Gratulacje!

Zacznij rozdział

Wprowadzenie do Apache Airflow w Pythonie

Kurs
ukończony

Zdobądź zaświadczenie o ukończeniu

Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysu
Udostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz

Dołącz do ponad 19 milionów kursantów i zacznij Wprowadzenie do Apache Airflow w Pythonie już dziś!

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.