Ana içeriğe atla

Giriş Data Engineering

Kurs

Python ile Apache Airflow'a Giriş

İleri SeviyeBeceri Seviyesi

Güncel 06.2025

Veri mühendisliği iş akışlarını nasıl uygulayacağınızı ve planlayacağınızı öğrenin.

Kursa Ücretsiz Başlayın

AirflowData Engineering4 sa16 video55 Egzersiz4,050 XP61,266Başarı Belgesi

Ücretsiz Hesabınızı Oluşturun

veya

Devam ederek Kullanım Şartlarımızı, Gizlilik Politikamızı ve verilerinizin ABD’de saklandığını kabul etmiş olursunuz.

Binlerce şirketten öğrencinin sevgisini kazandı

2 veya daha fazla kişiyi mi eğitiyorsunuz?

DataCamp for Business ürününü deneyin

Kurs Açıklaması

Apache Airflow 2.7 ile güncellendi - Veriyi bir takvime bağlı olarak teslim etmek çoğu zaman manuel bir süreçtir. Betikler yazarsın, karmaşık cron görevleri eklersin ve sürekli değişen gereksinimlere uymak için türlü yollar denersin — ekip arkadaşlarınla çalışırken her şeyi yönetmek daha da zorlaşır. Apache Airflow, iş akışlarına zamanlama, hata yönetimi ve raporlama ekleyerek bu baş ağrısını ortadan kaldırabilir. Bu derste, Apache Airflow’un temellerini öğrenecek ve üretim ortamında karmaşık veri mühendisliği boru hatlarını nasıl uygulayacağını keşfedeceksin. Ayrıca Directed Acyclic Graphs (DAG) kullanmayı, veri mühendisliği iş akışlarını otomatikleştirmeyi ve görevleri kolay ve tekrarlanabilir bir şekilde hayata geçirmeyi öğreneceksin — böylece akıl sağlığını korumana yardımcı olacak.

Önkoşullar

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Testing a task in Airflow

Examining Airflow commands

Airflow DAGs

Defining a simple DAG

Working with DAGs and the Airflow shell

Troubleshooting DAG creation

Airflow web interface

Starting the Airflow webserver

Navigating the Airflow UI

Examining DAGs with the Airflow UI

Bölümü Başlat

2

Implementing Airflow DAGs

What’s up DAG? Now it’s time to learn the basics of implementing Airflow DAGs. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Defining a BashOperator task

Multiple BashOperators

Airflow tasks

Define order of BashOperators

Determining the order of tasks

Troubleshooting DAG dependencies

Additional operators

Using the PythonOperator

More PythonOperators

EmailOperator and dependencies

Airflow scheduling

Schedule a DAG via Python

Deciphering Airflow schedules

Troubleshooting DAG runs

Bölümü Başlat

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensors

Sensors vs operators

Sensory deprivation

Airflow executors

Determining the executor

Executor implications

Debugging and troubleshooting in Airflow

DAGs in the bag

Missing DAG

SLAs and reporting in Airflow

Defining an SLA

Defining a task SLA

Generate and email a report

Adding status emails

Bölümü Başlat

4

Building production pipelines in Airflow

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Working with templates

Creating a templated BashOperator

Templates with multiple arguments

More templates

Using lists with templates

Understanding parameter options

Sending templated emails

Define a BranchPythonOperator

Branch troubleshooting

Creating a production pipeline

Creating a production pipeline #1

Creating a production pipeline #2

Adding the final changes to your pipeline

Congratulations!

Bölümü Başlat

Python ile Apache Airflow'a Giriş

Kurs
Tamamlandı

Başarı Belgesi Kazanın

Bu kimlik bilgisini LinkedIn profilinize, özgeçmişinize veya CV'nize ekleyin
Sosyal medyada ve performans incelemenizde paylaşınŞimdi Kaydolun

Bugün 19 milyondan fazla öğrenciye katılın ve Python ile Apache Airflow'a Giriş eğitimine başlayın!

Ücretsiz Hesabınızı Oluşturun

veya

Devam ederek Kullanım Şartlarımızı, Gizlilik Politikamızı ve verilerinizin ABD’de saklandığını kabul etmiş olursunuz.

DataCamp for Mobile ile veri becerilerinizi geliştirin

Mobil kurslarımız ve günde 5 dakikalık kodlama görevlerimizle hareket halindeyken ilerleme kaydedin.