Lewati ke konten utama

Beranda Data Engineering

Kursus

Pengantar Apache Airflow dengan Python

LanjutanTingkat Keterampilan

Diperbarui 06/2025

Pelajari cara mengimplementasikan dan menjadwalkan alur kerja rekayasa data.

Mulai Kursus Gratis

AirflowData Engineering4 jam16 videos55 Latihan4,050 XP61,242Bukti Prestasi

Buat Akun Gratis Anda

atau

Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.

Dipercaya oleh para pelajar di ribuan perusahaan

Pelatihan untuk 2 orang atau lebih?

Coba DataCamp for Business

Deskripsi Kursus

Kini Diperbarui ke Apache Airflow 2.7 - Menyajikan data sesuai jadwal bisa menjadi proses manual. Anda menulis skrip, menambahkan tugas cron yang rumit, dan mencoba berbagai cara untuk memenuhi serangkaian kebutuhan yang terus berubah—dan mengelola semuanya menjadi makin sulit saat bekerja dalam tim. Apache Airflow dapat menghilangkan kerumitan ini dengan menambahkan penjadwalan, penanganan galat, dan pelaporan ke alur kerja Anda. Dalam kursus ini, Anda akan menguasai dasar-dasar Apache Airflow dan mempelajari cara menerapkan pipeline rekayasa data yang kompleks di lingkungan produksi. Anda juga akan belajar menggunakan Directed Acyclic Graphs (DAG), mengotomatisasi alur kerja rekayasa data, dan menerapkan tugas rekayasa data dengan cara yang mudah dan berulang—membantu Anda tetap waras.

Persyaratan

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Testing a task in Airflow

Examining Airflow commands

Airflow DAGs

Defining a simple DAG

Working with DAGs and the Airflow shell

Troubleshooting DAG creation

Airflow web interface

Starting the Airflow webserver

Navigating the Airflow UI

Examining DAGs with the Airflow UI

2

Implementing Airflow DAGs

What’s up DAG? Now it’s time to learn the basics of implementing Airflow DAGs. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Defining a BashOperator task

Multiple BashOperators

Airflow tasks

Define order of BashOperators

Determining the order of tasks

Troubleshooting DAG dependencies

Additional operators

Using the PythonOperator

More PythonOperators

EmailOperator and dependencies

Airflow scheduling

Schedule a DAG via Python

Deciphering Airflow schedules

Troubleshooting DAG runs

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensors

Sensors vs operators

Sensory deprivation

Airflow executors

Determining the executor

Executor implications

Debugging and troubleshooting in Airflow

DAGs in the bag

Missing DAG

SLAs and reporting in Airflow

Defining an SLA

Defining a task SLA

Generate and email a report

Adding status emails

4

Building production pipelines in Airflow

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Working with templates

Creating a templated BashOperator

Templates with multiple arguments

More templates

Using lists with templates

Understanding parameter options

Sending templated emails

Define a BranchPythonOperator

Branch troubleshooting

Creating a production pipeline

Creating a production pipeline #1

Creating a production pipeline #2

Adding the final changes to your pipeline

Congratulations!

Pengantar Apache Airflow dengan Python

Kursus
Selesai

Memperoleh Surat Keterangan Prestasi

Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV Anda
Bagikan di media sosial dan dalam penilaian kinerja AndaDaftar Sekarang

Bergabung dengan 19 juta pelajar dan mulai Pengantar Apache Airflow dengan Python Hari Ini!

Buat Akun Gratis Anda

atau

Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.

Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile

Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.