メインコンテンツへスキップ

ホーム Data Engineering

コース

Pythonで学ぶ Apache Airflow 入門

上級スキルレベル

更新日 2025/06

データエンジニアリングワークフローの実装とスケジューリングの方法について学びましょう。

コースを無料で開始

AirflowData Engineering4時間16 ビデオ55 演習4,050 XP61,143達成証明書

無料アカウントを作成

または

続行すると、弊社の利用規約、プライバシーポリシーに同意し、データが米国に保存されることに同意したことになります。

数千の企業の学習者に愛されています

2名以上のトレーニングをお考えですか？

DataCamp for Businessを試す

コース説明

Apache Airflow 2.7 にアップデート済み — スケジュールどおりにデータを届ける作業は、手作業になりがちです。スクリプトを書き、複雑な cron タスクを追加し、変化し続ける要件に合わせて試行錯誤する——チームで取り組むと、なおさら管理が大変になります。Apache Airflow を使えば、ワークフローにスケジューリング、エラー処理、レポート機能を組み込み、この悩みを解消できます。本コースでは、Apache Airflow の基本をマスターし、本番環境で複雑なデータエンジニアリングのパイプラインを実装する方法を学びます。さらに、Directed Acyclic Graphs（DAG）を活用し、データエンジニアリングのワークフローを自動化して、タスクを簡単かつ再現性高く実装する方法を身につけ、運用の負担を大きく減らします。

前提条件

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Testing a task in Airflow

Examining Airflow commands

Airflow DAGs

Defining a simple DAG

Working with DAGs and the Airflow shell

Troubleshooting DAG creation

Airflow web interface

Starting the Airflow webserver

Navigating the Airflow UI

Examining DAGs with the Airflow UI

チャプター開始

2

Implementing Airflow DAGs

What’s up DAG? Now it’s time to learn the basics of implementing Airflow DAGs. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Defining a BashOperator task

Multiple BashOperators

Airflow tasks

Define order of BashOperators

Determining the order of tasks

Troubleshooting DAG dependencies

Additional operators

Using the PythonOperator

More PythonOperators

EmailOperator and dependencies

Airflow scheduling

Schedule a DAG via Python

Deciphering Airflow schedules

Troubleshooting DAG runs

チャプター開始

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensors

Sensors vs operators

Sensory deprivation

Airflow executors

Determining the executor

Executor implications

Debugging and troubleshooting in Airflow

DAGs in the bag

Missing DAG

SLAs and reporting in Airflow

Defining an SLA

Defining a task SLA

Generate and email a report

Adding status emails

チャプター開始

4

Building production pipelines in Airflow

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Working with templates

Creating a templated BashOperator

Templates with multiple arguments

More templates

Using lists with templates

Understanding parameter options

Sending templated emails

Define a BranchPythonOperator

Branch troubleshooting

Creating a production pipeline

Creating a production pipeline #1

Creating a production pipeline #2

Adding the final changes to your pipeline

Congratulations!

チャプター開始

Pythonで学ぶ Apache Airflow 入門

コース完了

修了証明書を取得

この資格をLinkedInプロフィール、履歴書、CVに追加しましょう
ソーシャルメディアや人事評価で共有しましょう今すぐ登録

19百万人を超える学習者と一緒にPythonで学ぶ Apache Airflow 入門を今日から始めましょう！

無料アカウントを作成

または

続行すると、弊社の利用規約、プライバシーポリシーに同意し、データが米国に保存されることに同意したことになります。

DataCamp for Mobileでデータスキルを磨きましょう

モバイルコースと毎日の 5 分間のコーディングチャレンジで、外出先でも進歩できます。