Build your ultimate AI agent
コース説明
Airflow のスキルをさらに高めましょう。このコースでは Airflow 3.2 を使用し、最新の手法を学びます。TaskFlow API を使った DAG の作成、アセットとアセットパーティションを活用したデータ駆動型スケジューリング、そしてリトライ・コールバック・テストによる信頼性の向上まで学習します。最終チャプターでは、DuckDB 上でエンドツーエンドの SQL ETL パイプラインを構築し、サードパーティライブラリを使わずに Airflow 内でデータ品質チェックを追加します。これにより、パイプラインが生成するデータの信頼性を維持できます。コース終了時には、プロトタイプから本番環境で実際に稼働するパイプラインへと仕上げる方法を習得できます。
前提条件
カリキュラム
コース概要
1
TaskFlow と XCom を使った DAG の作成
まず Airflow のコンポーネントを理解し、TaskFlow API を使って最初の DAG を作成します。さらに、XCom を使ったタスク間のデータ受け渡し方法を学びます。
2
動的パイプラインとデータ駆動型パイプライン
次に、動的タスクマッピングによる並列タスク実行、アセットを活用したデータ駆動型の DAG スケジューリング、そして人による承認ステップの追加方法を学びます。
3
DAG の本番環境への対応
このチャプターでは、リトライとコールバックによる障害対応、リソースを節約するための遅延可能センサー、そして DAG を 3 つのレベルでテストする方法を学びます。
4
本番環境向け SQL ETL パイプラインの構築
最終チャプターでは、DuckDB 上に SQL ETL パイプラインを構築し、アセットパーティションを使ったパーティション対応スケジューリングを追加して、データ品質チェックを組み込みます。
Airflow によるデータパイプラインの構築
コース修了
