Python で学ぶ ETL と ELT

pandas を使ってデータを抽出・変換・ロードし、最初のデータパイプラインを構築していきます。ETL ロジックを再利用可能にする方法を学び、パイプラインにロギングと例外処理を適用します。

非表形式データの取り扱いや、DataFrame を SQL データベースに永続化するなど、データパイプラインの上級テクニックでワークフローを強化します。pandas で高度な変換に取り組むためのツールを学び、複雑なデータに取り組む際のベストプラクティスを身につけましょう。

最終章では、本番に出荷する前にデータパイプラインを検証・テストするためのフレームワークを作成します。パイプラインをテストした後は、パイプライン全体をエンドツーエンドで実行する手法を学び、同時にパイプライン性能の可視化も行えるようにします。