これらのコースを受講したことで、プロフェッショナルなビジュアライゼーションやダッシュボードを自信を持って作成できるようになりました
Shoebur Rahman調達スペシャリスト、Giz Bangladesh
コースの説明
大規模なデータを実務で扱う準備はできていますか？このコースでは、Databricks 上で Spark SQL と PySpark を使って大規模データセットを変換する方法を学びます。データの整形とクリーニング、最適化されたジョインを用いた集計、高度な分析のためのウィンドウ関数の適用などを習得します。また、フォールトトレラントなチェックポイントを備えたファイルベースのストリーミングの設定や、Delta テーブルへの結果の永続化も取り上げます。コースの終わりには、Databricks Workflows と Lakeflow Declarative Pipelines を使って、複数ステップの本番パイプラインを構築・管理できるようになります。
前提条件
カリキュラム
コース概要
1
データの読み込みと整形
この章では、Databricks ノートブックの操作方法、CSV データを Spark DataFrame に読み込む方法、PySpark と SQL を使ったデータ整形の方法を学びます。
2
データクリーニングと最適化
明示的なスキーマの定義、データクリーニングパイプラインの構築、ブロードキャストジョインによるクエリパフォーマンスの最適化について学びます。
3
分析と本番パイプライン
ウィンドウ関数を使った累計値とランキングの計算、ストリーミングパイプラインの構築、そして本番ワークフローのデプロイ方法を学びます。
Databricks における Spark SQL を使ったデータ変換
コース修了
