メインコンテンツへスキップ

ホーム Databricks

コース

Databricks における Spark SQL を使ったデータ変換

中級スキルレベル

更新日 2026/07

データパイプラインを一気通貫で構築 - クレンジング、集計からストリーミング、オーケストレーションまで。

コースを無料で開始

DatabricksData Engineering

3時間

7 ビデオ

25 演習

1,750 XP

修了証明書

何千もの企業の従業員が支持

チームのトレーニングを担当していますか？

Businessをお試しください

コース説明

大規模なデータを実務で扱う準備はできていますか？このコースでは、Databricks 上で Spark SQL と PySpark を使って大規模データセットを変換する方法を学びます。データの整形とクリーニング、最適化されたジョインを用いた集計、高度な分析のためのウィンドウ関数の適用などを習得します。また、フォールトトレラントなチェックポイントを備えたファイルベースのストリーミングの設定や、Delta テーブルへの結果の永続化も取り上げます。コースの終わりには、Databricks Workflows と Lakeflow Declarative Pipelines を使って、複数ステップの本番パイプラインを構築・管理できるようになります。

前提条件

Introduction to Databricks SQL Introduction to PySpark

1

データの読み込みと整形

この章では、Databricks ノートブックの操作方法、CSV データを Spark DataFrame に読み込む方法、PySpark と SQL を使ったデータ整形の方法を学びます。

Databricks ノートブックの操作

Databricks ノートブックを理解する

はじめてのデータセットの読み込み

ドライバーログを確認する

PySpark と SQL によるデータの加工

PySpark を使ったデータの整形

SQL を使ったデータ分析

一時ビューについて理解する

チャプターを開始

2

データクリーニングと最適化

明示的なスキーマの定義、データクリーニングパイプラインの構築、ブロードキャストジョインによるクエリパフォーマンスの最適化について学びます。

データクリーニングと品質チェック

明示的なスキーマが重要な理由

オンライン小売データセットのクリーニング

適切な品質指標の選択

データの集計と効率的な結合

小売データの結合と集計

シャッフルのボトルネックを理解する

ブロードキャスト結合を使うべき場面

チャプターを開始

3

分析と本番パイプライン

ウィンドウ関数を使った累計値とランキングの計算、ストリーミングパイプラインの構築、そして本番ワークフローのデプロイ方法を学びます。

ウィンドウ関数とストリーミングクエリ

ウィンドウ関数を使った顧客のランキング

小売データを Delta Lake にストリーミングする

再起動後の処理再開

ワークフローを活用した本番パイプライン

Delta テーブルへの書き込みと読み込み

マルチタスクのジョブパイプラインを構築する

Lakeflowに切り替える理由

チャプターを開始

Databricks における Spark SQL を使ったデータ変換

コース完了

修了証明書を取得

この修了書をLinkedInや履歴書、CVに追加しましょう
ソーシャルメディアや人事評価で共有しましょう今すぐ登録

19百万人を超える学習者と共にDatabricks における Spark SQL を使ったデータ変換を始めましょう！

DataCamp for Mobileでデータスキルを磨きましょう

モバイルコースと毎日の 5 分間のコーディングチャレンジで、外出先でも進歩できます。