Databricks Lakehouse 入門

データレイクは柔軟性を提供しますが、信頼性に欠けます。 データウェアハウスは高いパフォーマンスを発揮しますが、非構造化データには対応できません。 Lakehouseはその両方を組み合わせたものであり、Databricksはそれらがすべて一つにまとまる場所です。 このコースでは、Databricks Lakehouseを基礎から学び、プラットフォームの中核コンポーネントを実践的に体験できます。

Lakehouseアーキテクチャを理解する

まず、レイクハウスが従来のアプローチと何が違うのかを理解することから始めましょう。 メダリオンアーキテクチャ、つまりブロンズ、シルバー、ゴールドの各レイヤーを学び、未加工で雑然としたデータを、クリーンでビジネスにすぐ活かせるインサイトへと変える方法を探ります。 その後、Databricksワークスペース内で全体像を把握し、カタログ、スキーマ、ボリュームがすべてをどのように整理しているかを理解します。

コンピュートとノートブックをマスターする

適切なジョブに最適なクラスターを選び、コストを抑えるためにオートスケーリングと自動終了を設定し、Python、SQL、Markdownを組み合わせたノートブックを作成する方法を学びます。 Databricks Repos を通じて Git にも接続し、バージョン管理とチームでの共同作業を行います。

データを安全に管理・共有する

Unity Catalog を活用して、組織全体のアクセス制御を管理し、データのリネージを追跡しましょう。 その後、Delta Sharing を使ってデータをパートナーに配信し、Databricks 上でもその他のあらゆるプラットフォーム上でも利用できるようにします。さらに、Lakehouse Federation を使って外部ソースをクエリし、1バイトたりともコピーすることなく実現できます。

Asset Bundles を使用して本番環境にデプロイする

ノートブック、パイプライン、ジョブをDatabricks Asset Bundlesにまとめて、再現可能で自動化されたデプロイを実現しましょう。 キャップストーンのシナリオでこれまでの内容を総合し、仕事ですぐにこれらのスキルを活用できる状態で修了できます。