Databricks Unity Catalog: Panduan untuk Pemula

Jadi, Anda baru saja mendengar tentang Databricks Unity Catalog. Dan kini Anda bertanya-tanya apa itu sebenarnya dan bagaimana perannya dalam manajemen data modern.

Panduan komprehensif ini akan memperkenalkan Anda pada Databricks Unity Catalog dan membantu Anda memahami pentingnya dalam analitik data di tumpukan data modern.

Apa itu Databricks Unity Catalog?

Databricks Unity Catalog adalah layanan tata kelola data terpadu yang menyederhanakan dan mempermudah manajemen data untuk beban kerja analitik. Layanan ini menyatukan semua jenis metadata yang digunakan oleh berbagai alat business intelligence, database, gudang data, dan data lake ke dalam satu lokasi pusat. Ini mendorong interoperabilitas antar sistem, sehingga lebih mudah menemukan dan mengakses data terstruktur maupun tidak terstruktur.

Seiring organisasi meningkatkan operasi data mereka, pengelolaan akses, tata kelola, dan kepatuhan di berbagai platform data menjadi kompleks. Unity Catalog menjawab tantangan ini dengan menyediakan lapisan terpadu untuk metadata, kontrol akses, dan pelacakan lineage, sehingga mengurangi beban operasional.

Pendekatan tata kelola data terpusat ini menghadirkan sejumlah manfaat dalam berbagi produk data umum seperti:

• Model machine learning
• Notebook
• Dasbor
• File

Komponen inti Databricks Unity Catalog mencakup:

• Metastore: Lapisan penyimpanan untuk metadata yang menyederhanakan penemuan data dan meningkatkan lineage data.
• Katalog: Repositori pusat untuk menyimpan, mengelola, dan menemukan aset data.
• Skema: Model data yang digunakan untuk mengatur dan mengelola aset data di Databricks Unity Catalog.
• Granularitas: Tingkat detail yang tersedia dalam pelacakan metadata. Ini memungkinkan tim mengelola akses pada berbagai level (katalog, skema, tabel, atau bahkan kolom), memastikan kontrol yang sangat rinci atas aset data.".
• Tabel, view, dan volume: Ini adalah objek data fundamental di Databricks Unity Catalog yang digunakan untuk merepresentasikan data terstruktur dan tidak terstruktur.
• Lineage data: Representasi visual alur data dari sumber hingga tujuannya, membantu melacak perubahan dan memastikan integritas data.

Komponen-komponen ini bekerja bersama untuk menyediakan solusi tata kelola data yang komprehensif yang menyederhanakan manajemen data dan mendorong kolaborasi lintas tim.

Manfaat Unity Catalog

Ada beberapa manfaat utama menggunakan Databricks Unity Catalog, seperti yang kami uraikan di bawah ini:

1. Tata kelola data dan kepatuhan

Databricks Unity Catalog menyediakan lokasi terpusat untuk menyimpan dan mengelola metadata, memastikan tata kelola data dan kepatuhan di berbagai sistem.

Sebagai contoh, Unity Catalog menyediakan peringatan untuk potensi deteksi PII pada model machine learning di produksi. Lineage data memungkinkan model-model ini digulung balik dengan mudah.

Ini membantu organisasi menjaga integritas data, mematuhi regulasi, dan mengurangi risiko.

2. Kolaborasi dan analitik swalayang

Unity Catalog mendorong kolaborasi lintas tim dengan menyediakan lokasi pusat untuk menyimpan aset data. Ini menghilangkan silo dan mendorong komunikasi lintas fungsi, memajukan analitik swalayang.

Analis data dan pengguna bisnis dapat dengan mudah menemukan dan mengakses aset data yang relevan, mengurangi waktu yang dihabiskan untuk tugas persiapan data.

Kasus penggunaan utama untuk Unity Catalog

Ada berbagai cara untuk menerapkan Unity Catalog: 

1. Kontrol akses data dan keamanan

Databricks Unity Catalog memungkinkan organisasi menerapkan kontrol akses yang sangat rinci untuk aset data, memastikan data hanya dapat diakses oleh pengguna yang berwenang. Ini juga memungkinkan berbagi data sensitif secara aman antar tim.

2. Penemuan data dan lineage

Kemampuan manajemen metadata Unity Catalog memungkinkan penemuan data yang efisien dan memberikan representasi visual alur data dari sumber ke tujuannya. Ini membantu melacak perubahan dalam dataset, memungkinkan audit dan pemecahan masalah.

3. Menyederhanakan kepatuhan dan audit

Dengan repositori terpusat untuk semua aset data dan lineage-nya, Unity Catalog menyederhanakan pelaporan kepatuhan dan proses audit. Ini mengurangi waktu dan upaya yang diperlukan untuk memastikan kepatuhan terhadap regulasi.

Cara Mengaktifkan Unity Catalog di Databricks

Sekarang, mari kita coba Unity Catalog menggunakan tutorial penyiapan sederhana ini:

Prasyarat

Sebelum Anda dapat mengaktifkan dan menggunakan Unity Catalog, pastikan Anda memenuhi persyaratan berikut:

Paket Databricks premium atau enterprise

Unity Catalog hanya didukung pada tier Databricks Premium atau Enterprise. Pastikan workspace Databricks Anda berada pada salah satu paket ini.

Izin yang sesuai

• Admin akun: Anda harus memiliki peran Account Admin di Databricks untuk menyiapkan dan mengelola Unity Catalog di tingkat akun.
• Admin workspace: Anda harus menjadi Workspace Admin di workspace tempat Anda ingin mengaktifkan Unity Catalog.

Ketersediaan metastore

Unity Catalog memerlukan metastore di tingkat akun. Jika Anda belum membuatnya, Anda perlu melakukannya saat penyiapan. Untuk akun percobaan Databricks, Anda akan memiliki katalog dengan metastore yang sudah dibuat untuk Anda.

Platform cloud yang didukung

Saat ini, Unity Catalog didukung pada:

• AWS
• Azure
• GCP

Pastikan Anda menggunakan lingkungan Databricks yang didukung di salah satu cloud ini.

Penyimpanan terkelola atau lokasi eksternal

Tentukan apakah Anda akan memanfaatkan tabel terkelola (penyimpanan terkelola) atau membuat tabel eksternal yang mereferensikan data di lokasi eksternal (seperti S3, ADLS, atau GCS). Setiap pendekatan dapat memiliki persyaratan izin yang berbeda.

Mengaktifkan Unity Catalog: Panduan Langkah demi Langkah

Menavigasi pengaturan Databricks

1. Masuk ke konsol akun Databricks
• Buka Databricks Account Console (URL dapat sedikit berbeda untuk AWS, Azure, atau GCP). Gunakan pengguna admin akun untuk masuk.

2. Akses Halaman Katalog
• Di panel navigasi sebelah kiri (di konsol akun), cari Catalog bergantung pada rilis Databricks Anda.
• Dalam versi percobaan Databricks, metastore dan katalog Serverless Starter Warehouse seharusnya telah dibuat.
3. Mulai komputasi gudang SQL
• Di panel navigasi sebelah kiri, pilih SQL Warehouses, lalu mulai Serverless Starter Warehouse dengan mengklik ikon Play di sebelah kanan.

4. Tetapkan ke workspace
• Di bawah Workspaces dalam konfigurasi Katalog, lampirkan workspace yang akan menggunakan katalog ini.

Mengonfigurasi Unity Catalog

1. Tetapkan izin
• Sebagai admin, navigasikan ke Catalog di bilah sisi kiri workspace Databricks Anda.
• Pilih workspace yang ingin Anda kelola.
• Klik tab Permissions untuk menyiapkan izin (misalnya, siapa yang dapat membuat katalog, skema, dan tabel). Secara default, admin akun atau admin workspace mungkin memiliki hak penuh, tetapi Anda dapat mendelegasikan hak ke pengguna atau grup lain.

2. Buat Katalog dan Skema (jika perlu)
• Anda dapat membuat katalog dan skema tambahan untuk tim, proyek, atau domain data yang berbeda. Ini sering dilakukan melalui perintah SQL (ditunjukkan di bawah).

-- Creates a new catalog named "demo_catalog"
CREATE CATALOG IF NOT EXISTS demo_catalog
COMMENT 'This catalog is created for Unity Catalog demo';Didukung oleh

3. Konfigurasikan lokasi eksternal (opsional)Jika Anda memerlukan tabel eksternal yang disimpan di lokasi eksternal:
• Buat lokasi eksternal di Unity Catalog yang menunjuk ke penyimpanan cloud Anda (S3, ADLS, atau GCS).
• Berikan akses baca dan tulis kepada pengguna atau grup untuk lokasi ini melalui Unity Catalog.

Contoh Kode dan Penggunaan

Di bawah ini adalah beberapa notebook/perintah SQL Databricks contoh yang dapat Anda gunakan setelah Unity Catalog dikonfigurasi di workspace Anda. 

Anda dapat menjalankannya di notebook Databricks atau SQL Editor di dalam workspace Anda.

Memberikan hak pada sebuah katalog

Memberikan hak pada sebuah katalog memastikan bahwa grup pengguna tertentu dapat mengakses dan berinteraksi dengan data yang disimpan di dalamnya. Namun, USAGE saja tidak memungkinkan pengguna untuk melakukan kueri data—itu hanya membuat mereka dapat melihat bahwa katalog tersebut ada. Untuk memungkinkan interaksi penuh, Anda perlu memberikan hak tambahan pada tingkat skema atau tabel.

Sebagai contoh, untuk memberi akses katalog kepada data engineer:

-- Grant USAGE to a specific group on the newly created catalog
GRANT USAGE ON CATALOG demo_catalog TO data_engineers_group;Didukung oleh

Jika mereka juga perlu membuat skema di dalam katalog ini:

GRANT CREATE ON CATALOG demo_catalog TO data_engineers_group;Didukung oleh

Membuat skema (database) di dalam katalog

Skema di Unity Catalog mengatur tabel dan view di dalam sebuah katalog, mirip seperti database yang menyimpan tabel dalam sistem RDBMS tradisional. Penggunaan IF NOT EXISTS mencegah kesalahan jika skema sudah ada.

Untuk membuat skema untuk data analitik di dalam demo_catalog:

CREATE SCHEMA IF NOT EXISTS demo_catalog.analytics
COMMENT 'Schema for analytics data';Didukung oleh

Setelah dibuat, Anda mungkin perlu memberikan hak kepada pengguna tertentu:

GRANT USAGE ON SCHEMA demo_catalog.analytics TO data_analysts_group;Didukung oleh

Ini memungkinkan data_analysts_group untuk melihat skema tetapi belum dapat melakukan kueri pada tabelnya.

Membuat tabel terkelola

Tabel terkelola sepenuhnya dikendalikan oleh Unity Catalog, yang berarti Databricks menangani penyimpanan dan pelacakan metadata. Ini menyederhanakan pengelolaan tetapi berarti data akan dihapus jika tabel di-drop.

Untuk membuat tabel terkelola untuk data penjualan:

USE CATALOG demo_catalog;
USE SCHEMA analytics;

CREATE TABLE IF NOT EXISTS sales_data (
  transaction_id STRING,
  product_id STRING,
  quantity INT,
  price DECIMAL(10,2),
  transaction_date DATE
)
COMMENT 'Managed table for sales data';
Didukung oleh

Memberikan hak pada sebuah tabel

Memberikan hak pada tabel memastikan pengguna dapat mengkueri atau memodifikasi data. Hak SELECT memungkinkan pengguna membaca data tetapi tidak memodifikasinya.

Untuk mengizinkan data scientist membaca dari tabel penjualan:

GRANT SELECT ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
Didukung oleh

Jika mereka perlu menyisipkan rekaman baru, berikan hak INSERT:

GRANT INSERT ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
Didukung oleh

Untuk kontrol penuh (baca, tulis, modifikasi), gunakan:

GRANT ALL PRIVILEGES ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
Didukung oleh

Penyiapan lokasi eksternal

Jika Anda memiliki lokasi data eksternal (misalnya, S3 di AWS), Anda dapat membuat objek lokasi eksternal di Unity Catalog:

-- Create an external location named "demo_external_location"
CREATE EXTERNAL LOCATION demo_external_location
URL 's3://my-demo-bucket/my-path/'
WITH CREDENTIAL my_storage_credential
COMMENT 'External location for demo data';

-- Grant read and write privileges to a group
GRANT READ, WRITE ON EXTERNAL LOCATION demo_external_location
TO data_engineers_group;Didukung oleh

Arsitektur Databricks Unity Catalog

Databricks Unity Catalog dibangun di atas proyek sumber terbuka Apache Spark, yang menyediakan platform komputasi terdistribusi untuk pemrosesan data skala besar. Ini menggunakan Hive Metastore untuk menyimpan metadata tentang dataset dan tabel, memungkinkan pengelolaan yang efisien dan kinerja kueri yang baik.

Arsitektur Unity Catalog mencakup tiga komponen utama:

1. Metadata Store: Komponen ini menyimpan semua metadata terkait dataset, tabel, lokasi eksternal, dan objek lainnya.
2. Katalog: Komponen ini bertindak sebagai antarmuka antara Metadata Store dan lapisan komputasi. Ia menyediakan tampilan terpadu dari semua metadata yang disimpan di Metadata Store, memudahkan pengguna untuk mengakses dan mengkueri data mereka.
3. Workspace: Workspace adalah lokasi penyimpanan virtual tempat data dapat disimpan dan dikelola dengan aman. Ini memungkinkan kolaborasi antar tim dengan menyediakan lokasi pusat untuk akses dan manipulasi data.

Sumber: Databricks

Dengan Databricks Unity Catalog, pengguna dapat dengan mudah mengelola dan melakukan kueri pada data mereka tanpa harus khawatir tentang infrastruktur yang mendasarinya. Mereka juga dapat berkolaborasi dengan anggota tim lain dengan memberikan izin tertentu, seperti hak baca dan tulis, untuk dataset atau tabel yang berbeda.

Untuk memberikan izin ini, pengguna dapat menggunakan perintah SQL seperti "GRANT" untuk menentukan pengguna atau grup mana yang dapat mengakses data tertentu. Ini memastikan bahwa hanya individu yang berwenang yang memiliki akses ke informasi sensitif.

Bagaimana Unity Catalog terintegrasi dengan sistem data yang ada

Unity Catalog terintegrasi dengan mulus dengan sistem data yang ada, seperti Amazon S3 dan Azure Blob Storage, sehingga memudahkan mengakses dan mengelola data dari berbagai sumber. Ini memungkinkan pengguna dengan cepat menganalisis dataset besar tanpa harus memindahkan atau menyalin data secara manual ke Databricks. 

Unity Catalog juga mendukung berbagai format file seperti CSV, JSON, Parquet, dan Avro, sehingga fleksibel untuk bekerja dengan berbagai jenis data.

Praktik Terbaik Databricks Unity Catalog

Saat bekerja dengan Unity Catalog, ada beberapa praktik terbaik yang dapat membantu memastikan manajemen data yang efisien dan efektif. 

Ini termasuk:

1. Gunakan konvensi penamaan yang deskriptif untuk tabel dan kolom agar lebih mudah memahami data.
2. Perbarui metadata secara berkala di Unity Catalog untuk melacak perubahan apa pun pada data yang mendasarinya.
3. Manfaatkan kontrol akses untuk membatasi akses ke data sensitif, mengikuti prinsip "least privilege". Ini berarti hanya memberikan izin yang diperlukan kepada pengguna atau grup berdasarkan peran dan tanggung jawab mereka.
4. Gunakan tag dan label untuk mengklasifikasikan dan mengatur dataset dalam Unity Catalog, sehingga lebih mudah mencari data tertentu.

Langkah-langkah ini akan membantu memastikan tata kelola data yang efektif dan kinerja optimal.

Tantangan Umum dan Cara Mengatasinya

Unity Catalog bukan solusi yang sepenuhnya kedap masalah dan dapat menghadapi tantangan dalam mengelola data secara efektif. 

Beberapa masalah umum meliputi:

• Duplikasi data: Ini terjadi ketika data yang sama disimpan berkali-kali, sehingga menimbulkan inkonsistensi dan kesalahan.
• Kualitas data: Data yang tidak terpelihara dengan baik atau tidak akurat dapat memengaruhi keputusan dan proses bisnis.
• Hierarki data yang kompleks: Dataset besar dengan relasi kompleks dapat sulit diatur dan dikelola dalam Unity Catalog.

Untuk mengatasi tantangan ini, berikut beberapa kiat:

1. Secara berkala meninjau dan membersihkan data untuk menghindari duplikasi. Ini termasuk menghapus data yang tidak perlu atau kedaluwarsa.
2. Menerapkan pemeriksaan dan validasi kualitas data untuk memastikan akurasi data dalam Unity Catalog.

Pemikiran Akhir

Unity Catalog adalah alat yang kuat untuk mengelola data dalam satu tampilan melalui penggunaan metastore, katalog, dan workspace. Ini menyediakan lokasi terpusat untuk menyimpan dan mengatur data, sehingga lebih mudah dikelola dan dimanfaatkan dalam proses bisnis Anda. 

Ingin mempelajari lebih lanjut tentang Databricks? Anda dapat melihat kursus Introduction to Databricks kami, panduan Tutorial Databricks, dan webinar Databricks.