Databricks SQL: Panduan Lengkap untuk Beban Kerja SQL yang Dapat Diskalakan

Databricks SQL adalah alat yang andal untuk manajemen dan analitik data dalam platform Databricks Lakehouse. Platform ini mengintegrasikan rekayasa data, sains data, dan analitik bisnis dalam satu pengalaman terpadu. Karena itu, Databricks SQL penting bagi para profesional data yang ingin merampingkan alur kerja data, eksekusi kueri, dan tugas BI tanpa kerumitan pengelolaan infrastruktur tradisional.

Dalam artikel ini, saya akan membahas komponen, fitur, dan alat Databricks SQL serta menunjukkan contoh praktis cara membuat dan menggunakan gudang Databricks SQL. Saat kita mulai, saya sangat merekomendasikan mengikuti kursus Introduction to Databricks dari DataCamp untuk mempelajari Databricks sebagai solusi data warehousing bagi Business Intelligence (BI), memanfaatkan kapabilitas yang dioptimalkan untuk SQL guna membuat kueri dan menganalisis data.

Apa itu Databricks SQL?

Databricks SQL adalah alat analitik yang tangguh dalam platform Databricks Lakehouse yang memungkinkan profesional data menjalankan kueri SQL, menganalisis data, dan membuat dasbor interaktif. Dirancang dengan arsitektur serverless, Databricks SQL menggabungkan fleksibilitas data lake dengan tata kelola dan kinerja data warehouse.

Komponen utama Databricks SQL mencakup SQL Warehouse, SQL Editor, dan SQL Dashboard. Jangan khawatir jika Anda belum familiar dengan masing-masingnya karena saya akan menjelaskan artinya di bawah ini.

Databricks SQL vs. SQL Server dan Lainnya

Berbeda dengan dialek SQL lain seperti MySQL, PostgreSQL, atau SQL Server yang dirancang untuk basis data transaksional, Databricks SQL dioptimalkan untuk analitik skala besar dalam lingkungan Lakehouse. Basis data SQL tradisional berfokus pada penyimpanan data terstruktur, sedangkan Databricks SQL terintegrasi dengan data lake sambil mempertahankan performa layaknya data warehouse. Dengan serverless SQL warehouse, Anda tidak perlu mengelola infrastruktur karena sumber daya disediakan secara otomatis dan diskalakan secara elastis.

Selain itu, saya ingin menambahkan, di Databricks SQL, eksekusi kueri lebih cepat karena dipercepat oleh mesin Photon yang mendukung pemrosesan vektorisasi. Terakhir: Databricks SQL dibangun untuk BI dan kolaborasi; platform ini menawarkan dukungan native untuk Power BI, Tableau, dan Looker.

Komponen Inti Databricks SQL

Komponen inti Databricks SQL memfasilitasi pengkuerian yang efisien, visualisasi data, dan kolaborasi antar pengguna. Berikut gambaran umum alat dan fitur utama yang tersedia di Databricks SQL.

SQL Warehouses

SQL Warehouse berfungsi sebagai sumber daya komputasi untuk menjalankan kueri SQL di Databricks SQL. Warehouse ini dirancang untuk menangani berbagai beban kerja dan memberikan pengoptimalan performa berdasarkan jenis warehouse yang dipilih. Ada tiga jenis utama SQL Warehouse:

• Classic: Jenis ini mendukung fungsionalitas dasar dan cocok untuk performa tingkat awal. Ia memanfaatkan lapisan komputasi yang sudah ada di akun cloud Anda namun tidak memiliki fitur lanjutan seperti Intelligent Workload Management (IWM) dan Predictive IO.
• Pro: Pro SQL Warehouse menawarkan performa yang ditingkatkan dengan dukungan untuk Photon, mesin kueri tervektorisasi yang mempercepat operasi SQL dan meningkatkan opsi keamanan.
• Serverless Menghilangkan pengelolaan infrastruktur dengan menyediakan sumber daya secara otomatis, menskalakan secara elastis, dan memastikan eksekusi kueri dengan latensi rendah. Ideal untuk lingkungan dengan beban kerja yang berfluktuasi dan menawarkan performa yang hemat biaya.

SQL Warehouse di Databricks SQL. Gambar oleh Penulis.

SQL Editor

SQL Editor adalah antarmuka yang ramah pengguna yang memungkinkan pengguna menulis, menjalankan, dan mengelola kueri SQL. Fitur utama SQL Editor mencakup:

• Pengkuerian Intuitif: Mendukung penyorotan sintaks, pelengkapan otomatis, dan deteksi kesalahan untuk penulisan kueri yang efisien.
• Pratinjau Data: Pengguna dapat melihat pratinjau data langsung di editor, sehingga lebih mudah memahami set data sebelum menjalankan kueri kompleks.
• Penyinggahan Hasil Kueri: Fitur ini meningkatkan performa dengan menyimpan hasil kueri sebelumnya, memungkinkan waktu respons lebih cepat untuk kueri yang diulang.
• Kueri Berparameter: Pengguna dapat membuat kueri dinamis dengan menyertakan parameter, yang menyederhanakan proses menjalankan kueri serupa dengan nilai berbeda.

SQL Editor di Databricks SQL. Gambar oleh Penulis.

Dashboards

Dashboard memungkinkan visualisasi data dengan mengubah hasil kueri menjadi bagan, grafik, dan widget interaktif. Dashboard ideal untuk memantau metrik utama dan menyampaikan insight secara efektif di seluruh organisasi. Kapabilitas utama dashboard meliputi:

• Analitik Real-Time: Menyegarkan dashboard secara otomatis berdasarkan hasil kueri langsung.
• Kolaborasi: Bagikan dashboard lintas tim untuk mendorong pengambilan keputusan berbasis data.
• Kustomisasi: Pilih berbagai jenis visualisasi dan opsi tata letak sesuai kebutuhan spesifik.

Dashboard di Databricks SQL. Gambar oleh Penulis.

Alerts

Peringatan (Alerts) di Databricks SQL menyediakan cara untuk memantau perubahan data dan memicu notifikasi saat kondisi tertentu terpenuhi. Peringatan penting untuk menjaga kualitas data dan memastikan respons tepat waktu terhadap perubahan penting. Fungsionalitas peringatan bekerja sebagai berikut.

• Tetapkan Kondisi: Definisikan ambang atau aturan berdasarkan hasil kueri.
• Picu Notifikasi: Terima peringatan melalui email, Slack, atau integrasi lainnya ketika kondisi terpenuhi.
• Pemantauan Proaktif: Tetap mengetahui kejadian kritis, seperti anomali data atau masalah sistem, secara real-time.

Riwayat dan profil kueri

Terakhir, saya ingin menyampaikan bahwa Databricks SQL menawarkan alat untuk melacak riwayat kueri dan profiling:

• Riwayat Kueri: Fitur ini memungkinkan pengguna meninjau kueri yang pernah dieksekusi, memberikan insight tentang performanya dari waktu ke waktu. Ini membantu mengidentifikasi tren atau masalah berulang.
• Profiling Kueri: Alat profiling kueri menganalisis efisiensi kueri yang dijalankan, menyoroti hambatan dan menyarankan pengoptimalan. Kapabilitas ini penting untuk meningkatkan performa kueri secara keseluruhan dan pemanfaatan sumber daya.

Riwayat Kueri di Databricks SQL. Gambar oleh Penulis.

Fitur dan Alat Utama di Databricks SQL

Databricks SQL dilengkapi dengan fitur dan alat canggih. Fitur-fitur ini dirancang untuk meningkatkan performa, merampingkan alur kerja, dan memungkinkan integrasi mulus dengan alat lain. Mari lihat beberapa hal utama yang membuat Databricks SQL menjadi pilihan yang sangat baik.

Photon Engine

Photon Engine adalah mesin kueri tervektorisasi berkinerja tinggi yang dikembangkan oleh Databricks untuk mempercepat eksekusi kueri SQL secara signifikan. Manfaat utama Photon Engine meliputi:

• Eksekusi Tervektorisasi: Berbeda dari pemrosesan baris demi baris tradisional, Photon memanfaatkan eksekusi tervektorisasi yang memproses data dalam batch. Pendekatan ini memungkinkan pemanfaatan instruksi CPU lanjutan seperti SIMD (Single Instruction, Multiple Data) untuk efisiensi lebih baik.
• Integrasi dengan Beban Kerja yang Ada: Photon sepenuhnya kompatibel dengan API Apache Spark, artinya pengguna dapat mengaktifkannya tanpa memodifikasi kode yang ada. Integrasi mulus ini memungkinkan organisasi memperoleh manfaat peningkatan performa tanpa perlu pengerjaan ulang yang ekstensif.
• Caching dan Optimasi: Mesin ini mencakup pengoptimal kueri tingkat lanjut dan lapisan caching yang secara cerdas memilih data yang akan disimpan, sehingga semakin meningkatkan performa kueri. 

CloudFetch dan Async I/O

CloudFetch dan Async I/O adalah fitur yang dirancang untuk meningkatkan kecepatan transfer data dan memperbaiki penanganan berkas kecil selama eksekusi kueri. Fitur-fitur ini bekerja sebagai berikut:

• CloudFetch: Fitur ini mengoptimalkan cara hasil ditulis kembali ke penyimpanan cloud dengan memungkinkan penulisan paralel di semua node komputasi. Ini secara signifikan mengurangi waktu untuk mentransfer set data besar kembali ke klien, mencapai kinerja hingga 10 kali lebih cepat dalam skenario nyata.
• Async I/O: Kapabilitas ini meningkatkan penanganan berkas kecil dengan membaca beberapa blok data secara bersamaan sambil memproses blok saat ini. Pendekatan ini dapat meningkatkan performa kueri secara keseluruhan hingga 12 kali saat menangani berkas kecil (misalnya, 1MB). Sangat efektif untuk skenario yang melibatkan banyak berkas kecil atau "cold data" yang tidak disimpan dalam cache.

Integrasi dengan alat BI

Databricks SQL terintegrasi mulus dengan alat Business Intelligence (BI) populer, memudahkan tim untuk menganalisis dan memvisualisasikan data. Integrasi yang didukung meliputi:

• Power BI: Pengguna dapat menghubungkan workspace Databricks mereka langsung dengan Power BI, memungkinkan sinkronisasi model data yang mudah. Misalnya, analis dapat memublikasikan laporan langsung dari Databricks ke Power BI, mempertahankan relasi antar tabel yang sudah ditetapkan tanpa intervensi manual.
• Tableau: Pengguna dapat memanfaatkan koneksi langsung untuk memvisualisasikan data yang disimpan di Databricks SQL. Integrasi ini memungkinkan analitik real-time dan dashboard interaktif yang mencerminkan pembaruan data terbaru.
• dbt: Databricks SQL juga terintegrasi dengan dbt (data build tool), memungkinkan tim mengelola transformasi mereka langsung di lingkungan Databricks. Integrasi ini mendukung model inkremental dan materialized view, merampingkan proses membangun dan memelihara pipeline data yang tangguh.

Arsitektur serverless

Arsitektur serverless Databricks SQL menghilangkan kebutuhan pengelolaan infrastruktur manual dengan menyediakan dan menskalakan sumber daya secara otomatis berdasarkan permintaan beban kerja. Arsitektur serverless akan menyesuaikan sumber daya secara otomatis untuk menangani beban kueri yang bervariasi tanpa downtime. Fitur ini memastikan pengguna tidak perlu mengonfigurasi atau memelihara klaster secara manual. Arsitektur serverless juga hemat biaya, karena pengguna hanya membayar sumber daya yang digunakan selama eksekusi kueri.

Sebagai contoh, sebuah perusahaan ritel mengalami lonjakan beban kueri selama jam sibuk. Arsitektur serverless secara otomatis meningkatkan skala sumber daya untuk memastikan performa konsisten dan menurunkannya saat luar jam sibuk untuk menghemat biaya.

Panduan Langkah demi Langkah untuk Membuat dan Menggunakan Databricks SQL Warehouse

Databricks SQL Warehouse penting untuk menjalankan kueri SQL secara efisien dalam lingkungan Databricks. Sekarang, di bagian ini, saya akan memandu Anda melalui proses membuat gudang SQL dan menggunakannya dengan notebook. Jika Anda perlu menyegarkan pengetahuan tentang data warehouse, saya merekomendasikan mengikuti kursus Data Warehousing Concepts kami untuk mempelajari dasar-dasar pemodelan data dan transformasi data.

Membuat Databricks SQL Warehouse

Ikuti langkah-langkah ini untuk membuat SQL Warehouse menggunakan antarmuka web Databricks:

Langkah 1: Buka halaman Databricks SQL

Dari workspace Databricks, klik ikon SQL di bilah sisi.

Halaman Databricks SQL. Gambar oleh Penulis.

Langkah 2: Buka tab SQL Warehouses

Di halaman SQL, buka tab SQL Warehouses.

Tab Databricks SQL Warehouse. Gambar oleh Penulis.

Langkah 3: Klik "Create Warehouse"

Klik tombol Create Warehouse untuk mulai mengonfigurasi SQL Warehouse baru Anda.

Membuat SQL Warehouse di Databricks SQL. Gambar oleh Penulis.

Langkah 4: Konfigurasikan pengaturan dasar

Konfigurasikan pengaturan warehouse menggunakan opsi berikut.

• Name: Berikan nama yang unik dan deskriptif untuk SQL Warehouse Anda.
• Cluster Size: Pilih ukuran klaster berdasarkan kebutuhan beban kerja Anda. Tidak perlu dikatakan lagi, klaster yang lebih besar menangani lebih banyak kueri bersamaan dan set data yang lebih besar.
• Auto-Stop: Tetapkan periode idle timeout untuk menghentikan warehouse secara otomatis saat tidak digunakan. Sepuluh menit menurut saya masuk akal. Ini menghemat biaya dengan melepaskan sumber daya saat menganggur.
• Scaling: Aktifkan Auto-Scaling untuk menyesuaikan sumber daya secara dinamis berdasarkan beban kueri. Tentukan jumlah minimum dan maksimum klaster sebagai batas penskalaan.
• Serverless Option: Jika tersedia di akun Anda, pilih Serverless SQL Warehouse untuk pengelolaan yang lebih sederhana dan penskalaan otomatis.

Konfigurasikan pengaturan dasar untuk Databricks SQL Warehouse. Gambar oleh Penulis.

Langkah 5: Opsi lanjutan (Opsional)

Jika perlu, konfigurasikan opsi lanjutan seperti mengaktifkan Photon atau menetapkan konfigurasi SQL tertentu.

Konfigurasikan pengaturan lanjutan untuk Databricks SQL Warehouse. Gambar oleh Penulis.

Langkah 6: Simpan dan mulai warehouse

Klik Create untuk menyimpan konfigurasi Anda. Setelah dibuat, mulai warehouse agar siap digunakan.

Membuat Databricks SQL Warehouse. Gambar oleh Penulis.

Langkah 7: Tetapkan izin (Opsional)

Setelah pembuatan, sebuah modal izin akan muncul tempat Anda dapat memberikan akses ke pengguna atau grup untuk warehouse tersebut.

Mengelola izin Databricks SQL Warehouse. Gambar oleh Penulis.

Setelah dibuat, SQL warehouse Anda akan mulai otomatis, memungkinkan Anda mengeksekusi kueri segera.

Contoh Databricks SQL Warehouse. Gambar oleh Penulis.

Menggunakan Notebook dengan Databricks SQL Warehouse

Untuk mengeksekusi kueri SQL di notebook menggunakan SQL warehouse yang baru Anda buat, ikuti langkah-langkah berikut:

Langkah 1: Buka atau Buat Notebook

Dari workspace Databricks, buat notebook baru atau buka yang sudah ada.

Membuat Notebook baru untuk membuat Databricks SQL Warehouse. Gambar oleh Penulis.

Langkah 2: Lampirkan SQL Warehouse

Di bilah alat Notebook, temukan pemilih komputasi atau connect (biasanya ditampilkan di bagian atas). Klik untuk membuka menu tarik-turun yang menampilkan sumber daya komputasi yang tersedia. Pilih SQL warehouse Anda dari daftar. Jika tidak terlihat, klik More… untuk melihat semua warehouse yang tersedia. Klik SQL warehouse yang diinginkan lalu pilih Start and attach.

Melampirkan Notebook di Databricks SQL Warehouse. Gambar oleh Penulis.

Langkah 3: Tulis kueri SQL

Setelah terlampir, Anda dapat membuat sel di notebook Anda untuk kueri SQL. Gunakan perintah magic %sql untuk mengeksekusi kueri SQL di notebook.

Tulis kueri SQL di Databricks SQL Warehouse. Gambar oleh Penulis.

Langkah 4: Eksekusi kueri

Jalankan sel untuk mengeksekusi kueri Anda. Hasil akan ditampilkan tepat di bawah sel, sehingga mudah untuk melihat pratinjau data.

Eksekusi kueri SQL di Databricks SQL Warehouse. Gambar oleh Penulis.

Pertimbangan saat menggunakan Notebook dengan SQL Warehouse

Berikut beberapa pertimbangan saat menggunakan notebook dengan SQL Warehouse:

• Batas Kueri: SQL Warehouse dioptimalkan untuk kueri analitis, bukan untuk kueri transaksional yang sering dan berlatensi rendah.

• Pratinjau Data: Untuk set data besar, pertimbangkan membatasi hasil kueri, misalnya menggunakan klausa LIMIT untuk menghindari hambatan performa.

• Penyinggahan Kueri: Manfaatkan caching hasil untuk mempercepat kueri yang diulang.

• Penggunaan Sumber Daya: Pantau utilisasi SQL Warehouse untuk memastikan ukuran klaster dan pengaturan penskalaan memenuhi kebutuhan beban kerja Anda.

Kesimpulan

Databricks SQL adalah platform andal yang menjembatani kesenjangan antara data lake dan data warehouse, menyediakan solusi terpadu untuk analitik data modern dan business intelligence. Baik Anda membangun dasbor, mengoptimalkan kueri, atau memantau data dengan peringatan, Databricks SQL menawarkan fleksibilitas dan performa yang diperlukan untuk menangani tantangan data saat ini. Saya mendorong Anda untuk mengeksplorasi fitur dan kapabilitas Databricks SQL guna meningkatkan alur kerja data, memberdayakan kolaborasi, dan mendorong pengambilan keputusan yang lebih cerdas dan cepat. 

Jika Anda tertarik menjadi data engineer profesional, saya sangat merekomendasikan mengikuti kursus Understanding Data Engineering kami untuk mempelajari bagaimana data engineer menyimpan dan memproses data guna memfasilitasi kolaborasi dengan data scientist. Saya juga merekomendasikan mengikuti kursus Data-Driven Decision-Making in SQL kami untuk mempelajari cara menggunakan SQL guna mendukung pengambilan keputusan melalui proyek dunia nyata. Dan tentu saja, jangan lupa melihat beragam kursus cloud kami yang luar biasa.