Databricks Genie: Cara Kerja Tanya Jawab Berbasis AI di Databricks

Databricks Genie berfungsi sebagai antarmuka analitik percakapan tanpa kode yang menerjemahkan pertanyaan bahasa Inggris biasa menjadi kueri analitis, memberikan wawasan, visualisasi, dan ringkasan secara instan.

Bayangkan seperti mengobrol dengan pakar data yang memberi Anda jawaban dalam hitungan detik tanpa menulis kueri SQL yang rumit. Dalam artikel ini, saya akan menunjukkan cara kerjanya.

Jika Anda masih baru di Databricks, saya sarankan mengikuti kursus Introduction to Databricks dan Databricks Concepts untuk mempelajari fitur inti dan aplikasi Databricks serta mendapatkan jalur terstruktur untuk memulai pembelajaran Anda. 

Memahami Databricks Genie

Databricks Genie adalah antarmuka percakapan bertenaga AI yang mengubah cara pengguna berinteraksi dengan data di seluruh Databricks Data Intelligence Platform. Berada di persimpangan AI, pemrosesan bahasa alami (NLP), dan business intelligence (BI), Genie memungkinkan pengguna mengajukan pertanyaan dengan bahasa sehari-hari dan menerima jawaban akurat berbasis data secara instan. Ia juga termasuk dalam kelas alat yang berkembang seperti Power BI Copilot, Tableau Ask Data, Amazon QuickSight Q, dan ThoughtSpot, yang semuanya memungkinkan Anda bertanya dalam bahasa alami. Yang membedakan Genie adalah posisinya di dalam ekosistem Databricks, sehingga dapat terintegrasi dengan skala besar data dan alur kerja analitik dengan masalah minimal.

Fitur pembeda utama Databricks Genie adalah arsitektur multi-komponen tingkat lanjut yang melapiskan beberapa alat spesialis untuk memastikan akurasi tinggi dan pemahaman kontekstual. Berbeda dengan alat BI tradisional yang bergantung pada pembuat kueri yang kaku atau dasbor pradefinisi, Genie mengintegrasikan model pemrosesan yang kuat langsung dengan kerangka data dan tata kelola terpadu Databricks. Pendekatan ini memungkinkan Genie menafsirkan pertanyaan bahasa alami secara dinamis, memetakan dengan benar ke struktur data yang diperlukan, dan menghasilkan kueri SQL yang presisi dan dapat dieksekusi di seluruh sumber data Anda. Dari pengalaman luas saya dengan SQL, ini hal yang saya hargai karena Genie dapat menghasilkan kueri SQL yang bersih, mudah dipahami, dan mudah ditelusuri masalahnya.

Fitur Utama Databricks Genie

Arsitektur dan Teknologi di Balik Genie

Sebelum kita melihat apa yang dapat dilakukan Genie, Anda mungkin bertanya-tanya bagaimana cara kerjanya di balik layar. Berikut adalah arsitektur dan teknologi di balik Genie, yang dirancang untuk kinerja, fleksibilitas, dan akurasi.

Sistem AI majemuk dan manfaatnya

Genie adalah Sistem AI majemuk, yaitu arsitektur yang mengelola banyak komponen dan alat AI spesialis untuk memecahkan masalah kompleks. Dokumentasi Databricks menjelaskannya secara garis besar: ketika pengguna mengirimkan pertanyaan, Genie mengurai permintaan, mengidentifikasi sumber data yang relevan, dan menghasilkan respons yang sesuai.

• Penguraian niat / agen NLU: Untuk memahami apa yang ditanyakan pengguna, seperti metrik, filter, rentang waktu, atau agregasi.
• Agen perencana/orkestrasi: Memecah pertanyaan multi-langkah atau majemuk menjadi rencana eksekusi berurutan.
• Agen pengambil/grounding: Menemukan tabel, kolom, dasbor, dan kueri sebelumnya yang tepat untuk mem-"ground" permintaan.
• Agen pembuat SQL: Menerjemahkan rencana menjadi SQL yang benar secara sintaksis dan teroptimasi.
• Agen eksekusi dan adaptor: Menjalankan kueri terhadap sumber data yang benar dan memformat hasil mentah.
• Agen verifikasi/keamanan: Memeriksa perizinan, garis keturunan data, dan memastikan hasil mematuhi aturan tata kelola.
• Agen peringkas/visualisasi: Membuat ringkasan teks yang ramah pengguna, bagan, dan tabel.

Sistem multi-agen di Genie AI penting karena masing-masing dapat disetel khusus untuk satu kasus penggunaan. Selain itu, agen baru, seperti spesialis geospasial atau deret waktu, dapat ditambahkan tanpa memerlukan perombakan total sistem. Sebagai pengembang, Anda dapat mengaudit dan membandingkan setiap agen secara terpisah.

Penyimpanan pengetahuan semantik terkurasi

Penyimpanan pengetahuan memberikan konteks bagi Genie dalam organisasi Anda. Hasilnya seharusnya berupa terjemahan yang lebih akurat dari bahasa ke kueri. Komponennya meliputi:

• Metadata semantik: Mencakup nama kolom yang ramah, metrik kanonik, dan definisi bisnis yang mengarahkan Genie pada logika bisnis.
• Sampling nilai: Contoh kecil yang representatif dari isi kolom untuk membantu agen pengambil dan pembuat SQL memilih default yang masuk akal dan mendeteksi filter yang mungkin.
• Kamus nilai dan daftar entitas: Ini adalah kamus yang memetakan istilah pengguna ke nilai-nilai ini, memastikan sinonim dipetakan dengan benar.
• Embedding/indeks vektor: Untuk pencocokan samar dan pengambilan semantik dokumen, notebook, dasbor, dan kueri sebelumnya yang relevan.
• Metadata garis keturunan dan tata kelola: Mengatur siapa yang dapat mengakses apa, sumber tepercaya, dan stempel waktu penyegaran terakhir.

Bagaimana Genie menghasilkan respons

Berikut alur umum dari input pengguna hingga penyajian akhir di Genie:

Langkah 1: Input pengguna (bahasa alami)

Pengguna mengetik pertanyaan atau mengunggah file (CSV/Excel) dan mengajukan pertanyaan tentangnya.

Langkah 2: Penguraian niat dan normalisasi

Orchestrator dan Agen Niat menganalisis kueri. Mereka berkonsultasi dengan Unity Catalog untuk melihat tabel dan kolom apa yang berhak diakses pengguna.

Langkah 3: Grounding konteks (penyimpanan pengetahuan + pengambilan)

Agen pengambil merujuk metadata semantik, indeks embedding, dan riwayat kueri terbaru untuk memetakan istilah pengguna ke tabel, kolom, dan metrik kanonik yang konkret.

Langkah 4: Perencanaan dan dekomposisi

Jika pertanyaan melibatkan banyak langkah, perencana memecah tugas menjadi sub-tugas berurutan.

Langkah 5: Pembuatan SQL/kueri

Agen pembuat SQL membuat SQL yang teroptimasi dan dapat diaudit (atau pemanggilan API untuk sistem lain). Ia mungkin mengusulkan beberapa bentuk kueri, seperti ringkasan vs terperinci, dan memilih yang terbaik berdasarkan perkiraan biaya dan perizinan.

Langkah 6: Pemeriksaan perizinan dan tata kelola

Sebelum eksekusi, verifikator memeriksa akses berbasis peran, label sensitivitas data, aturan masking, dan persyaratan audit untuk memastikan kepatuhan. Jika pengguna tidak memiliki hak, sistem akan menolak permintaan atau mengembalikan alternatif yang di-mask/aman.

Langkah 7: Eksekusi dan lapisan adaptor

Sistem mengeksekusi kueri terhadap komputasi yang sesuai (gudang SQL Databricks, tabel lakehouse, basis data eksternal, atau adaptor file unggahan). Hasil dialirkan kembali dan diambil sampelnya demi responsivitas.

Langkah 8: Pascapemrosesan dan validasi

Hasil divalidasi, dan jika ada yang tampak tidak benar, verifikator dapat memicu eksekusi ulang atau menanyakan pertanyaan klarifikasi kepada pengguna.

Langkah 9: Perangkuman, visualisasi, dan penjelasan

Peringkas menghasilkan poin-poin utama berbahasa sederhana dan visualisasi yang disarankan; agen visualisasi merender bagan dan tabel serta menyiapkan kartu wawasan yang dapat dibagikan.

Langkah 10: Umpan balik dan pembelajaran

Umpan balik pengguna dan log kueri dimasukkan kembali untuk meningkatkan penyimpanan pengetahuan, menyempurnakan sinonim, dan melatih ulang agen bila perlu.

Apa Itu Genie Spaces dan Cara Menyiapkannya

Genie Spaces adalah lingkungan terkurasi dalam Databricks Genie yang mendefinisikan data, semantik, dan logika bisnis yang mendukung analitik percakapan. Anggaplah Genie Space sebagai lapisan konteks tempat Anda memberi tahu Genie data apa yang akan digunakan, apa maknanya, dan bagaimana harus ditafsirkan.

Saya akan menunjukkan cara menyiapkan Genie Spaces di Databricks.

Persyaratan teknis dan penyiapan awal

Sebelum membuat Genie Space, Anda memerlukan prasyarat teknis dan tata kelola berikut:

• Sumber daya komputasi: Pastikan ruang kerja Databricks Anda memiliki gudang SQL atau kluster komputasi aktif yang tersedia untuk eksekusi kueri.
• Perizinan: Anda memerlukan hak Unity Catalog yang sesuai untuk mengakses dan mengelola dataset, serta izin admin atau editor di Genie.
• Penyiapan tata kelola: Ruang kerja harus sudah memiliki pelacakan garis keturunan data, tag klasifikasi, dan kebijakan akses yang ditetapkan untuk menegakkan kepatuhan.

Untuk penyiapan awal, Anda dapat menggunakan langkah-langkah ini untuk membuat Genie Space baru melalui UI Databricks atau via REST API:

• Buka bagian "Genie Spaces" di SQL Persona.

• Klik "Create Space" dan beri nama seperti "Finance Analytics."

• Pilih tabel dan view dari Unity Catalog yang akan berada dalam cakupan (in-scope) untuk Space ini. 

• Simpan dan publikasikan Space untuk digunakan oleh tim yang berwenang.

Mengonfigurasi dan mengkurasi space

Setelah membuat space, langkah berikutnya adalah mengkurasi penyimpanan pengetahuan. Langkah ini akan memperkaya Genie Space dengan detail semantik dan contoh untuk meningkatkan keterinterpretasian dan pengalaman pengguna. Anda dapat melakukan hal-hal berikut untuk mencapainya:

• Edit metadata kolom: Tambahkan nama yang ramah, definisi bisnis, dan catatan penggunaan untuk meningkatkan pemahaman Genie atas niat pengguna.

• Definisikan ekspresi SQL: Buat metrik kustom, field terhitung, atau alias seperti “Net Revenue.”

• Tambahkan aset tepercaya: Anda juga dapat menautkan dasbor, notebook, atau tabel referensi yang relevan sebagai sumber data tepercaya.
• Tambahkan kueri contoh: Sertakan pertanyaan dan respons contoh untuk membantu Genie mempelajari konteks dan memandu pengguna.

Menentukan cakupan dan melibatkan pakar domain

Setiap Genie Space harus memiliki tujuan dan audiens yang jelas. Misalnya, Sales Analytics Space dapat berfokus pada pipeline, pemesanan, dan pendapatan. Demikian pula, Customer Insights Space bisa berpusat pada data churn, keterlibatan, dan NPS. Jika Anda mendefinisikan space secara eksplisit, hal ini mencegah kebingungan dan meningkatkan ketepatan respons.

Penting juga untuk melibatkan pakar domain dari unit bisnis tersebut. Jika membuat Sales Space, analis data yang menyiapkan Space harus bekerja langsung dengan Head of Sales. Para pakar ini menyediakan terminologi bisnis yang akurat, memvalidasi definisi KPI, dan memahami pertanyaan umum yang perlu dijawab tim mereka.

Jenis instruksi dan benchmarking

Anda dapat membimbing Genie dengan beberapa cara dalam Knowledge Store, masing-masing memiliki tujuan berbeda:

• Ekspresi SQL: Ajarkan Genie cara menghitung metrik atau KPI yang kompleks.
• Kueri contoh: Berikan contoh konkret yang mengilustrasikan cara pengguna dapat bertanya dengan efektif.
• Pertanyaan sampel: Tawarkan prompt awal yang terlihat di jendela obrolan Genie untuk mendorong eksplorasi.

Untuk memastikan kualitas yang konsisten, selalu uji dan benchmark respons Genie dengan menjalankan pertanyaan representatif di semua Space. Selain itu, validasikan hasil untuk akurasi, kelengkapan, dan kepatuhan.

Interaksi pengguna dan tata kelola

Setelah Anda mengonfigurasi Genie Space, Anda dapat berinteraksi dengannya melalui antarmuka percakapan. Di sini, Anda dapat mengajukan pertanyaan bahasa alami yang relevan dengan domain Space. Anda juga dapat mengajukan pertanyaan lanjutan untuk menyempurnakan hasil dan memberikan umpan balik. Antarmuka memungkinkan Anda melihat hasil dalam berbagai format, termasuk ringkasan, visualisasi, dan tabel data.

Penting untuk dicatat bahwa Genie secara otomatis menegakkan tata kelola dan perizinan, hanya menampilkan data yang berwenang diakses pengguna. Akses berbasis peran, data masking, dan visibilitas garis keturunan memastikan semua interaksi tetap aman dan dapat diaudit.

Integrasi, API, dan Kasus Penggunaan Lanjutan

Databricks Genie menawarkan endpoint API yang fleksibel dan opsi integrasi yang menghubungkan analitik percakapan ke ekosistem aplikasi bisnis, alat kolaborasi, dan sistem AI yang lebih luas. Mari kita lihat beberapa fitur ini di bawah.

Genie Conversation API dan integrasi

Genie Conversation API memungkinkan pengembang menghubungkan NLP langsung ke aplikasi bisnis, chatbot, dan sistem data eksternal. API ini menangani langkah-langkah yang diperlukan, termasuk autentikasi, memulai percakapan, memeriksa status kueri, dan mengambil hasil dalam format JSON, sehingga data mudah diurai dan diintegrasikan ke berbagai platform.

Genie juga mendukung integrasi dengan platform kolaborasi populer, yang saya sebutkan sebelumnya dalam artikel, termasuk Slack, Microsoft Teams, dan notebook Databricks. Saya yakin akan ada lebih banyak integrasi segera.

Saat menerapkan integrasi menggunakan Databricks API, perhatikan batasan seperti permintaan kueri bersamaan, batas token, dan caching respons untuk menjaga keandalan. Untuk mengoptimalkan integrasi, gunakan permintaan batch, caching kueri yang sering, dan penjadwalan beban kerja di luar jam sibuk.

Fitur lanjutan dan sistem multi-agen

Arsitektur Genie menggunakan sistem pemrosesan multi-komponen, yang memungkinkan alur kerja analitik yang lebih kompleks dan canggih. Penyiapan lanjutan ini memungkinkan Genie menangani tugas kompleks seperti ekstraksi tematik, analisis sentimen, dan mengintegrasikan wawasan di berbagai dataset. Penyimpanan pengetahuan yang terus berkembang semakin meningkatkan kapabilitas ini dengan menyediakan definisi istilah bisnis yang lebih kaya dan konteks data yang jauh lebih luas.

Penyimpanan pengetahuan generasi berikutnya dan pembaruan produk

Pembaruan produk terbaru terus memperluas jangkauan dan kegunaan Genie. Di antaranya:

• Dukungan unggah file: Pengguna kini dapat mengunggah file CSV atau Excel langsung ke percakapan Genie untuk eksplorasi ad-hoc instan.

• Metadata semantik yang disempurnakan: Genie kini lebih memahami dan menerapkan semantik bisnis dari Unity Catalog dan penyimpanan pengetahuan, meningkatkan akurasi kontekstual dalam respons.
• Akses lintas platform: Pengalaman Genie semakin konsisten di web, notebook, dan integrasi chat, memungkinkan pengalaman analitik terpadu bagi semua pengguna.
• Peningkatan kinerja dan optimasi: Pembuatan SQL lebih cepat, caching yang lebih baik, dan perencanaan kueri yang lebih cerdas mengurangi latensi dan meningkatkan responsivitas.

Mengevaluasi dan Meningkatkan Respons Genie

Setelah Anda membuat Genie Space, sebaiknya Anda terus mengevaluasi dan meningkatkan respons Databricks Genie sebagai praktik terbaik. Berikut beberapa gagasan:

Benchmarking dan umpan balik

Untuk menguji akurasi, Anda menyiapkan tolok ukur menggunakan pertanyaan uji dan jawaban SQL yang tepat dan benar. Sistem menilai kinerja Genie dengan membandingkan output yang dihasilkan dengan hasil yang Anda harapkan. Respons ini kemudian dikategorikan sebagai "Bagus" atau dikirim untuk "Tinjauan manual." Proses ini mengkuantifikasi kualitas dan keandalan jawaban Genie di berbagai kueri pengguna.

Pelatihan iteratif dan evaluasi respons

Genie memungkinkan pengguna memberi rating respons, menandai masalah, dan memberikan klarifikasi yang menginformasikan pelatihan dan penyetelan iteratif sistem. Siklus umpan balik ini membantu penulis menyempurnakan instruksi, contoh kueri SQL, dan metadata untuk lebih membimbing interpretasi Genie. Seiring waktu, penyesuaian ini meningkatkan kemampuan AI menangani beragam kueri dan mengurangi tingkat kesalahan.

Pemantauan dan alat peningkatan berkelanjutan

Databricks menawarkan berbagai alat pemantauan dan dasbor untuk mengevaluasi kesehatan operasional dan keterlibatan pengguna Genie. Alat-alat ini memungkinkan administrator melacak tingkat keberhasilan dan kegagalan kueri di seluruh Space. Anda juga dapat menggunakan alat ini untuk mengidentifikasi pertanyaan yang sering diajukan dan topik di mana Genie kesulitan atau memberikan hasil yang tidak konsisten. Alat tersebut akan membantu menganalisis tren umpan balik untuk menemukan area yang memerlukan pelatihan ulang atau klarifikasi, serta meninjau log sistem dan jejak audit untuk kepatuhan dan penjaminan kualitas.

Kesimpulan

Databricks Genie membantu mendorong demokratisasi data dengan memungkinkan orang di seluruh organisasi mendapatkan wawasan bermakna melalui pertanyaan bahasa alami yang sederhana. Dalam pekerjaan saya sendiri dengan alur kerja berfokus SQL, saya sering melihat bagaimana bahkan pertanyaan dasar dapat berubah menjadi permintaan teknis, sehingga menghapus hambatan tersebut benar-benar mengubah cara tim mengakses info.

Ke depan, pergeseran ini mencerminkan apa yang terjadi di seluruh dunia analitik. Analitik percakapan semakin alami dan sadar konteks. Genie akan terus berkembang dengan pemahaman semantik yang lebih dalam dan kecerdasan yang lebih proaktif.

Jika Anda ingin menjadi data engineer profesional, saya sarankan mengikuti Introduction to dbt dan Big Data Fundamentals with PySpark untuk mempelajari cara menjalankan pipeline ETL menggunakan SQL untuk analisis Big Data. Saya juga menyarankan melihat Big Data with PySpark skill track kami untuk mempelajari keterampilan praktis menggunakan PySpark API dalam proyek langsung. Sebagai langkah berikutnya, saya merekomendasikan Associate Data Engineer in SQL career track kami untuk menjadi data engineer yang andal.