Databricks Genie: Yapay Zekâ Destekli Soru-Cevap Databricks'te Nasıl Çalışır

Databricks Genie, kod gerektirmeyen, sohbet tabanlı bir analitik arayüzü olarak düz İngilizce soruları analitik sorgulara çevirir; anında içgörüler, görselleştirmeler ve özetler sunar.

Bunu, karmaşık SQL sorguları yazmadan saniyeler içinde yanıt veren bir veri uzmanıyla sohbet etmek gibi düşünebilirsiniz. Bu yazıda, tüm bunların nasıl çalıştığını göstereceğim.

Databricks’e hâlâ yeniyseniz, Databricks’in temel özelliklerini ve kullanım alanlarını öğrenmek ve yapılandırılmış bir öğrenme yoluna sahip olmak için Introduction to Databricks ve Databricks Concepts kurslarımızı almanızı öneririm. 

Databricks Genie’yi Anlamak

Databricks Genie, Databricks Data Intelligence Platformu genelinde kullanıcıların verilerle etkileşimini değiştiren yapay zekâ destekli bir sohbet arayüzüdür. Yapay zekâ, doğal dil işleme (NLP) ve iş zekâsının (BI) kesişiminde konumlanan Genie, kullanıcılara doğal dille soru sorma ve anında doğru, veriye dayalı yanıtlar alma olanağı tanır. Power BI Copilot, Tableau Ask Data, Amazon QuickSight Q ve ThoughtSpot gibi giderek büyüyen araç sınıfına da dahildir; bunların tümü doğal dille soru sormanıza izin verir. Genie’yi farklı kılan, Databricks ekosistemi içinde yer almasıdır; bu da onu büyük ölçekli veri ve analitik iş akışlarıyla minimum sorunla bütünleştirmesini sağlar.

Databricks Genie’nin temel ayırt edici özelliği, yüksek doğruluk ve bağlamsal anlayışı güvence altına almak için birden fazla uzmanlaşmış aracı katmanlayan gelişmiş, çok bileşenli mimarisidir. Katı sorgu oluşturuculara veya önceden tanımlı panolara dayanan geleneksel BI araçlarının aksine, Genie güçlü işleme modellerini doğrudan Databricks’in birleştirilmiş veri ve yönetişim çerçevesiyle entegre eder. Bu yaklaşım, Genie’nin doğal dildeki soruları dinamik olarak yorumlamasına, bunları gerekli veri yapılarına doğru şekilde eşlemesine ve tüm veri kaynaklarınızda kesin, çalıştırılabilir SQL sorguları üretmesine olanak tanır. SQL konusundaki geniş deneyimimden, Genie’nin anlaşılması ve sorun giderilmesi kolay, temiz SQL sorguları sunabilmesini özellikle takdir ediyorum.

Databricks Genie’nin Temel Özellikleri

Genie’nin Arkasındaki Mimari ve Teknoloji

Genie’nin neler yapabildiğine geçmeden önce, muhtemelen kaputun altında nasıl çalıştığını merak ediyorsunuzdur. Aşağıda, performans, esneklik ve doğruluk için tasarlanmış Genie’nin mimarisi ve teknolojisi yer alıyor.

Bileşik yapay zekâ sistemleri ve faydaları

Genie, birden çok uzmanlaşmış yapay zekâ bileşenini ve aracı yöneterek karmaşık problemleri çözen bir mimariye sahip bileşik bir Yapay Zekâ Sistemidir. Databricks belgeleri bunu üst düzeyde şöyle açıklar: Kullanıcı bir soru gönderdiğinde, Genie isteği ayrıştırır, ilgili veri kaynaklarını belirler ve uygun bir yanıt üretir.

• Niyet ayrıştırma / NLU aracısı: Kullanıcının metrik, filtre, zaman aralığı veya toplama gibi ne sorduğunu anlamak için.
• Planlayıcı/orkestrasyon aracısı: Çok adımlı veya bileşik soruları sıralı bir yürütme planına böler.
• Getirici/temellendirme aracısı: İsteği temellendirmek için doğru tabloları, sütunları, panoları ve önceki sorguları bulur.
• SQL oluşturma aracısı: Planı sözdizimsel olarak doğru ve optimize edilmiş SQL’e çevirir.
• Yürütme ve adaptör aracısı: Sorguyu doğru veri kaynağına karşı çalıştırır ve ham sonuçları biçimlendirir.
• Doğrulayıcı/güvenlik aracısı: İzinleri, veri kökenini kontrol eder ve sonucun yönetişim kurallarına uygun olmasını sağlar.
• Özetleyici/görselleştirme aracısı: İnsan dostu metin özetleri, grafikler ve tablolar oluşturur.

Genie AI’deki çok aracılı sistem önemlidir; çünkü her biri tek bir kullanım durumu için ince ayar yapılabilir. Ayrıca, coğrafi mekânsal veya zaman serisi uzmanları gibi yeni aracılar, sistemi tamamen baştan ele almadan eklenebilir. Bir geliştirici olarak her aracıyı ayrı ayrı denetleyip kıyaslayabilirsiniz.

Küratörlü anlamsal bilgi depoları

Bilgi deposu, Genie’ye kuruluşunuz içinde bağlam sağlar. Sonuç, dilden sorguya çevrimlerin daha doğru olmasıdır. Bileşenler şunları içerir:

• Anlamsal meta veriler: Kullanıcı dostu sütun adları, kanonik metrikler ve Genie’ye iş mantığını öğreten iş tanımları içerir.
• Değer örnekleme: Getiricinin ve SQL üreticisinin makul varsayılanlar seçmesine ve olası filtreleri tespit etmesine yardımcı olmak için sütun içeriklerinden küçük temsilî örneklerdir.
• Değer sözlükleri ve varlık listeleri: Kullanıcı terimlerini bu değerlere eşleyen ve eşanlamlıların doğru şekilde eşlenmesini sağlayan bir sözlüktür.
• Gömme vektörleri/vektör dizinleri: İlgili dokümanların, not defterlerinin, panoların ve önceki sorguların bulanık eşleştirme ve anlamsal getirilmesi için.
• Soy ağacı ve yönetişim meta verileri: Kimlerin neye erişebileceğini, güvenilir kaynakları ve son yenileme zaman damgalarını kontrol eder.

Genie yanıtları nasıl üretir

Aşağıda, Genie’de kullanıcı girişinden nihai sunuma tipik akış yer almaktadır:

Adım 1: Kullanıcı girişi (doğal dil)

Kullanıcı bir soru yazar veya bir dosya (CSV/Excel) yükleyip onunla ilgili bir soru sorar.

Adım 2: Niyet ayrıştırma ve normalizasyon

Orkestratör ve Niyet Aracısı sorguyu analiz eder. Kullanıcının erişim izni olduğu tablo ve sütunları görmek için Unity Catalog’a başvururlar.

Adım 3: Bağlam temellendirme (bilgi deposu + getirme)

Getirici, kullanıcı terimlerini somut tablolara, sütunlara ve kanonik metriklere eşlemek için anlamsal meta verileri, gömme dizinlerini ve son sorgu geçmişini kullanır.

Adım 4: Planlama ve ayrıştırma

Soru birden fazla adım içeriyorsa, planlayıcı görevi sıralı alt görevlere böler.

Adım 5: SQL / sorgu oluşturma

SQL oluşturma aracısı, optimize edilmiş ve denetlenebilir SQL (veya diğer sistemler için API çağrıları) üretir. Özet vs ayrıntı gibi birden fazla sorgu biçimi önerebilir ve maliyet tahminleri ile izinlere göre en iyisini seçebilir.

Adım 6: İzin ve yönetişim kontrolleri

Yürütmeden önce, bir doğrulayıcı rol tabanlı erişimi, veri hassasiyet etiketlerini, maskeleme kurallarını ve denetim gerekliliklerini kontrol ederek uyumu sağlar. Kullanıcının yetkisi yetersizse, sistem isteği reddeder veya maskelenmiş/güvenli bir alternatif döndürür.

Adım 7: Yürütme ve adaptör katmanı

Sistem, uygun işlem üzerinde (Databricks SQL ambarı, lakehouse tabloları, harici veritabanları veya yüklenen dosya adaptörleri) sorguları çalıştırır. Sonuçlar geri akıtılır ve yanıt verebilirlik için örneklenir.

Adım 8: Son işlem ve doğrulama

Sonuçlar doğrulanır; bir şey hatalı görünürse, doğrulayıcı yeniden çalıştırma tetikleyebilir veya kullanıcıya açıklayıcı bir soru yöneltebilir.

Adım 9: Özetleme, görselleştirme ve açıklama

Bir özetleyici, sade dilli çıkarımlar ve önerilen görselleştirmeler üretir; görselleştirme aracısı grafik ve tabloları oluşturur ve paylaşılabilir içgörü kartları hazırlar.

Adım 10: Geri bildirim döngüsü ve öğrenme

Kullanıcı geri bildirimi ve sorgu günlükleri, bilgi deposunu iyileştirmek, eşanlamlıları rafine etmek ve gerekirse aracıları yeniden eğitmek için geri beslenir.

Genie Spaces Nedir ve Nasıl Kurulur

Genie Spaces, sohbet analitiğine güç veren veri, anlamsal yapı ve iş mantığını tanımlayan Databricks Genie içindeki küratörlü ortamlardır. Bir Genie Space’i, Genie’ye hangi verileri kullanacağını, bunların ne anlama geldiğini ve nasıl yorumlanması gerektiğini söylediğiniz bağlam katmanı olarak düşünün.

Databricks’te Genie Spaces’i nasıl kuracağınızı göstereceğim.

Teknik gereksinimler ve ilk kurulum

Bir Genie Space oluşturmadan önce şu teknik ve yönetişim önkoşullarının hazır olması gerekir:

• Hesaplama kaynakları: Databricks çalışma alanınızda, sorgu yürütme için etkin bir SQL ambarı veya işlem kümesi bulunduğundan emin olun.
• İzinler: Veri kümelerine erişmek ve onları yönetmek için uygun Unity Catalog ayrıcalıklarına ve ayrıca Genie içinde yönetici veya editör izinlerine ihtiyacınız olacak.
• Yönetişim kurulumu: Çalışma alanında uyumu sağlamak için veri soy ağacı takibi, sınıflandırma etiketleri ve erişim politikaları önceden tanımlanmış olmalıdır.

İlk kurulum için, yeni bir Genie Space’i Databricks arayüzü üzerinden veya REST API ile oluşturmak üzere şu adımları kullanabilirsiniz:

• SQL Persona’da "Genie Spaces" bölümüne gidin.

• "Create Space"e tıklayın ve "Finance Analytics" gibi bir ad verin.

• Bu Alan için "kapsam dahilinde" olacak Unity Catalog’daki tablo ve görünümleri seçin. 

• Alanı kaydedin ve yetkili ekiplerin kullanımı için yayımlayın.

Alanı yapılandırma ve kürasyon

Alanı oluşturduktan sonra sonraki adım, bilgi deposunu küratörlüğünü yapmaktır. Bu adım, yorumlanabilirliği ve kullanıcı deneyimini iyileştirmek için Genie Space’i anlamsal ayrıntılar ve örneklerle zenginleştirir. Bunu başarmak için şunları yapabilirsiniz:

• Sütun meta verilerini düzenleyin: Genie’nin kullanıcı niyetini daha iyi anlaması için kullanıcı dostu adlar, iş tanımları ve kullanım notları ekleyin.

• SQL ifadeleri tanımlayın: "Net Revenue" gibi özel metrikler, hesaplanmış alanlar veya takma adlar oluşturun.

• Güvenilir varlıklar ekleyin: İlgili panoları, not defterlerini veya başvuru tablolarını güvenilir veri kaynakları olarak da ilişkilendirebilirsiniz.
• Örnek sorgular ekleyin: Genie’nin bağlam öğrenmesine ve kullanıcıları yönlendirmesine yardımcı olacak örnek sorular ve yanıtlar ekleyin.

Kapsamı tanımlama ve alan uzmanlarını dahil etme

Her Genie Space’in net bir amacı ve hedef kitlesi olmalıdır. Örneğin, bir Satış Analitiği Alanı pipeline, rezervasyonlar ve gelir üzerine odaklanabilir. Benzer şekilde, bir Müşteri İçgörüleri Alanı, ayrılma oranı (churn), etkileşim ve NPS verileri etrafında şekillenebilir. Alanları açıkça tanımlamak, kafa karışıklığını önler ve yanıtların hassasiyetini artırır.

Ayrıca ilgili iş biriminden alan uzmanlarını dahil etmek de önemlidir. Bir Satış Alanı oluşturuluyorsa, Alanı kuran veri analistinin Satış Müdürüyle doğrudan çalışması gerekir. Bu uzmanlar, doğru iş terminolojisini sağlar, KPI tanımlarını doğrular ve ekiplerinin yanıtlaması gereken yaygın sorulara hâkimdir.

Yönerge türleri ve kıyaslama

Bilgi Deposu içinde Genie’yi farklı amaçlara hizmet edecek birkaç yolla yönlendirebilirsiniz:

• SQL ifadeleri: Genie’ye karmaşık metrikleri veya KPI’ları nasıl hesaplayacağını öğretin.
• Örnek sorgular: Kullanıcıların soruları etkili şekilde nasıl sorabileceğini gösteren somut örnekler sağlayın.
• Örnek sorular: Keşfi teşvik eden, Genie sohbet penceresinde görünen hızlı başlangıç komutları sunun.

Tutarlı kalite için, her zaman tüm Alanlarda temsilî soruları çalıştırarak Genie’nin yanıtlarını test edip kıyaslayın. Ayrıca sonuçları doğruluk, bütünlük ve uyum açısından doğrulayın.

Kullanıcı etkileşimi ve yönetişim

Genie Space’i yapılandırdıktan sonra, onunla sohbet arayüzü üzerinden etkileşime geçebilirsiniz. Burada, Alanın alanıyla ilgili doğal dilde sorular sorabilirsiniz. Ayrıca sonuçları iyileştirmek için takip soruları yöneltebilir ve geri bildirim sağlayabilirsiniz. Arayüz, sonuçları özetler, görselleştirmeler ve veri tabloları dahil farklı formatlarda görüntülemenize olanak tanır.

Genie’nin yönetişim ve izinleri otomatik olarak uyguladığını, yalnızca kullanıcıların yetkili olduğu verileri açığa çıkardığını not etmek önemlidir. Rol tabanlı erişim, veri maskeleme ve soy ağacı görünürlüğü, tüm etkileşimlerin güvenli ve denetlenebilir kalmasını sağlar.

Entegrasyon, API’ler ve İleri Düzey Kullanım Senaryoları

Databricks Genie, sohbet analitiğini daha geniş iş uygulamaları, iş birliği araçları ve yapay zekâ sistemleri ekosistemine bağlayan esnek API uç noktaları ve entegrasyon seçenekleri sunar. Aşağıda bu özelliklerden bazılarına bakalım.

Genie Conversation API ve entegrasyonlar

Genie Conversation API, geliştiricilerin NLP’yi doğrudan iş uygulamalarına, sohbet botlarına ve harici veri sistemlerine bağlamasına olanak tanır. Bu API, kimlik doğrulama, bir sohbet başlatma, sorgu durumunu kontrol etme ve sonuçları JSON formatında alma gibi gerekli adımları yönetir; böylece veriler çeşitli platformlara kolayca ayrıştırılıp entegre edilebilir.

Genie ayrıca, makalede daha önce bahsettiğim popüler iş birliği platformlarıyla, Slack, Microsoft Teams ve Databricks not defterleri dahil, entegrasyonu destekler. Yakında daha fazla entegrasyon olacağından eminim.

Databricks API kullanarak entegrasyonları uygularken, güvenilirliği korumak için eşzamanlı sorgu istekleri, belirteç limitleri ve yanıt önbellekleme gibi sınırlara dikkat edin. Entegrasyonu optimize etmek için toplu istekler, sık sorguların önbelleğe alınması ve yoğun olmayan zamanlara iş planlama kullanın.

Gelişmiş özellikler ve çok aracılı sistemler

Genie’nin mimarisi, daha karmaşık ve sofistike analitik iş akışlarını mümkün kılan çok bileşenli işleme sistemlerini kullanır. Bu gelişmiş kurulumlar, tematik çıkarım, duygu analizi ve birden fazla veri kümesi arasında içgörüleri bütünleştirme gibi karmaşık görevlerin üstesinden gelmesini sağlar. Sistemin büyüyen bilgi deposu, iş terimlerinin daha zengin tanımlarını ve çok daha geniş bir veri bağlamını sağlayarak bu yetenekleri daha da artırır.

Yeni nesil bilgi deposu ve ürün güncellemeleri

Yakın tarihli ürün güncellemeleri, Genie’nin erişimini ve kullanılabilirliğini genişletmeye devam ediyor. Şunları içerirler:

• Dosya yükleme desteği: Kullanıcılar artık anında, geçici keşif için CSV veya Excel dosyalarını doğrudan Genie sohbetlerine yükleyebilir.

• Geliştirilmiş anlamsal meta veriler: Genie artık Unity Catalog ve bilgi deposundaki iş semantiğini daha iyi anlıyor ve uyguluyor; bu da yanıtlarda bağlamsal doğruluğu artırıyor.
• Platformlar arası erişilebilirlik: Genie deneyimleri web, not defteri ve sohbet entegrasyonları arasında giderek daha tutarlı hale geliyor; bu da tüm kullanıcılar için birleşik bir analitik deneyimi sağlıyor.
• Performans ve optimizasyon iyileştirmeleri: Daha hızlı SQL üretimi, geliştirilmiş önbellekleme ve daha akıllı sorgu planlama, gecikmeyi azaltır ve yanıt verebilirliği artırır.

Genie Yanıtlarını Değerlendirme ve İyileştirme

Genie Space’i oluşturduktan sonra, en iyi uygulama olarak Databricks Genie’nin yanıtlarını değerlendirmeye ve sürekli iyileştirmeye devam etmelisiniz. İşte bazı fikirler:

Kıyaslama ve geri bildirim

Doğruluğu test etmek için, test soruları ve bunların tam, doğru SQL yanıtlarını kullanarak kıyaslamalar kurarsınız. Sistem, Genie’nin performansını ürettiği çıktıyı beklenen sonuçla karşılaştırarak puanlar. Bu yanıtlar ardından "İyi" olarak kategorize edilir veya "Manuel inceleme"ye gönderilir. Bu süreç, çeşitli kullanıcı sorguları arasında Genie’nin yanıtlarının kalitesini ve güvenilirliğini ölçer.

Yinelemeli eğitim ve yanıt değerlendirme

Genie, kullanıcıların yanıtları oylamasına, sorunları işaretlemesine ve sistemin yinelemeli eğitimi ile ince ayarını bilgilendiren açıklamalar sağlamasına olanak tanır. Bu geri bildirim döngüsü, yazarların yönergeleri, örnek SQL sorgularını ve meta verileri rafine ederek Genie’nin yorumlarını daha iyi yönlendirmesine yardımcı olur. Zamanla bu ayarlamalar, yapay zekânın çeşitli sorguları ele alma yeteneğini artırır ve hata oranlarını düşürür.

İzleme ve sürekli iyileştirme araçları

Databricks, Genie’nin operasyonel sağlığını ve kullanıcı etkileşimini değerlendirmek için farklı izleme araçları ve panolar sunar. Bu araçlar, yöneticilerin Alanlar genelinde sorgu başarı ve hata oranlarını takip etmesine olanak tanır. Ayrıca sık sorulan soruları ve Genie’nin zorlandığı veya tutarsız sonuçlar verdiği konuları belirlemek için bu araçlardan yararlanabilirsiniz. Araçlar, yeniden eğitim veya netleştirme gereken alanları tespit etmek üzere geri bildirim trendlerini analiz etmeye ve uyum ile kalite güvencesi için sistem günlüklerini ve denetim izlerini incelemeye yardımcı olur.

Sonuç

Databricks Genie, bir kuruluş genelinde insanların basit doğal dil sorularıyla anlamlı içgörüler elde etmesini sağlayarak veri demokratikleşmesini ileri taşıdı. SQL odaklı iş akışlarıyla kendi çalışmalarımdan, en basit soruların bile teknik taleplere dönüşebildiğini sıkça gördüm; bu engelin kaldırılması, ekiplerin bilgiye erişme şeklini gerçekten değiştiriyor.

İleriye baktığımızda, bu değişim analitik dünyasında olup bitenleri yansıtıyor. Sohbet analitiği giderek daha doğal ve bağlamdan haberdar hale geliyor. Genie, daha derin anlamsal anlayış ve daha proaktif zekâyla evrilmeye devam edecek.

Profesyonel bir veri mühendisi olmak istiyorsanız, Büyük Veri analizi için SQL kullanarak ETL hatlarını nasıl yürüteceğinizi öğrenmek üzere Introduction to dbt ve Big Data Fundamentals with PySpark kurslarımızı almanızı öneririm. Ayrıca, PySpark API’sini pratik bir projede kullanarak beceriler kazanmak için Big Data with PySpark beceri yolumuzu incelemenizi tavsiye ederim. Bir sonraki adım olarak, yetkin bir veri mühendisi olmak için Associate Data Engineer in SQL kariyer yolumuzu öneririm.