Databricks SQL: Ölçeklenebilir SQL İş Yükleri için Kapsamlı Rehber

Databricks SQL, Databricks Lakehouse platformu içinde veri yönetimi ve analitiği için tasarlanmış güçlü bir araçtır. Bu platform, veri mühendisliği, veri bilimi ve iş analitiğini tek bir deneyimde birleştirir. Bu nedenle, Databricks SQL, geleneksel altyapı yönetiminin karmaşıklığı olmadan veri iş akışlarını, sorgu yürütmeyi ve BI görevlerini sadeleştirmek isteyen veri profesyonelleri için önemlidir.

Bu yazıda, Databricks SQL'in bileşenlerini, özelliklerini ve araçlarını inceleyecek ve Databricks SQL warehouse oluşturma ve kullanmaya dair pratik örnekler göstereceğim. Başlarken, Databricks'i İş Zekâsı (BI) için bir veri ambarı çözümü olarak öğrenmek üzere DataCamp’in Introduction to Databricks kursunu almanızı şiddetle öneririm; SQL'e optimize edilmiş yeteneklerden yararlanarak sorgular oluşturup verileri analiz edeceksiniz.

Databricks SQL nedir?

Databricks SQL, Databricks Lakehouse platformu içinde yer alan ve veri profesyonellerinin SQL sorguları çalıştırmasına, verileri analiz etmesine ve etkileşimli panolar oluşturmasına olanak tanıyan sağlam bir analitik aracıdır. Sunucusuz mimari ile tasarlanan Databricks SQL, veri göllerinin esnekliğini veri ambarlarının yönetişim ve performans yetenekleriyle birleştirir.

Databricks SQL'in temel bileşenleri arasında SQL Warehouses, SQL Editors ve SQL Dashboards bulunur. Bunların her birine aşina değilseniz endişelenmeyin; aşağıda her birinin ne anlama geldiğine değineceğim.

Databricks SQL ve SQL Server ile Diğerleri

MySQL, PostgreSQL veya SQL Server gibi işlem odaklı veritabanları için tasarlanmış diğer SQL lehçelerinden farklı olarak, Databricks SQL bir Lakehouse ortamında büyük ölçekli analitik için optimize edilmiştir. Geleneksel SQL veritabanları yapılandırılmış veri depolamaya odaklanırken, Databricks SQL veri gölleriyle entegre olur ve bir veri ambarının performansını korur. Sunucusuz SQL depoları ile altyapıyı yönetmeye gerek yoktur; kaynaklar otomatik olarak sağlanır ve esnek şekilde ölçeklenir.

Ayrıca şunu da belirtmek isterim: Databricks SQL'de sorgu yürütme, vektörleştirilmiş işlemeyi destekleyen Photon motoru sayesinde daha hızlıdır. Son olarak: Databricks SQL, BI ve iş birliği için geliştirilmiştir; Power BI, Tableau ve Looker için yerel destek sunar.

Databricks SQL'in Temel Bileşenleri

Databricks SQL'in temel bileşenleri, kullanıcılar arasında verimli sorgulama, veri görselleştirme ve iş birliğini kolaylaştırır. Aşağıda Databricks SQL içinde mevcut olan başlıca araç ve özelliklere genel bir bakış yer almaktadır.

SQL Warehouses

SQL Warehouses, Databricks SQL'de SQL sorgularını yürütmek için hesaplama kaynakları olarak hizmet verir. Değişken iş yüklerini karşılamak üzere tasarlanmıştır ve seçilen depo türüne göre performans iyileştirmeleri sunar. Üç ana SQL Warehouse türü vardır:

• Classic: Bu tür temel işlevleri destekler ve giriş seviyesi performans için uygundur. Bulut hesabınızdaki mevcut hesaplama katmanını kullanır ancak Intelligent Workload Management (IWM) ve Predictive IO gibi gelişmiş özelliklerden yoksundur.
• Pro: Pro SQL Warehouses, SQL işlemlerini hızlandıran ve güvenlik seçeneklerini iyileştiren vektörleştirilmiş bir sorgu motoru olan Photon desteğiyle gelişmiş performans sunar.
• Serverless Altyapı yönetimini, kaynakları otomatik olarak sağlayıp esnek şekilde ölçekleyerek ve düşük gecikmeli sorgu yürütmesini garanti ederek ortadan kaldırır. Değişken iş yüklerine sahip ortamlar için idealdir ve uygun maliyetli performans sunar.

Databricks SQL'de SQL Warehouse. Görsel: Yazar.

SQL Editor

SQL Editor, kullanıcıların SQL sorguları yazmasına, yürütmesine ve yönetmesine olanak tanıyan kullanıcı dostu bir arayüzdür. SQL Editor'ün başlıca özellikleri şunlardır:

• Sezgisel Sorgulama: Söz dizimi vurgulama, otomatik tamamlama ve hata tespiti ile verimli sorgu yazmayı destekler.
• Veri Önizleme: Kullanıcılar verileri doğrudan editör içinde önizleyebilir, bu da karmaşık sorguları çalıştırmadan önce veri kümelerini anlamayı kolaylaştırır.
• Sorgu Sonucu Önbellekleme: Bu özellik, önceki sorgu sonuçlarını önbelleğe alarak yinelenen sorgularda yanıt sürelerini hızlandırır.
• Parametreli Sorgular: Kullanıcılar parametreler ekleyerek dinamik sorgular oluşturabilir; bu, benzer sorguları farklı değerlerle çalıştırmayı kolaylaştırır.

Databricks SQL'de SQL Editor. Görsel: Yazar.

Dashboards

Panolar, sorgu sonuçlarını etkileşimli grafiklere, diyagramlara ve bileşenlere dönüştürerek veri görselleştirmeyi mümkün kılar. Panolar, temel metrikleri izlemek ve bir organizasyon genelinde içgörüleri etkili bir şekilde iletmek için idealdir. Panoların temel yetenekleri şunlardır:

• Gerçek Zamanlı Analitik: Canlı sorgu sonuçlarına göre panoları otomatik olarak yenileyin.
• İş Birliği: Veriye dayalı kararları teşvik etmek için panoları ekipler arasında paylaşın.
• Özelleştirme: Özel ihtiyaçlara uygun çeşitli görselleştirme türleri ve yerleşim seçenekleri arasından seçim yapın.

Databricks SQL'de Panolar. Görsel: Yazar.

Uyarılar

Databricks SQL'deki uyarılar, veri değişimlerini izlemek ve belirlenen koşullar karşılandığında bildirimler tetiklemek için bir yol sağlar. Uyarılar, veri kalitesini korumak ve önemli değişikliklere zamanında yanıt vermek için gereklidir. Uyarı işlevi şu şekilde çalışır.

• Koşulları Belirleyin: Sorgu sonuçlarına dayalı eşikler veya kurallar tanımlayın.
• Bildirimleri Tetikleyin: Koşullar karşılandığında e-posta, Slack veya diğer entegrasyonlar aracılığıyla uyarılar alın.
• Proaktif İzleme: Veri anormallikleri veya sistem sorunları gibi kritik olaylardan gerçek zamanlı olarak haberdar olun.

Sorgu geçmişi ve profilleme

Son olarak, Databricks SQL'in sorgu geçmişini ve profillemeyi izlemek için araçlar sunduğunu belirtmek isterim:

• Sorgu Geçmişi: Bu özellik, kullanıcıların daha önce yürütülen sorguları gözden geçirmesine ve zaman içindeki performanslarına dair içgörüler edinmesine olanak tanır. Eğilimleri veya tekrarlayan sorunları belirlemeye yardımcı olur.
• Sorgu Profilleme: Sorgu profilleme araçları, yürütülen sorguların verimliliğini analiz eder, darboğazları vurgular ve iyileştirmeler önerir. Bu yetenek, genel sorgu performansını ve kaynak kullanımını artırmak açısından önemlidir.

Databricks SQL'de Sorgu Geçmişi. Görsel: Yazar.

Databricks SQL'deki Temel Özellikler ve Araçlar

Databricks SQL, gelişmiş özellikler ve araçlarla doludur. Bu özellikler, performansı artırmak, iş akışlarını sadeleştirmek ve diğer araçlarla sorunsuz entegrasyon sağlamak için tasarlanmıştır. Databricks SQL'i bu kadar iyi bir seçim yapan bazı temel unsurlara bakalım.

Photon Motoru

Photon Motoru, Databricks tarafından SQL sorgu yürütmesini önemli ölçüde hızlandırmak için geliştirilen yüksek performanslı, vektörleştirilmiş bir sorgu motorudur. Photon Motoru'nun başlıca faydaları şunlardır:

• Vektörleştirilmiş Yürütme: Geleneksel satır bazlı işlemeye kıyasla Photon, verileri paketler halinde işleyen vektörleştirilmiş yürütmeyi kullanır. Bu yaklaşım, verimliliği artırmak için SIMD (Single Instruction, Multiple Data) gibi gelişmiş CPU talimatlarından yararlanmasını sağlar.
• Mevcut İş Yükleriyle Entegrasyon: Photon, Apache Spark API'leriyle tamamen uyumludur; bu da kullanıcıların mevcut kodu değiştirmeden onu etkinleştirebileceği anlamına gelir. Bu sorunsuz entegrasyon, kapsamlı yeniden çalışma gereksinimi olmadan kuruluşların gelişmiş performanstan yararlanmasını sağlar.
• Önbellekleme ve İyileştirme: Motor, gelişmiş bir sorgu iyileştirici ve hangi verilerin önbelleğe alınacağını akıllıca seçen bir önbellek katmanı içerir; bu da sorgu performansını daha da artırır. 

CloudFetch ve Async I/O

CloudFetch ve Async I/O, veri aktarım hızlarını artırmak ve sorgu yürütme sırasında küçük dosyaların işlenmesini iyileştirmek için tasarlanmış özelliklerdir. Bu özellikler şu şekilde çalışır:

• CloudFetch: Sonuçların bulut depolamaya yazılmasını, tüm hesaplama düğümleri arasında paralel yazımlara izin vererek optimize eder. Büyük veri kümelerinin istemcilere geri aktarılması için gereken süreyi önemli ölçüde azaltır; gerçek senaryolarda 10 kata kadar daha hızlı performans sağlar.
• Async I/O: Bu yetenek, geçerli bloklar işlenirken birden fazla veri bloğunu eşzamanlı okuyarak küçük dosyaların işlenmesini geliştirir. Bu yaklaşım, küçük dosyalarla (ör. 1MB) çalışırken genel sorgu performansını 12 kata kadar artırabilir. Özellikle çok sayıda küçük dosyanın bulunduğu veya önbelleğe alınmamış "soğuk veri" içeren senaryolarda etkilidir.

BI araçlarıyla entegrasyon

Databricks SQL, popüler İş Zekâsı (BI) araçlarıyla sorunsuz şekilde entegre olur ve ekiplerin verileri analiz edip görselleştirmesini kolaylaştırır. Desteklenen entegrasyonlar şunları içerir:

• Power BI: Kullanıcılar Databricks çalışma alanlarını doğrudan Power BI ile bağlayarak veri modellerinin kolay senkronizasyonunu sağlayabilir. Örneğin, analistler, tablolardaki tanımlı ilişkileri manuel müdahale olmaksızın koruyarak raporları doğrudan Databricks'ten Power BI'a yayımlayabilir.
• Tableau: Kullanıcılar, Databricks SQL'de depolanan verileri görselleştirmek için canlı bağlantılardan yararlanabilir. Bu entegrasyon, en güncel veri güncellemelerini yansıtan gerçek zamanlı analitik ve etkileşimli panolar sağlar.
• dbt: Databricks SQL ayrıca dbt (data build tool) ile entegredir ve ekiplerin dönüşümlerini doğrudan Databricks ortamında yönetmesini sağlar. Bu entegrasyon, artımlı modelleri ve materyalize görünümleri destekleyerek sağlam veri hatları oluşturma ve sürdürme sürecini sadeleştirir.

Sunucusuz mimari

Databricks SQL’in sunucusuz mimarisi, iş yükü taleplerine göre kaynakları otomatik olarak sağlayıp ölçekleyerek manuel altyapı yönetimi ihtiyacını ortadan kaldırır. Sunucusuz mimari, kesinti olmadan değişken sorgu yüklerini karşılamak üzere kaynakları otomatik olarak ayarlar. Bu özellik, kullanıcıların kümeleri elle yapılandırmasını veya bakımını gerektirmez. Ayrıca sunucusuz mimari maliyet açısından verimlidir; kullanıcılar yalnızca sorgu yürütme sırasında kullanılan kaynaklar için ödeme yapar.

Örneğin, bir perakende şirketi yoğun iş saatlerinde yüksek sorgu yükleri yaşar. Sunucusuz mimari, tutarlı performansı sağlamak için kaynakları otomatik olarak artırır ve maliyet tasarrufu için yoğun olmayan saatlerde azaltır.

Databricks SQL Warehouses Oluşturma ve Kullanma Adım Adım Rehber

Databricks SQL Warehouses, Databricks ortamında SQL sorgularını verimli şekilde yürütmek için gereklidir. Şimdi bu bölümde, bir SQL deposu oluşturma ve bunu not defterleriyle kullanma sürecinde size yol göstereceğim. Veri ambarlarına dair bilginizi tazelemeniz gerekirse, veri modelleme ve veri dönüşümünün temellerini öğrenmek için Data Warehousing Concepts kursumuzu öneririm.

Databricks SQL Warehouse Oluşturma

Databricks web arayüzünü kullanarak bir SQL Warehouse oluşturmak için şu adımları izleyin:

Adım 1: Databricks SQL sayfasına gidin

Databricks çalışma alanından, kenar çubuğundaki SQL simgesine tıklayın.

Databricks SQL sayfası. Görsel: Yazar.

Adım 2: SQL Warehouses sekmesini açın

SQL sayfasında, SQL Warehouses sekmesine gidin.

Databricks SQL Warehouse sekmesi. Görsel: Yazar.

Adım 3: "Create Warehouse"a tıklayın

Create Warehouse düğmesine tıklayarak yeni SQL Warehouse yapılandırmasına başlayın.

Databricks SQL'de SQL Warehouse oluşturma. Görsel: Yazar.

Adım 4: Temel ayarları yapılandırın

Depo ayarlarını aşağıdaki seçenekleri kullanarak yapılandırın.

• Ad: SQL Warehouse'ınız için benzersiz ve açıklayıcı bir ad verin.
• Küme Boyutu: İş yükü gereksinimlerinize göre küme boyutunu seçin. Söylemeye gerek yok, daha büyük kümeler daha fazla eşzamanlı sorgu ve daha büyük veri kümelerini işler.
• Otomatik Durdurma: Depo kullanılmadığında otomatik olarak durdurmak için boşta kalma zaman aşımı süresini ayarlayın. Bana göre on dakika makul görünüyor. Bu, boşta kaldığında kaynakları serbest bırakarak maliyetleri düşürür.
• Ölçekleme: Sorgu yüküne göre kaynakları dinamik olarak ayarlamak için Otomatik Ölçeklemeyi etkinleştirin. Ölçeklenecek minimum ve maksimum küme sayısını belirtin.
• Sunucusuz Seçeneği: Hesabınızda mevcutsa, basitleştirilmiş yönetim ve otomatik ölçekleme için Serverless SQL Warehouse seçeneğini tercih edin.

Databricks SQL Warehouse için temel ayarları yapılandırın. Görsel: Yazar.

Adım 5: Gelişmiş seçenekler (İsteğe bağlı)

Gerekirse, Photon’u etkinleştirme veya belirli SQL yapılandırmalarını ayarlama gibi gelişmiş seçenekleri yapılandırın.

Databricks SQL Warehouse için gelişmiş ayarları yapılandırın. Görsel: Yazar.

Adım 6: Depoyu kaydedin ve başlatın

Create düğmesine tıklayarak yapılandırmanızı kaydedin. Oluşturulduktan sonra, depoyu çalışır hâle getirmek için başlatın.

Databricks SQL Warehouse oluşturma. Görsel: Yazar.

Adım 7: İzinleri ayarlayın (İsteğe bağlı)

Oluşturmanın ardından, kullanıcılara veya gruplara depoya erişim verebileceğiniz bir izin penceresi açılır.

Databricks SQL Warehouse izinlerini yönetme. Görsel: Yazar.

Oluşturulduktan sonra, SQL deponuz otomatik olarak başlar ve hemen sorgu çalıştırmanıza olanak tanır.

Databricks SQL Warehouse örneği. Görsel: Yazar.

Databricks SQL Warehouse ile Notebook Kullanma

Yeni oluşturduğunuz SQL deposunu kullanarak bir not defterinde SQL sorguları çalıştırmak için şu adımları izleyin:

Adım 1: Bir Not Defteri açın veya oluşturun

Databricks çalışma alanından yeni bir not defteri oluşturun veya mevcut bir not defterini açın.

Databricks SQL Warehouse oluşturmak için yeni bir Not Defteri oluşturma. Görsel: Yazar.

Adım 2: SQL Warehouse’u iliştirin

Notebook araç çubuğunda, hesaplama seçicisini veya bağlantıyı (genellikle üst kısımda görüntülenir) bulun. Mevcut hesaplama kaynaklarını gösteren bir açılır menüyü açmak için tıklayın. Listeden SQL deponuzu seçin. Görünmüyorsa, tüm mevcut depoları görmek için More… seçeneğine tıklayın. İstediğiniz SQL deposuna tıklayın ve ardından Start and attach seçeneğini belirleyin.

Databricks SQL Warehouse'da Not Defteri iliştirin. Görsel: Yazar.

Adım 3: SQL sorguları yazın

İliştirdikten sonra, not defterinizde SQL sorguları için hücreler oluşturabilirsiniz. Not defterinde SQL sorguları çalıştırmak için %sql sihirli komutunu kullanın.

Databricks SQL Warehouse'da SQL sorguları yazın. Görsel: Yazar.

Adım 4: Sorguları yürütün

Sorgunuzu yürütmek için hücreyi çalıştırın. Sonuçlar, verileri önizlemeyi kolaylaştırmak için doğrudan hücrenin altında görüntülenecektir.

Databricks SQL Warehouse'da SQL sorguları yürütün. Görsel: Yazar.

Bir SQL Warehouse ile Notebook kullanırken dikkat edilmesi gerekenler

Not defterlerini SQL Warehouses ile kullanırken dikkat edilmesi gereken bazı noktalar şunlardır:

• Sorgu Sınırları: SQL Warehouses, sık, düşük gecikmeli işlem sorguları için değil, analitik sorgular için optimize edilmiştir.

• Veri Önizleme: Büyük veri kümeleri için, performans darboğazlarından kaçınmak üzere LIMIT ifadesini kullanmak gibi sorgu sonuçlarını sınırlamayı düşünün.

• Sorgu Önbellekleme: Yinelenen sorguları hızlandırmak için sonuç önbelleklemeden yararlanın.

• Kaynak Kullanımı: İş yükü ihtiyaçlarınızı karşılamak için küme boyutu ve ölçekleme ayarlarının uygun olduğundan emin olmak üzere SQL Warehouse'un kullanımını izleyin.

Sonuç

Databricks SQL, veri gölleri ile veri ambarları arasındaki boşluğu kapatan, modern veri analitiği ve iş zekâsı için birleşik bir çözüm sunan güçlü bir platformdur. İster panolar oluşturuyor, ister sorguları optimize ediyor, ister uyarılarla verileri izliyor olun, Databricks SQL günümüzün veri zorluklarını karşılamak için gereken esnekliği ve performansı sunar. Databricks SQL'in özelliklerini ve yeteneklerini keşfederek veri iş akışlarınızı geliştirmeye, iş birliğini güçlendirmeye ve daha akıllı, daha hızlı kararlar almaya sizi teşvik ediyorum. 

Profesyonel bir veri mühendisi olmakla ilgileniyorsanız, veri mühendislerinin veri bilimcilerle iş birliğini kolaylaştırmak üzere verileri nasıl depolayıp işlediğini öğrenmek için Understanding Data Engineering kursumuzu şiddetle öneririm. Ayrıca, gerçek dünya projelerini kullanarak karar alma süreçlerini desteklemek için SQL'i nasıl kullanacağınızı öğrenmek üzere Data-Driven Decision-Making in SQL kursumuzu öneririm. Ve elbette, harika cloud courses seçeneklerimize de göz atmayı unutmayın.