Databricks Unity Catalog: Yeni Başlayanlar için Rehber

Databricks Unity Catalog hakkında yeni mi duydunuz? Şimdi bunun neyle ilgili olduğunu ve modern veri yönetiminde nasıl bir rol oynadığını merak ediyor olabilirsiniz.

Bu kapsamlı rehber, sizi Databricks Unity Catalog ile tanıştıracak ve modern veri yığınında veri analitiğindeki önemini anlamanıza yardımcı olacaktır.

Databricks Unity Catalog nedir?

Databricks Unity Catalog, analitik iş yükleri için veri yönetimini basitleştiren ve düzenleyen birleşik bir veri yönetişimi hizmetidir. Farklı iş zekâsı araçları, veritabanları, veri ambarları ve veri gölleri tarafından kullanılan tüm farklı meta veri türlerini tek bir merkezi konumda bir araya getirir. Bu, sistemler arası birlikte çalışabilirliği teşvik ederek, yapılandırılmış ve yapılandırılmamış verilere erişimi ve bunları bulmayı kolaylaştırır.

Kurumlar veri operasyonlarını ölçeklendirdikçe, birden fazla veri platformunda erişim, yönetişim ve uyumluluğu yönetmek karmaşık hâle gelir. Unity Catalog, meta veriler, erişim kontrolü ve soy kütüğü (lineage) takibi için birleşik bir katman sağlayarak bu zorluğu ele alır ve operasyonel yükü azaltır.

Bu merkezi veri yönetişimi yaklaşımı, aşağıdakiler gibi ortak veri ürünlerinin paylaşılmasında bazı faydalar sağlar:

• Makine öğrenimi modelleri
• Not defterleri (notebooks)
• Panolar (dashboards)
• Dosyalar

Databricks Unity Catalog’un temel bileşenleri şunlardır:

• Metastore: Veri keşfini basitleştiren ve veri soy kütüğünü iyileştiren meta veri için bir depolama katmanı.
• Catalog: Veri varlıklarını depolamak, yönetmek ve keşfetmek için merkezi bir havuz.
• Şema (Schema): Databricks Unity Catalog’da veri varlıklarını düzenlemek ve yönetmek için kullanılan bir veri modeli.
• Granülarite: Meta veri takibinde mevcut ayrıntı düzeyi. Ekiplerin farklı seviyelerde (katalog, şema, tablo hatta sütun) erişimi yönetmesine olanak tanıyarak veri varlıkları üzerinde ince taneli kontrol sağlar.".
• Tablolar, görünümler ve hacimler (volumes): Databricks Unity Catalog’da yapılandırılmış ve yapılandırılmamış veriyi temsil etmek için kullanılan temel veri nesneleri.
• Veri soy kütüğü (Data lineage): Verinin kaynağından hedefine akışının görsel temsili; değişiklikleri takip etmeye ve veri bütünlüğünü sağlamaya yardımcı olur.

Bu bileşenler, veri yönetimini basitleştiren ve ekipler arası işbirliğini teşvik eden kapsamlı bir veri yönetişimi çözümü sunmak için birlikte çalışır.

Unity Catalog’un faydaları

Aşağıda belirttiğimiz gibi, Databricks Unity Catalog kullanmanın birkaç temel faydası vardır:

1. Veri yönetişimi ve uyumluluk

Databricks Unity Catalog, meta verileri saklamak ve yönetmek için merkezi bir konum sağlayarak farklı sistemler arasında veri yönetişimini ve uyumluluğu sağlar.

Örneğin, Unity Catalog üretimdeki makine öğrenimi modellerinde olası Kişisel Olarak Tanımlanabilir Bilgiler (PII) tespiti için uyarılar sağlar. Veri soy kütüğü, bu modellerin kolayca geri alınmasına imkân verir.

Bu, kuruluşların veri bütünlüğünü korumasına, düzenlemelere uymasına ve riskleri azaltmasına yardımcı olur.

2. İşbirliği ve self servis analitik

Unity Catalog, veri varlıklarını saklamak için merkezi bir konum sağlayarak ekipler arası işbirliğini teşvik eder. Bu, siloları ortadan kaldırır ve fonksiyonlar arası iletişimi güçlendirerek self servis analitiği teşvik eder.

Veri analistleri ve iş kullanıcıları ilgili veri varlıklarını kolayca keşfedip erişebilir; böylece veri hazırlama görevlerine harcanan süre azalır.

Unity Catalog için temel kullanım senaryaları

Unity Catalog’u uygulamanın çeşitli yolları vardır: 

1. Veri erişim kontrolü ve güvenlik

Databricks Unity Catalog, veri varlıkları için ince taneli erişim kontrolünün uygulanmasını sağlayarak verilerin yalnızca yetkili kullanıcılar tarafından erişilebilir olmasını temin eder. Ayrıca ekipler arasında hassas verilerin güvenli şekilde paylaşılmasına imkân tanır.

2. Veri keşfi ve soy kütüğü

Unity Catalog’un meta veri yönetimi yetenekleri verimli veri keşfi sağlar ve verinin kaynağından hedefine akışının görsel bir temsili sunar. Bu, veri kümelerindeki değişiklikleri takip etmeye yardımcı olarak denetim ve sorun giderme imkânı sağlar.

3. Uyumluluk ve denetimleri kolaylaştırma

Tüm veri varlıkları ve bunların soy kütüğü için merkezi bir depo ile Unity Catalog, uyumluluk raporlaması ve denetim süreçlerini basitleştirir. Bu da düzenleyici uyumluluğu sağlamak için gereken zaman ve çabayı azaltır.

Databricks’te Unity Catalog nasıl etkinleştirilir

Şimdi, bu basit kurulum öğreticisiyle Unity Catalog’u birlikte deneyelim:

Önkoşullar

Unity Catalog’u etkinleştirmeden ve kullanmadan önce aşağıdaki gereksinimleri karşıladığınızdan emin olun:

Databricks Premium veya Enterprise planı

Unity Catalog yalnızca Databricks Premium veya Enterprise katmanlarında desteklenir. Databricks çalışma alanınızın bu planlardan birinde olduğundan emin olun.

Uygun izinler

• Hesap yöneticisi (Account admin): Hesap düzeyinde Unity Catalog’u kurmak ve yönetmek için Databricks’te Account Admin rolüne sahip olmalısınız.
• Çalışma alanı yöneticisi (Workspace admin): Unity Catalog’u etkinleştirmek istediğiniz çalışma alanında Workspace Admin olmalısınız.

Metastore erişilebilirliği

Unity Catalog hesap düzeyinde bir metastore gerektirir. Henüz oluşturmadıysanız, kurulum sırasında oluşturmanız gerekir. Deneme (trial) Databricks hesabında sizin için önceden oluşturulmuş bir metastore’a sahip bir katalog bulunur.

Desteklenen bulut platformları

Şu anda Unity Catalog aşağıdakilerde desteklenmektedir:

• AWS
• Azure
• GCP

Bu bulutlardan birinde desteklenen bir Databricks ortamı kullandığınızdan emin olun.

Yönetilen depolama veya harici konumlar

Yönetilen tabloları (yönetilen depolama) mı kullanacağınızı yoksa harici bir konumdaki (S3, ADLS veya GCS gibi) verileri referans alan harici tablolar mı oluşturacağınızı belirleyin. Her yaklaşımın farklı izin gereksinimleri olabilir.

Unity Catalog’u etkinleştirme: Adım adım rehber

Databricks ayarlarında gezinme

1. Databricks hesap konsoluna giriş yapın
• Sol üstten Databricks Account Console’a gidin (URL AWS, Azure veya GCP için biraz farklı olabilir). Oturum açmak için hesap yöneticisi kullanıcısı kullanın.

2. Catalog sayfasına erişin
• Sol taraftaki gezinme bölmesinde (hesap konsolunda), Databricks sürümünüze bağlı olarak Catalog’u arayın.
• Databricks Deneme sürümünde, bir Serverless Starter Warehouse metastore’u ve kataloğu oluşturulmuş olmalıdır.
3. SQL warehouse bilgisayar kaynağını başlatın
• Sol gezinme bölmesinde SQL Warehouses’ı seçin ve sağdaki Oynat simgesine tıklayarak Serverless Starter Warehouse’u başlatın.

4. Çalışma alanlarına atayın
• Catalog yapılandırmasında Workspaces altında, bu kataloğu kullanacak çalışma alanlarını iliştirin.

Unity Catalog’u yapılandırma

1. İzinleri atayın
• Yönetici olarak, Databricks çalışma alanınızın sol kenar çubuğunda Catalog’a gidin.
• Yönetmek istediğiniz çalışma alanını seçin.
• İzinleri ayarlamak için Permissions sekmesine tıklayın (ör. kimlerin katalog, şema ve tablo oluşturabileceği). Varsayılan olarak hesap yöneticisi veya çalışma alanı yöneticisi tam ayrıcalıklara sahip olabilir; ancak ayrıcalıkları diğer kullanıcılara veya gruplara devredebilirsiniz.

2. Kataloglar ve şemalar oluşturun (gerekiyorsa)
• Farklı ekipler, projeler veya veri alanları için ek kataloglar ve şemalar oluşturabilirsiniz. Bu, genellikle aşağıda gösterildiği gibi SQL komutlarıyla yapılır.

-- Creates a new catalog named "demo_catalog"
CREATE CATALOG IF NOT EXISTS demo_catalog
COMMENT 'This catalog is created for Unity Catalog demo';Altyapı:

3. Harici konumları yapılandırın (isteğe bağlı)Harici konumlarda depolanan harici tablolara ihtiyacınız varsa:
• Unity Catalog’da bulut depolamanıza (S3, ADLS veya GCS) işaret eden bir harici konum oluşturun.
• Unity Catalog aracılığıyla bu konumlara okuma ve yazma erişimi için kullanıcılara veya gruplara yetki verin.

Örnek kod ve kullanım

Aşağıda, Unity Catalog çalışma alanınızda yapılandırıldıktan sonra kullanabileceğiniz bazı örnek Databricks not defterleri/SQL komutları yer almaktadır. 

Bunları bir Databricks not defterinde veya çalışma alanınızdaki SQL Düzenleyici içinde çalıştırabilirsiniz.

Bir katalogda ayrıcalık verme

Bir katalogda ayrıcalık vermek, belirli kullanıcı gruplarının içinde saklanan verilere erişip etkileşim kurabilmesini sağlar. Ancak USAGE tek başına kullanıcıların veri sorgulamasına izin vermez — yalnızca kataloğun var olduğunu görmelerini sağlar. Tam etkileşim için şema veya tablo düzeyinde ek ayrıcalıklar vermeniz gerekir.

Örneğin, veri mühendislerinin bir kataloga erişmesini sağlamak için:

-- Grant USAGE to a specific group on the newly created catalog
GRANT USAGE ON CATALOG demo_catalog TO data_engineers_group;Altyapı:

Eğer bu katalog içinde şema oluşturmaları da gerekiyorsa:

GRANT CREATE ON CATALOG demo_catalog TO data_engineers_group;Altyapı:

Katalog içinde bir şema (veritabanı) oluşturma

Unity Catalog’daki bir şema, bir katalog içinde tabloları ve görünümleri düzenler; bu, geleneksel RDBMS sistemlerinde veritabanlarının tabloları tutmasına benzer. IF NOT EXISTS kullanımı, şema zaten mevcutsa hataları önler.

demo_catalog içinde analitik veriler için bir şema oluşturmak üzere:

CREATE SCHEMA IF NOT EXISTS demo_catalog.analytics
COMMENT 'Schema for analytics data';Altyapı:

Oluşturmanın ardından, belirli kullanıcılara ayrıcalık vermeniz gerekebilir:

GRANT USAGE ON SCHEMA demo_catalog.analytics TO data_analysts_group;Altyapı:

Bu, data_analysts_group’un şemayı görmesine olanak tanır ancak tabloları henüz sorgulamasına izin vermez.

Yönetilen tablo oluşturma

Yönetilen tablolar tamamen Unity Catalog tarafından kontrol edilir; bu, Databricks’in depolama ve meta veri takibini üstlendiği anlamına gelir. Bu, yönetimi basitleştirir ancak tablo düşürülürse verilerin de silineceği anlamına gelir.

Satış verileri için yönetilen bir tablo oluşturmak üzere:

USE CATALOG demo_catalog;
USE SCHEMA analytics;

CREATE TABLE IF NOT EXISTS sales_data (
  transaction_id STRING,
  product_id STRING,
  quantity INT,
  price DECIMAL(10,2),
  transaction_date DATE
)
COMMENT 'Managed table for sales data';
Altyapı:

Bir tabloda ayrıcalık verme

Tablo ayrıcalıkları vermek, kullanıcıların verileri sorgulayabilmesini veya değiştirebilmesini sağlar. SELECT ayrıcalığı, kullanıcıların verileri okumasına izin verir ancak değiştirmesine izin vermez.

Veri bilimcilerinin satış tablosundan okumalarına izin vermek için:

GRANT SELECT ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
Altyapı:

Yeni kayıt eklemeleri gerekiyorsa, INSERT verin:

GRANT INSERT ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
Altyapı:

Tam kontrol (okuma, yazma, değiştirme) için şunu kullanın:

GRANT ALL PRIVILEGES ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
Altyapı:

Harici konum kurulumu

Harici bir veri konumunuz varsa (ör. AWS’de S3), Unity Catalog’da bir harici konum nesnesi oluşturabilirsiniz:

-- Create an external location named "demo_external_location"
CREATE EXTERNAL LOCATION demo_external_location
URL 's3://my-demo-bucket/my-path/'
WITH CREDENTIAL my_storage_credential
COMMENT 'External location for demo data';

-- Grant read and write privileges to a group
GRANT READ, WRITE ON EXTERNAL LOCATION demo_external_location
TO data_engineers_group;Altyapı:

Databricks Unity Catalog Mimarisi

Databricks Unity Catalog, geniş ölçekli veri işleme için dağıtık bir hesaplama platformu sağlayan açık kaynaklı Apache Spark projesi üzerine inşa edilmiştir ve veri kümeleri ile tablolar hakkındaki meta verileri depolamak için Hive Metastore kullanır; bu da verimli yönetim ve sorgu performansı sağlar.

Unity Catalog mimarisi üç ana bileşenden oluşur:

1. Metadata Store: Veri kümeleri, tablolar, harici konumlar ve diğer nesnelerle ilgili tüm meta verileri depolar.
2. Catalog: Metadata Store ile hesaplama katmanı arasında bir arayüz görevi görür. Metadata Store’da depolanan tüm meta verilerin birleşik bir görünümünü sunarak kullanıcıların verilerine erişmesini ve sorgulamasını kolaylaştırır.
3. Çalışma alanları (Workspaces): Verilerin güvenle saklanıp yönetilebildiği sanal depolama alanlarıdır. Veri erişimi ve işleme için merkezi bir konum sağlayarak ekipler arasında kolay işbirliği sunarlar.

Kaynak: Databricks

Databricks Unity Catalog ile kullanıcılar, altında yatan altyapıyı dert etmeden verilerini kolayca yönetip sorgulayabilir. Ayrıca farklı veri kümeleri veya tablolar için okuma ve yazma gibi belirli izinler vererek diğer ekip üyeleriyle işbirliği yapabilirler.

Bu izinleri vermek için kullanıcılar, belirli veri kaynaklarına hangi kullanıcıların veya grupların erişebileceğini belirtmek üzere "GRANT" gibi SQL komutlarını kullanabilirler. Bu, yalnızca yetkili kişilerin hassas bilgilere erişmesini sağlar.

Unity Catalog mevcut veri sistemleriyle nasıl bütünleşir

Unity Catalog, Amazon S3 ve Azure Blob Storage gibi mevcut veri sistemleriyle sorunsuz bir şekilde bütünleşir; bu da farklı kaynaklardaki verilerinize erişimi ve yönetimini kolaylaştırır. Böylece verileri Databricks’e elle taşımanıza veya kopyalamanıza gerek kalmadan büyük veri kümelerini hızla analiz edebilirsiniz. 

Unity Catalog, CSV, JSON, Parquet ve Avro gibi çeşitli dosya formatlarını da destekleyerek farklı veri türleriyle çalışmada esneklik sağlar.

Databricks Unity Catalog en iyi uygulamalar

Unity Catalog ile çalışırken, verimli ve etkili veri yönetimini güvence altına almaya yardımcı olabilecek bazı en iyi uygulamalar vardır. 

Bunlar şunları içerir:

1. Veriyi anlamayı kolaylaştırmak için tablolar ve sütunlar için açıklayıcı adlandırma kuralları kullanın.
2. Temel veride yapılan değişiklikleri takip etmek için Unity Catalog’daki meta verileri düzenli olarak güncelleyin.
3. Hassas verilere erişimi kısıtlamak için "asgari ayrıcalık" ilkesini izleyen erişim kontrollerini kullanın. Bu, kullanıcılara veya gruplara rolleri ve sorumlulukları temelinde yalnızca gerekli izinlerin verilmesi anlamına gelir.
4. Unity Catalog içinde veri kümelerini sınıflandırmak ve düzenlemek için etiketler ve işaretler kullanın; bu, belirli verileri aramayı kolaylaştırır.

Bu önlemler, etkili veri yönetişimi ve optimal performansı sağlamaya yardımcı olur.

Yaygın zorluklar ve nasıl ele alınacakları

Unity Catalog kusursuz bir çözüm değildir ve verileri etkili biçimde yönetmede bazı zorluklarla karşılaşabilir. 

Bazı yaygın sorunlar şunlardır:

• Veri çoğaltma (duplikasyon): Aynı verinin birden fazla kez saklanması tutarsızlıklara ve hatalara yol açar.
• Veri kalitesi: Kötü bakımı yapılmış veya hatalı veriler iş kararlarını ve süreçlerini olumsuz etkileyebilir.
• Karmaşık veri hiyerarşileri: Karmaşık ilişkileri olan büyük veri kümelerini Unity Catalog içinde düzenlemek ve yönetmek zor olabilir.

Bu zorlukları ele almak için bazı ipuçları:

1. Yinelenmeyi önlemek için verileri düzenli olarak gözden geçirip temizleyin. Buna gereksiz veya güncelliğini yitirmiş verilerin kaldırılması da dahildir.
2. Veri kalitesi kontrolleri ve doğrulamaları uygulayın; böylece Unity Catalog içindeki verilerin doğruluğu sağlanır.

Son düşünceler

Unity Catalog, metastore’lar, kataloglar ve çalışma alanları kullanımı sayesinde verileri tek bir görünümden yönetmek için güçlü bir araçtır. Verileri depolamak ve düzenlemek için merkezi bir konum sağlayarak iş süreçleriniz içinde yönetmeyi ve kullanmayı kolaylaştırır. 

Databricks hakkında daha fazla bilgi edinmek ister misiniz? Şu kaynaklarımıza göz atmalısınız: Introduction to Databricks kursu, Databricks Tutorial rehberi ve Databricks web semineri.