dbt Cloud: Kapsamlı Bir Rehber

dbt Cloud, veri dönüşümü için önde gelen yönetilen hizmet haline gelmiş, ölçeklenebilir, güvenilir ve işbirliğine dayalı iş akışlarıyla modern analitik ekiplerini güçlendirmiştir.

Bu hizmet, dbt Core'un gücünü genişleterek dağıtımları otomatikleştiren, işleri düzenleyen, kimlik bilgilerini yöneten ve veri ekipleri için işbirliği özellikleri sunan barındırılan bir ortam sağlar.

Bu sayede kuruluşlar, SQL tabanlı dönüşümleri güvenli, otomatik ve ekip dostu bir ortamda yönetebilir.

Bu giriş niteliğindeki öğreticide, dbt Cloud'un ne olduğunu, nasıl kurulacağını ve nasıl kullanılabileceğine dair örnekleri ele alacağız. 

Çerçeveye yeniyseniz ve yapılandırılmış bir öğrenme yolunu tercih ediyorsanız, dbt'ye Giriş kursumuzla başlamanızı öneririm.

dbt Cloud Nedir ve Nasıl Çalışır?

Önce dbt Cloud'un ne olduğuna ve bazı özelliklerine genel bir bakışla başlayalım.

dbt Cloud'a genel bakış

dbt Cloud, özünde ekiplerin ELT (Extract, Load, Transform) yaklaşımını benimsemesini sağlar. Klasik ETL süreçlerinde dönüşümler verinin ambarlara yüklenmesinden önce gerçekleşirken, dbt dönüşümleri ambarın içinde, onun işlem gücü ve ölçeklenebilirliğini kullanarak gerçekleştirir.

Kaynak: dbt

dbt Cloud, veri dönüşüm sürecini şu yollarla basitleştirir:

• dbt kullanarak SQL dönüşümleri için yönetilen bir hizmet sağlar.
• Dönüşümleri ambarın içine taşıyarak modern hatlara uyum sağlar.
• Paylaşılan iş akışları ve uygulamalarla analitik mühendisliğini standartlaştırır.

Temel kavramlar ve iş akışı

dbt Cloud, dbt Core ile aynı kavramlardan oluşur.

Bunlar şunları içerir:

• Modeller: Dönüşümleri tanımlayan SQL dosyaları.
• Kaynaklar: Ham veri tablolarının tanımları.
• Testler: Veri kalitesiyle ilgili doğrulamalar.
• Dokümantasyon: Otomatik oluşturulan soy bağı ve model dokümanları.
• Exposures: Aşağı akıştaki BI veya raporlama bağımlılıklarını tanımlar.

Tipik bir dbt Cloud iş akışı şu şekildedir: Modelleri geliştirin > Dönüşümleri test edin > Git'e commit atın > dbt Cloud işleriyle dağıtın > dbt Cloud'da çalışmaları izleyin.

dbt Cloud Ortamınızı Kurma

dbt Cloud'un nasıl çalıştığını açıklamak için, bir ortamı kendinizin nasıl kurabileceğine dair pratik bir örneğe bakalım.

dbt Cloud ile başlamak kolaydır; hızlı kurulum için tasarlanmıştır. İzlemeniz gereken adımlar şunlardır:

Hesap oluşturma ve kurulum

1. dbt Cloud'a kaydolun ve başlangıç planının 14 günlük ücretsiz denemesine erişin.

2. dbt ile deneyiminize göre başlangıç seçeneklerini seçin.

3. Projenize bir ad verin; örneğin dbt-Cloud-Analytics.

4. Yeni bir bağlantı ekleyin.

5. Seçtiğiniz bir veri ambarına (Snowflake, BigQuery, PostgreSQL, Redshift veya Databricks gibi) bağlanın. Ben yerel bir PostgreSQL veritabanı kullanacağım.

6. Bağlantı ayarlarını yapılandırın.

7. Git deposu kurun.

Kullanıcı arayüzünü anlama

Tüm temel kurulumları tamamladıktan sonra arayüzü keşfedelim. dbt Cloud arayüzünde şunları görmeyi beklemelisiniz:

dbt Cloud kullanıcı arayüzü iş akışınızı verimli şekilde düzenler. Gezinti çubuğunu kullanarak şu temel alanlara erişebilirsiniz:

• Katalog: Projeleri ve modelleri görüntüler.
• Studio: Kod dosyaları yazmak için çalışma arayüzü olarak hizmet verir.
• Gösterge Panosu: İşlerin ve etkinliğin merkezi bir özetini sunar.
• Canvas: Sürükle-bırak ile model oluşturmayı sağlar (Kurumsal katman özelliği).
• Insights: Dağıtılmış ortamlar hakkında ek bilgiler sunar.
• Orkestrasyon: dbt çalıştırmalarını yapılandırır ve zamanlar.

Gerekli tüm bilgileri, kodlama stüdyosunu ve yapılandırma ayarlarını tek bir web arayüzünde bir araya getirir.

dbt Cloud IDE'de Geliştirme

dbt Cloud ayrıca GitHub entegrasyonlu, analitik mühendislik için özel olarak oluşturulmuş bir tarayıcı tabanlı IDE sunar. Tarayıcınızdan dbt projelerini oluşturmak, çalıştırmak, test etmek ve sürüm kontrolünü yapmak için tasarlanmıştır.

Cloud IDE'de gezinme

dbt Cloud IDE, yerel kurulum gerektirmez ve analistler için işe alım sürecini kolaylaştırır. Erişmek için arayüzün sol tarafındaki Studio sekmesine tıklayabilirsiniz.

Bu, kod yazma, derleme ve çalıştırma için basit bir arayüz açacaktır.

dbt Cloud IDE şu görevleri gerçekleştirmenize olanak tanır:

• Sonuç ön izlemesiyle gerçek zamanlı sorgu çalıştırma.
• SQL otomatik tamamlama ve Jinja şablonlama.
• Hata vurgulama ve hata ayıklama araçları.

Sürüm kontrol entegrasyonu

Buna ek olarak, dbt Cloud sürüm kontrol entegrasyonu için GitHub ile entegre olmanıza da olanak tanır.

Bu özellik şunları yapmanızı sağlar:

• dbt Cloud'u GitHub, GitLab veya Bitbucket'a bağlayın.
• Dallarınızı doğrudan IDE üzerinden yönetin.
• Kod değişikliklerini merkezî deponuzla commit edin ve senkronize edin.
• Çekme istekleri ve incelemelerle işbirliğine dayalı iş akışlarını kolaylaştırın.

dbt Cloud'da Veri Modelleri Oluşturma ve Test Etme

dbt Core'da olduğu gibi, dbt Cloud içinde de veri modelleri oluşturup test edebilirsiniz. Bunun nasıl yapılabileceğine dair bazı yollara bakalım.

SQL dönüşümleri yazma

Veri modelleriyle çalışırken muhtemelen bazı dönüşümler yapmanız gerekecektir. dbt Cloud IDE'de, Studio içinde SQL ifadeleri yazabiliriz.

Şu şekilde dönüşüm yapacak bir veri modeli oluşturabilirsiniz:

with source as (
    select * from {{ source('raw', 'orders') }}
)
select
    id as order_id,
    user_id,
    order_date,
    status
from sourceAltyapı:

Arayüz şu şekilde görünür:

Dikkat etmeniz gereken bazı en iyi uygulamalar:

• Modelleri katmanlara göre düzenleyin (staging, intermediate, marts).
• Tutarlı adlandırma kuralları kullanın.
• Makrolar aracılığıyla mantığı yeniden kullanın.

Otomatik test ve doğrulama

Ek olarak, otomatik kontroller için YAML içinde testler de tanımlayabilirsiniz:

models:
  - name: stg_orders
    columns:
      - name: order_id
        tests:
          - not_null
          - unique
      - name: status
        tests:
          - accepted_values:
              values: ['completed', 'pending', 'cancelled']Altyapı:

Verinizi test etmek, dönüşümlere güveni pekiştirir. Bu, çalıştırdığınız işlerde bütünlüğü korumak için testlerin yerleşik olmasını sağlar. 

İleri düzey bir kullanıcıysanız Jinja ve SQL kullanarak özel testler de tanımlayabilirsiniz.

dbt Cloud'da Zamanlama ve Orkestrasyon

dbt Cloud'da iş zamanlama ve orkestrasyon, analitik otomasyonunu destekler. Dönüşümlerinizin tutarlı, zamanında ve doğru ortamda minimum manuel müdahaleyle çalışmasını sağlar. 

Bu bölümde, işleri nasıl zamanlayacağınızı, otomatik olarak tetikleyeceğinizi ve performanslarını gerçek zamanlı nasıl izleyeceğinizi ele alıyoruz.

İş zamanlama

dbt Cloud arayüzünde şunları yapabilirsiniz:

• Geliştirme, hazırlık veya üretim ortamları için işler oluşturun.
• Cron zamanlamaları veya olay tetikleyicileri yapılandırın.
• Görevleri zincirleyin (run, test, snapshot).

dbt Cloud'da bir iş zamanlaması oluşturmak için:

1. Orkestrasyon sekmesine, ardından projenizde Jobs'a gidin.
2. Create Job > Deploy Job tıklayın ve açıklayıcı bir ad verin (ör. “Günlük Üretim Çalıştırması” veya “Hazırlık Artımlı Yenileme”).

3. İşin çalıştırılacağı ortamı seçin — genellikle geliştirme, hazırlık veya üretim.
4. dbt run --models stg_orders gibi bir veya daha fazla komut ekleyin.

5. Zamanlama altında, işin ne zaman çalıştırılacağını tanımlamak için cron sözdizimini seçin veya görsel zaman seçiciyi kullanın (ör. her gece 02:00'de, her Pazartesi sabahı).

6. İşi kaydedin ve çalışma durumu güncellemeleri için e-posta veya Slack bildirimlerini etkinleştirin.

Gerçek zamanlı izleme ve günlükleme

dbt Cloud, daha iyi veri gözlemlenebilirliği için izleme ve günlükleme özelliklerini destekler. Bu, hataları gidermek ve performansı optimize etmek için gereklidir.

Şunları yapmanızı sağlar:

• Çalıştırma günlüklerini doğrudan arayüzde görüntüleyin.
• Günlükleri harici izleme için dışa aktarın.
• Slack, e-posta veya PagerDuty'ye bildirim gönderin.

dbt Cloud'un Gelişmiş Özellikleri

Temel modelleme ve orkestrasyon yeteneklerinin ötesinde dbt Cloud, modern analitik iş akışlarına zekâ, tutarlılık ve otomasyon getiren gelişmiş özellikler sunar. 

Bunlar iki ana özellikte toplanır: dbt Semantic Layer ve dbt Copilot ile Fusion gibi yapay zekâ destekli araçlar.

dbt Semantic Layer'ı kullanma

dbt Semantic Layer, ekiplerin iş metriklerini tutarlı ve sürüm kontrollü bir şekilde tanımlayıp yönetebileceği, merkezi ve yönetişime tabi bir katman sağlar.

Şunlara yardımcı olur:

• İş metriklerini merkezi olarak tanımlayıp yönetin.
• BI ve analitik araçları genelinde tutarlılık sağlayın.
• Tek bir doğru kaynağı zorunlu kılarak metrik sapmasını önleyin.

Bu birleşik katman, yaygın BI araçlarıyla olan bağlantıları sayesinde veri dönüşümü ile görselleştirme arasındaki boşluğu doldurur.

Uygulamalı bir örnek için, dbt ile semantik katman uygulama konulu bu öğreticiye göz atın.

dbt Copilot ve Fusion ile yapay zekâ entegrasyonu

dbt'in en yeni özelliklerinden biri olan dbt Copilot, doğrudan dbt Cloud'un IDE'sine yerleştirilmiş bir yapay zekâ asistanıdır. Doğal dil istemleri ve bağlama duyarlı öneriler ile geliştiricilerin dbt kodu yazmasına, hata ayıklamasına ve optimize etmesine yardımcı olur.

dbt Copilot ile şunları yapabilirsiniz:

• Düz metin açıklamalardan SQL modelleri veya Jinja makroları üretin.
• dbt komutları, testler ve yapılandırmalar için otomatik tamamlama önerileri alın.
• Oluşturulan açıklamalar ve meta verilerle modelleri otomatik olarak belgelendirin.
• İşleri çalıştırmadan önce yaygın sözdizimi veya bağımlılık sorunlarını tespit edip düzeltin.

Fusion motoru, dbt Core'un yerini almak üzere Rust ile yazılmış ve çok daha fazla özelliğe sahip yeni bir motordur. 

Şu kullanım durumlarını beraberinde getirir:

• dbt modellerinizde hatalı SQL kodunu yakalama
• Daha hızlı hata ayıklama için satır içi CTE'lerin ön izlenmesine olanak tanıma
• dbt projeniz genelinde model izleme

dbt Cloud'da Güvenlik ve Uyum

Veri dönüşüm iş akışlarında güvenlik ve yönetişim vazgeçilmezdir. Bu nedenle dbt Cloud, hassas bilgileri korumak, uyumu sağlamak ve ekipler arasında hesap verebilirliği güvence altına almak için kurumsal düzeyde güvenlik kontrolleriyle geliştirilmiştir.

Role dayalı erişim kontrolü

dbt Cloud, kullanıcı izinlerini yönetmek ve projeler, ortamlar ve kimlik bilgileri gibi kritik varlıklara erişimi kısıtlamak için role dayalı erişim kontrolü (RBAC) kullanır.

Olası roller şunlardır:

• Geliştirici
• Gözden Geçiren
• Yönetici

dbt Cloud'da erişim kontrolünü yapılandırmak için:

1. Hesap Ayarları bölümüne, ardından Kullanıcılar'a gidin.
2. Kullanıcıları önceden tanımlı rollere atayın veya daha ayrıntılı kontrol için özel roller oluşturun.

3. Kullanıcıların ortamları ve iş zamanlamalarını yönetip yönetemeyeceğini, ambar kimlik bilgilerini veya API jetonlarını değiştirip değiştiremeyeceğini ve/veya kod dağıtımlarını veya birleştirme isteklerini onaylayıp onaylayamayacağını tanımlayın.
4. Erişimi birden çok ekip veya departman arasında ayırmak için proje düzeyi izinleri kullanın.

Denetim günlükleme ve uyum

dbt Cloud, kuruluşların SOC 2, GDPR ve diğerleri gibi standartlara uyan sıkı veri yönetişimi gereksinimlerini karşılamasına yardımcı olmak üzere kapsamlı denetim günlükleme ve uyum özellikleri içerir.

Denetim günlükleri sorunların araştırılmasını da mümkün kılar ve SCIM desteği kimlik yönetimi entegrasyonunu iyileştirir.

dbt Cloud'un Entegrasyon ve Bağlanabilirliği

dbt Cloud'un en büyük güçlerinden biri, daha geniş veri ekosistemiyle sorunsuz bağlanabilmesidir. Önde gelen veri ambarları, API'ler, orkestrasyon araçları ve izleme platformlarıyla zahmetsizce entegre olur.

Bu da onu, alımdan görselleştirmeye kadar birleşik ve otomatik bir analitik iş akışı kurmak için iyi bir seçenek haline getirir. Bu yönleri aşağıda inceleyelim:

Veri platformu bağlanabilirliği

dbt Cloud, tüm büyük bulut veri ambarlarını ve göl evlerini destekler; böylece ekipler dönüşümleri verilerinin zaten bulunduğu ortamlarda yerel olarak çalıştırabilir. 

Bu, veri taşımaya veya kopyalamaya gerek bırakmadan her platformun performansını ve ölçeklenebilirliğini kullanır.

dbt Cloud entegrasyon seçenekleri şunları içerir:

• Snowflake
• BigQuery
• Redshift
• Databricks
• PostgreSQL

Her platform için anahtar çifti kimlik doğrulaması, OAuth veya kullanıcı adı/şifre gibi birden çok kimlik doğrulama seçeneğiniz de olabilir.

API ve webhook entegrasyonu

Genişletilebilirlik ve otomasyon gerektiren kuruluşlar için dbt Cloud güçlü bir REST API ve webhook çerçevesi de sunar.

dbt Cloud API geliştiricilerin şunları yapmasına olanak tanır:

• İş çalıştırmalarını programatik olarak tetikleyip izleyin.
• Günlükler, manifest dosyaları veya derlenmiş SQL gibi çalışma çıktıları alın.
• dbt Cloud'u CI/CD hatlarına entegre ederek dağıtım iş akışlarını otomatikleştirin (ör. GitHub Actions, GitLab CI veya Azure DevOps).
• Kullanıcıları, ortamları ve projeleri ölçekli şekilde yönetin.

dbt Cloud webhook'ları, iş tamamlanması, çalışma hataları veya dağıtım güncellemeleri gibi önemli dbt olaylarına harici sistemlerin yanıt vermesine olanak tanıyan olaya dayalı entegrasyon sağlar.

Webhook'lar şu amaçlarla kullanılabilir:

• İşler başarısız olduğunda Slack veya Microsoft Teams'e gerçek zamanlı uyarılar göndermek.
• Olay yönetimi iş akışlarını tetiklemek.
• Çalıştırma metriklerini ve performans verilerini izleme sistemlerine iletmek.
• Yeni modeller oluşturulduğunda panoları veya meta veri kataloglarını otomatik olarak güncellemek.

dbt Cloud'da Performans Optimizasyonu

Veri hatları ölçek ve karmaşıklık olarak büyüdükçe, güvenilirliği, performansı ve güveni korumak için gözlemlenebilirlik kritik hale gelir.

Peki dbt Cloud neler sunuyor? İki noktada toplanır: hatları izleme ve modeli optimize etme.

Veri dönüşüm hatlarını izleme

Her iş çalıştırması platform içinde güncellenir, izlenir ve görselleştirilir; böylece dönüşümlerinizin uçtan uca durumunu anlayabilirsiniz.

Örneğin, Çalıştırma Geçmişi panosunda dbt Cloud şu ayrıntılı bilgileri gösterir:

• Çalışma süresi: İş için geçen toplam süre; model ve adıma göre dökümüyle.
• Durum takibi: Bir çalıştırmanın kuyruğa alındığını, çalıştığını, tamamlandığını veya başarısız olduğunu gösteren gerçek zamanlı göstergeler.
• Yürütme günlükleri: SQL sorguları, zaman damgaları ve satır sayıları gibi ayrıntılı günlükler.

dbt Cloud ayrıca Datadog gibi veri izleme araçlarıyla kolayca entegre olur.

Model performansını optimize etme

Büyük monolitik dönüşümler bakım ve optimizasyon açısından zordur. dbt, karmaşık mantığın daha küçük, yeniden kullanılabilir ve her biri odaklı bir görev gerçekleştiren modellere bölündüğü modüler geliştirmeyi teşvik eder.

Performansı optimize etmek için şu en iyi uygulamaları takip edebilirsiniz:

• Common Table Expression (CTE)'leri ölçülü kullanmak ve tekrarlanan mantığı hazırlık (staging) modellere yeniden düzenlemek.
• Modelin amacını netleştirmek için (stg_, int_, fct_, dim_) adlandırma kuralları uygulamak.
• Bağımlılıkları ve dokümantasyonu doğrulamak için düzenli olarak dbt deps ve dbt docs generate çalıştırmak.

Aşağıdaki örnekte gösterildiği gibi artımlı malzemeleştirmeleri kullanarak işlem maliyetlerini de azaltabilirsiniz.

{{ config(materialized='incremental') }}

select *
from {{ source('raw', 'events') }}
{% if is_incremental() %}
  where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}Altyapı:

Çok Projeli İşbirliği için dbt Mesh Kullanma

Kuruluş içinde veri paylaşımı ihtiyacı arttıkça, dbt Cloud'un sunduğu işbirliği seçeneklerini de değerlendirmeniz gerekir.

Çok projeli ortamları yönetme

dbt Mesh, tüm veri soy bağının merkezi yönetişimi aracılığıyla büyük kuruluşlarda ölçeklenebilir işbirliği sağlar. Ekibinizin, her biri farklı iş birimleri veya veri alanları tarafından sahiplenilen, birbirine bağımlı birden çok proje oluşturmasına olanak tanır.

dbt Mesh'in temel faydaları şunlardır:

• Ölçeklenebilirlik: Her ekip, bağımlılık darboğazları olmadan kendi dbt projesinin sahibi olabilir ve onu dağıtabilir.
• Projeler arası başvurular: Ekipler, iyi tanımlanmış genel arayüzleri kullanarak diğer projelerdeki modellere güvenle başvurabilir.
• Yönetişim ve keşfedilebilirlik: Paylaşılan modeller, net sahiplik, dokümantasyon ve sürümleme ile kataloğa alınır; bu da hesap verebilirliği ve şeffaflığı artırır.
• Uyumlu özerklik: Ekipler, şirket genelindeki veri standartları ve yönetişim kurallarına uyarak bağımsız şekilde yenilik yapabilir.

Özünde dbt Mesh, özerkliği korurken ekiplerin projeler arasında modellere başvurmasına olanak tanır. 

Örneğin, finans ekibi “çekirdek finansal metrikler” projesini sürdürürken, pazarlama ekibi bu finans modellerine kod veya mantığı kopyalamadan başvuran ayrı bir proje oluşturabilir.

dbt Mesh, ref() işlevini proje ad alanlarıyla genişleterek projeler arası başvurular sağlar. Örneğin:

SELECT *
FROM {{ ref('finance_project', 'fct_revenue') }}Altyapı:

Bu, pazarlama modelinin finans projesindeki fct_revenue modelini, o ekip tarafından tanımlanan kanonik sürümü kullanarak doğrudan sorgulamasını sağlar.

Veri modelleri için sürümleme ve sözleşmeler

Projeler arasında geriye dönük uyumluluğu ve güveni sağlamak için dbt Mesh iki temel mekanizma sunar: model sürümleme ve model sözleşmeleri. 

Model sürümleme

Model sürümleme, ekiplerin mevcut bağımlılıkları bozmadan modellerini değiştirmesine olanak tanıyan yöntemlerden biridir. Modelin YAML dosyasında versions: özelliğini kullanarak aynı modelin birden çok sürümünü tanımlayabilirsiniz. 

Örneğin:

models:
  - name: fct_revenue
    versions:
      - v: 1
        description: "Initial revenue aggregation"
      - v: 2
        description: "Includes new discount and refund logic"Altyapı:

Model sözleşmeleri

Model sözleşmeleri bir modelin yapısını, veri tiplerini ve kısıtlarını tanımlar. Veri üreticileri ile tüketicileri arasında bir anlaşma işlevi görür. 

Bir model sözleşme içerdiğinde dbt, çalıştırmadan önce doğrulama yapar; böylece (sütun silmeleri veya tip uyuşmazlıkları gibi) şema değişikliklerinin beklenmedik hataları aşağı akışa yayması engellenir.

Basit bir sözleşme örneği:

models:
  - name: fct_revenue
    contract:
      enforced: true
    columns:
      - name: customer_id
        data_type: string
      - name: total_revenue
        data_type: numeric
      - name: report_date
        data_type: dateAltyapı:

Birisi sözleşmeye tabi bir sütunu kaldırmaya veya değiştirmeye çalışırsa dbt hata verir ve bağımlı modelleri ile panoları korur.

Sonuç

dbt Cloud, analitik mühendisliği için uçtan uca yönetilen bir platform sağlayarak dbt Core'un işlevselliğini genişletir. 

Bu rehber boyunca Studio IDE üzerinden geliştirmeyi nasıl merkezileştirdiğini, orkestrasyonu nasıl ele aldığını ve dbt Mesh ile Semantic Layer gibi yeni araçları nasıl desteklediğini inceledik.

Bu araçları tek bir platformda birleştirerek dbt Cloud, ekiplerin veri alımından dokümantasyona kadar tüm veri yaşam döngüsünü, altta yatan altyapıyı yönetmeye gerek kalmadan ele almasını sağlar.

dbt'yi kullanarak uygulamalı deneyim kazanmakla ilgileniyorsanız, dbt Fundamentals yetkinlik yolu, ilk projenizi oluşturmaya başlamak için pratik bir yol sunar.