dbt Snapshot: Kapsamlı Bir Eğitim

dbt (data build tool), modern veri yığını içinde verileri dönüştürmek, test etmek ve belgelendirmek için veri analistleri ve mühendisleri tarafından kullanılan güçlü bir araçtır. 

Modelleme yetenekleriyle geniş çapta tanınsa da, bir diğer kritik özellik de veri ambarınızdaki yavaş değişen boyutları (SCD) yakalamanızı sağlayan dbt snapshot’tır.

Bu eğitim, dbt snapshot’larına, kullanım senaryolarına ve uygulamasına derinlemesine bir açıklama sunacaktır. Şunları yapacağım:

• dbt snapshot’ların ne olduğunu tanımlamak.
• Snapshot’ların ne zaman ve neden kullanılacağını açıklamak.
• Adım adım bir snapshot uygulamak.
• Snapshot verilerini görselleştirmek.
• Bazı en iyi uygulamaları ve zorlukları paylaşmak.

dbt hakkında daha fazla bilgi edinmek için mutlaka şu rehberimize göz atın: dbt nedir? Veri Mühendisleri için Uygulamalı Bir Giriş ve dbt’ye Giriş kursumuz.  

dbt Snapshot’lar nedir?

Bir dbt snapshot, özellikle geçmiş değişikliklerin varsayılan olarak tutulmadığı tablolarda, kayıtlar üzerindeki değişiklikleri zaman içinde izlemek için kullanılan bir mekanizmadır. Snapshot’lar başlıca Yavaş Değişen Boyutlar (SCD) Tip 2 uygulamak için kullanılır. İzlenen sütunlar değiştiğinde satırların sürümlerini saklarlar. 

Kullanım örnekleri şunları içerir:

• Müşteri profillerindeki değişiklikleri zaman içinde izlemek.
• Operasyonel verilerdeki durum değişikliklerini izlemek.
• Doğru tarihsel raporlama için boyut özniteliklerinin evrimini kaydetmek.

Neden dbt Snapshot kullanmalısınız? Faydalar ve Kullanım Alanları

dbt snapshot’lar, veri değişikliklerinin zaman içindeki bir kaydı gibi çalıştıkları için değerlidir; bu da tarihsel analiz ve uyumluluk raporlamasını mümkün kılar.

Faydalar

Snapshot kullanmanın size sağlayacağı bazı faydalar şunlardır:

• Trend analizi: Müşteri davranışı, öznitelikleri veya durumlarının nasıl evrildiğini anlayın.
• Denetim ve uyumluluk: Denetçilere veya düzenleyicilere tarihsel veri durumlarını gösterin.
• Veri hattı hata ayıklama: Beklenmedik bir zamanda bir kaydın ne zaman değiştiğini tespit ederek sorunların izini sürün.

Yaygın Kullanım Alanları

Snapshot’lar bazı özel durumlarda faydalı olabilir, örneğin:

• Sadakat programlarında üyelik yükseltmelerini izlemek.
• Perakendede ürünler için fiyat geçmişini kaydetmek.
• İK sistemlerinde çalışanların departman değişikliklerini yakalamak.

Mimari Temeller

Snapshot’lar, dbt ekosistemiyle sorunsuz entegre olur; yapılandırmasını ve çalıştırma yönetimini kullanarak tarihsel tabloları verimli şekilde oluşturur.

Örnek olarak veride kullanılan model türlerine bakalım.

Veri için iki model kullanılır:

• Standart modeller: Mevcut durum tablolarını oluşturmak için veriyi dönüştürür.
• Snapshot modelleri: Tarihsel değişiklikleri izlemek için sürümlü tablolar oluşturur.

Bu iki model amaç, depolama yöntemleri ve uygulamalar açısından farklıdır.

İşte farklılıklarının bir özeti:

dbt Snapshot’lar Nasıl Çalışır

Snapshot’lar, tüm değişikliklerin sistematik olarak yakalanmasını sağlayan yapılandırılmış bir iş akışını genellikle şu adımlarla izler:

1. Yapılandırma: Snapshot stratejisini, benzersiz anahtarları ve değişiklik algılama sütunlarını tanımlayın.
2. Yürütme: Mevcut verileri var olan snapshot’larla karşılaştırmak için dbt snapshot çalıştırın.
3. Depolama: dbt, tespit edilen değişiklikler için yeni kayıtlar ekler ve geçerlilik zaman damgalarını günceller.

Peki değişiklikler dbt’de nasıl izlenir?

Tüm değişiklikler, çıktı Snapshot tablosunda kaydedilir.

Bir değişiklik algılanırsa, dbt önceki sürüm için dbt_valid_to alanını mevcut zaman damgasına günceller ve dbt_valid_from alanı mevcut zaman damgası olan yeni bir satır ekler.

dbt’de Snapshot Stratejileri

Snapshot’lar değişiklikleri algılamak için iki temel strateji kullanır.

1. Zaman damgası (timestamp) stratejisi

• Tanım: Değişiklikleri algılamak için bir zaman damgası alanını kullanır.
• Ne zaman kullanılır: Kaynak tabloda güvenilir updated_at zaman damgaları olduğunda.

2. Kontrol (check) stratejisi

• Tanım: Belirtilen sütunları doğrudan karşılaştırır.
• Ne zaman kullanılır: Kaynak tabloda güvenilir zaman damgaları yoktur ancak öznitelik değişikliklerinin izlenmesi gerekir.

Kalıcı Silmeler (Hard Deletes)

Silme gibi veri değişiklikleri de izlenebilir, ancak varsayılan olarak değil. Yine de bu tür kalıcı silme değişikliklerini izlemek için bunu değiştirmenin bir yolu vardır.

• Sorun: Snapshot’lar varsayılan olarak silinen satırları izlemez.
• Çözüm: Silinen satırları bir dbt_valid_to değeriyle işaretlemek için invalidate_hard_deletes=True ayarlayın ve son durumlarını koruyun.

İşte kalıcı silmeleri hesaba katarak bir kontrol stratejisinin uygulanmasına bir örnek:

{%
  snapshot customers_snapshot %}

{%
  set config(
    target_schema='snapshots',
    unique_key='customer_id',
    strategy='check',
    check_cols=['tier'],
    invalidate_hard_deletes=True
  )
%}

SELECT * FROM {{ source('customers') }}

{% endsnapshot %}Altyapı:

dbt Snapshot’lar için Uygulama Rehberi

Artık dbt Snapshot’ların nasıl çalıştığını bildiğimize göre, bunları nasıl uygulayacağımıza bakalım 

1. Snapshot eğitimi için örnek veri kümesi

Snapshot pratiği yapmak için, gerçek dünyadaki bir üyelik sistemini taklit eden örnek bir customers tablosu oluşturacağız. Bu, yaygın snapshot stratejilerini test etmek için somut veriler sağlar.

import csv
from datetime import datetime

# Define the data
customers_data = [
    ["customer_id", "name", "tier", "updated_at"],  # header row
    [1, "Alice Tan", "Silver", "2025-07-01 10:00:00"],
    [2, "Bob Lee", "Gold", "2025-07-01 10:00:00"],
    [3, "Cheryl Lim", "Silver", "2025-07-01 10:00:00"]
]

# Write data to customers.csv
with open("customers.csv", mode="w", newline="", encoding="utf-8") as file:
    writer = csv.writer(file)
    writer.writerows(customers_data)Altyapı:

2. dbt projenizi kurma

Snapshot’ları uygulamadan önce, dbt projenizi doğru bir şekilde kurmak esastır. Bu, ortamınızın modelleri, snapshot’ları, testleri ve dokümantasyonu yapılandırılmış ve ölçeklenebilir bir şekilde yönetmek için yapılandırılmasını sağlar.

Önkoşullar

• Python 3.7+ kurulu olduğundan emin olun.
• pip ile dbt’yi yükleyin:

pip install dbtAltyapı:

Ortamınıza göre dbt-postgres’i, ör. dbt-snowflake veya dbt-bigquery ile değiştirin.

Adım adım kurulum talimatları

1. İstediğiniz projeler dizinine gidin.

Analitik veya ELT projelerinizi burada saklayacaksınız. Bu durumda, ilgili tüm dosyaları bu dbt proje klasöründe saklayacağız.

cd ~/dbt-snapshot-projectAltyapı:

2. Yeni bir dbt projesi başlatın.

dbt_project.yml adlı bir yapılandırma dosyası oluşturun:

Aşağıdakileri proje dosyanıza yapıştırın:

name: dbt_snapshots_project
version: '1.0'
profile: austinchia

seeds:
  dbt_snapshots_project:
    +quote_columns: falseAltyapı:

3. Bağlantınızı test edin.

dbt debugAltyapı:

Komutun çıktısı şöyle olmalıdır:

4. Tohumları (seeds) yerel bir veritabanına yükleyin.

Aşağıdaki komutu çalıştırın:

dbt seedAltyapı:

Komutun çıktısı şöyle olmalıdır:

5. Veritabanı bağlantı ayarlarınızı yapılandırın

Genellikle ~/.dbt/profiles.yml konumunda bulunan profiles.yml dosyasında.

Profil dosyamın içeriği şöyle:

austinchia:
  target: dev
  outputs:
    dev:
      type: sqlite
      threads: 1
      database: ./dbt_snapshots_project.db
      schema: main
      schema_directory: ./schemas
      schemas_and_paths:
        main: ./dbt_snapshots_project.db
      extensions:
        - "C:/sqlean/crypto.dll"Altyapı:

Benim gibi SQLite veritabanı kullanıyorsanız, SQLean uzantısını da kurmanız gerekir.

6. Verinizi dbt sahneleme (staging) modellerine alın:

models adlı yeni bir klasör oluşturun. Bu klasörde stg_customers.sql adlı bir dosya oluşturun.

Aşağıdaki kodu dosyaya yapıştırın:

SELECT
  *
FROM {{ ref('customers') }}Altyapı:

7. Aşağıdaki komutla sahneleme modellerini oluşturun.

dbt run --select stg_customersAltyapı:

Komutun çıktısı şöyle olmalıdır:

3. dbt Snapshot’ı yapılandırma

1. Bir snapshots/ dizini oluşturun.
2. Doğru yapılandırmayla snapshot SQL dosyanızı yazın.

Bu örnek için, zaman damgası stratejisi snapshot’ı gerçekleştirmek üzere aşağıdaki kodu kullanabilirsiniz.

{% snapshot customers_snapshot %}

{{
  config(
    target_schema='snapshots',
    unique_key='customer_id',
    strategy='timestamp',
    updated_at='updated_at'
  )
}}

select * from {{ ref('customers') }}

{% endsnapshot %}Altyapı:

4. dbt Snapshot çalıştırma

Çalıştırın:

dbt snapshotAltyapı:

Bu komutta, tablo mevcut değilse dbt snapshot tablosunu oluşturur. Ayrıca tespit edilen değişiklikler için yeni satırlar ekler.

Komutun çıktısı şöyle olmalıdır:

5. Snapshot Tablolarını Kontrol Etme

Artık snapshot’ınızı gerçekleştirdiğinize göre, proje dosyası dizininizde yeni bir snapshot.db dosyası oluşturulmuş olmalıdır.

Bu dosyanın nasıl göründüğünü görüntülemek için VSCode’da açtım:

Gördüğünüz gibi, dbt_updated_at gibi ek sütunlar içeriyor. Bunlar, verilerde değişiklik yapılıp yapılmadığını ve ne zaman yapıldığını belirlemede kritik öneme sahiptir.

dbt üzerine daha fazla uygulamalı rehber için, dbt ile Semantik Katman rehberimize göz atın.

Örnek: dbt Snapshot’larla Veri Değişikliklerini İzleme

Snapshot’lar, bir tablo içindeki herhangi bir öznitelikteki değişikliklerin tam bir denetim izini ekiplerin zaman içinde yakalamasını sağlar; bu da onları uyumluluk, hata ayıklama ve analitik için güçlü kılar.

1. İlgili alanlara sahip örnek bir customers tablosu oluşturun. Buna, değişikliklerin ne zaman gerçekleştiğini izlemek için müşteri kimliği, ad, e-posta ve updated_at zaman damgası dahildir.

CREATE TABLE customers (
    customer_id INTEGER PRIMARY KEY,
    name VARCHAR(100),
    email VARCHAR(100),
    updated_at TIMESTAMP
);Altyapı:

2. Başlangıç durumunu simüle etmek için ilk verileri ekleyin.

Tabloya veri eklemek için aşağıdaki kodu kullanın. Bu veriler, değişiklikten önceki orijinal veri olarak kullanılacaktır.

INSERT INTO customers VALUES 
(1, 'Alice Tan', '[email protected]', '2025-07-01 10:00:00'),
(2, 'Bob Lee', '[email protected]', '2025-07-01 10:00:00');Altyapı:

3. E-posta değişikliklerini izlemek için bir dbt snapshot yapılandırması yazın:

{% snapshot customers_email_snapshot %}

{%
  set config(
    target_schema='snapshots',
    unique_key='customer_id',
    strategy='check',
    check_cols=['email'],
    invalidate_hard_deletes=True
  )
%}

SELECT * FROM {{ source('customers') }}

{% endsnapshot %}Altyapı:

4. İlk durumu kaydetmek için dbt snapshot çalıştırın.

dbt snapshotAltyapı:

5. Kaynak tabloda bir e-posta güncellemesi simüle edin.

Sonraki adımda, bir veri değişikliğini simüle etmek için bir müşterinin bilgisini değiştirerek orijinal tablomuzu güncelleyeceğiz.

UPDATE customers
SET email = '[email protected]', updated_at = '2025-07-02 09:00:00'
WHERE customer_id = 1;Altyapı:

6. Değişikliği yakalamak için dbt snapshot komutunu tekrar çalıştırın.

dbt snapshotAltyapı:

7. Snapshot tablosunu sorgulayın.

Verilere yapılan farkları ve değişiklikleri görüntülemek için snapshot tablosunu sorgulamanız gerekir. Tablo, ilgili geçerlilik aralıklarıyla birlikte e-posta adresinin her iki sürümünü de göstermelidir:

SELECT customer_id, email, dbt_valid_from, dbt_valid_to
FROM snapshots.customers_email_snapshot
ORDER BY customer_id, dbt_valid_from;Altyapı:

Bu süreç, GDPR denetimleri, iletişim geçmişi takibi veya müşteri destek analitiği için kritik olan e-posta güncellemeleri için tam bir değişiklik geçmişini korumanızı sağlar.

Gelişmiş Yapılandırma ve Yönetim

Etkili yapılandırma yönetimi, ekiplerin snapshot uygulamalarını projeler ve ortamlar arasında sorunsuz bir şekilde ölçeklendirmesini sağlar.

1. Proje düzeyi ve kaynak düzeyi yapılandırma

• Proje düzeyi yapılandırma: Tüm snapshot’lara uygulanacak hedef şema veya gerçekleştirmeler gibi varsayılan snapshot yapılandırmalarını ayarlamak için dbt_project.yml kullanın.
• Kaynak düzeyi yapılandırma: Belirli gereksinimler için bireysel snapshot SQL dosyaları içinde ayarları geçersiz kılarak esneklik sağlayın.

2. Meta veri alanlarını özelleştirme

Varsayılan olarak, dbt dbt_valid_from ve dbt_valid_to alanlarını oluşturur. Ekip standartlarınız BI veya veri yönetişim araçlarında farklı adlandırma gerektiriyorsa, bunları valid_from ve valid_to yapılandırma seçeneklerini kullanarak yeniden adlandırabilirsiniz.

3. Eski Snapshot yapılandırmalarını taşımak

Geçişler, doğru yönetilmezse bazı tutarsızlıklara neden olabilir. Snapshot yapılandırmalarınızı taşırken dikkat etmeniz gereken bazı alanlar şunlardır:

1. Kullanımdan kaldırılmış yapılandırma blok tarzlarını kullanan eski snapshot tanımlarını belirleyin.
2. Modern dbt sürümleri kullanılıyorsa tutarlılık için YAML tabanlı yapılandırmalara yeniden düzenleyin.
3. Doğruluğu doğrulayın:
• Snapshot’ları test ortamlarında çalıştırın.
• Eski snapshot’ları devreden çıkarmadan önce çıktıları karşılaştırın.
4. Devreden çıkarma: Eski snapshot dosyalarını kaldırın ve dokümantasyonu buna göre güncelleyin.

4. Diğer araçlarla entegrasyon

Veri değişiklikleri, dbt snapshot’larıyla birlikte eşgüdüm içinde izlenebilir. 

Örneğin:

• BI araçları (örn. Power BI, Tableau): Zaman içinde öznitelik değişimlerini gösteren zamansal görselleştirmeler oluşturun.
• Gözlemlenebilirlik platformları (örn. Monte Carlo, Datafold): Veri tazeliğini ve tarihsel bütünlüğü izleyin.
• Veri katalogları (örn,. Alation, Collibra): Uyumluluk için belgelendirilmiş soyağacı yapıtları olarak snapshot geçmiş tablolarını dahil edin.

Üretim Ortamında Uygulama için En İyi Uygulamalar

Üretimde dbt snapshot’ları uygulamak, performans, sürdürülebilirlik ve iş değeri sağlamak için dikkatli bir tasarım gerektirir.

Şunlara uymak en iyisidir:

1. En uygun kullanım alanları ve tablo seçimi

• Müşteri profilleri, ürün ana verisi ve tedarikçi sözleşmeleri gibi yavaş değişen özniteliklere sahip boyut tablolarını önceliklendirin.
• Hızlı depolama artışı endişeleri olmadıkça, yüksek frekanslı ekleme ve güncellemelere sahip işlem (transactional) tablolarından (örn. sipariş kalemleri) kaçının.

2. Performans optimizasyon teknikleri

Üretimde, ürününüzü etkilemeden veri değişikliklerinin verimli şekilde izlenebilmesi için verinizi optimize etmek istersiniz.

İşte bazı ipuçları:

• İndeksleme: Daha hızlı sorgular için unique_key ve geçerlilik sütunlarına indeks ekleyin.
• Bölümlendirme: Tarama performansını optimize etmek için snapshot tablolarını tarihe göre bölümleyin.
• Kümelendirme (ambar özelinde): Filtreleme sorgu hızlarını artırmak için (örn. BigQuery’de) yüksek kardinaliteli alanlar üzerinde kümelendirme anahtarları kullanın.

3. Bakım ve izleme uygulamaları

• Zamanlama: Bilgi işlem maliyeti etkilerini en aza indirmek için snapshot’ları yoğun olmayan saatlerde çalıştırın.
• İzleme: dbt Cloud veya orkestrasyon aracınızda snapshot hataları için uyarılar ayarlayın.
• Veri tazeliği kontrolleri: Snapshot veri tazeliğini doğrulamak için dbt testleri veya gözlemlenebilirlik araçları kullanın.
• Depolama analizi: İş izin veriyorsa snapshot tablo boyutlarını periyodik olarak gözden geçirin ve tarihsel verileri budayın.

4. Yaygın tuzaklar

Benzersiz olmayan bir unique_key kullanmak, yanlış satır sürümlemeye yol açar. Dağıtımdan önce her zaman benzersizlik mantığını test edin. 

Snapshot şişmesi ayrıca gereksiz tarihsel değişiklikler saklandığında (örn. sık zaman damgası güncellemesi olan sütunlar) depolama maliyetlerinin hızla artmasına neden olabilir.

Yaygın Zorluklar ve Çözümler

dbt’de Snapshot kullanmak bazı özel teknik zorluklarla gelebilir:

1. Benzersiz anahtar çakışmaları

Sorun: Zayıf tanımlanmış benzersiz anahtarlar nedeniyle snapshot’ta yinelenen satırlar.

Çözüm:

• Snapshot dağıtımından önce dbt testleriyle benzersizliği doğrulayın.
• Gerektiğinde bileşik benzersizlik sağlamak için birden fazla alanı birleştirin.

2. Zamansal sorgu performansı

Sorun: Tarihsel verileri analiz ederken yavaş sorgular.

Çözüm:

• Depo bölümleme ve kümelendirmeyi etkili şekilde kullanın.
• Taranan veri hacmini azaltmak için sorguları her zaman dbt_valid_from veya tarih aralıklarıyla filtreleyin.

3. Snapshot yürütme hatalarını giderme

Yaygın sorunlar şunları içerir:

• Hatalı şema veya veritabanı izinleri.
• Kaynak tablo şema değişikliklerinin (örn. sütunların kaldırılması) snapshot SELECT ifadelerini bozması.
• Snapshot yapılandırma bloklarında sözdizimi hataları.

Çözümler:

• dbt debug kullanarak bağlantı ve yapılandırmayı doğrulayın.
• Dağıtımdan önce hataları yakalamak için dbt’de CI testleri uygulayın.
• Ayrıntılı hata mesajları için dbt çalışma günlüklerini inceleyin.

Sonuç

dbt snapshot’lar, analitik ekiplerinin asgari mühendislik yüküyle sağlam tarihsel veri kümeleri oluşturmasını sağlayarak uyumluluk analitiğini mümkün kılar. dbt hakkında daha fazla bilgi edinmek isterseniz, dbt’ye Giriş kursumuza göz atın. Okumalar ve daha fazla rehber için dbt-utils Paketine Giriş ve dbt Eğitimi içeriklerimize göz atın.