Madalyon Mimarisi Nedir? Bronz, Gümüş ve Altın Katmanları Açıklanıyor

Madalyon mimarisi ve geleneksel ETL hatları

Geleneksel extract-transform-load (ETL) hatlarına sahip veri ambarlarında, verinizin şemasını en baştan tanımlamanız gerekir. Veri biçiminiz veya şemanız değişirse, sistemi elle uyarlamadığınız sürece süreç başarısız olur. 

Madalyon tabanlı bir extract-load-transform (ELT) mimaride, veriyi önce ham haliyle kaydedersiniz; veriyi anında dönüştürüp son halini depolamak yerine. Bu fark, madalyon tabanlı mimarileri hem sağlam hem de esnek kılar: ham veriyi olduğu gibi depolayıp nasıl kullanacağınıza daha sonra karar verebilirsiniz. 

İki kavramın tam karşılaştırması için ETL ve ELT rehberimizi okumanızı öneririm.

Madalyon mimarisinin bir başka avantajı da platformdan bağımsız yapısıdır. Bronz, Gümüş ve Altın belirli bir tedarikçiye bağlı teknolojiler değil, mantıksal aşamalardır. Deseni, veri platformunuza ve işyükü gereksinimlerinize bağlı olarak farklı depolama sistemleri, işleme motorları ve tablo biçimleriyle uygulayabilirsiniz.

Madalyon Mimarisinde Bronz, Gümüş ve Altın Katmanları Nasıl Çalışır?

Üç madalyon katmanı mantıksal olarak birbirini izler; her biri öncekine dayanır.

Bronz katman: kurtarma noktası olarak ham veri

Burası, ham verinin olduğu gibi indiği yerdir; ister ilişkisel veritabanları, Salesforce gibi SaaS uygulamaları, gerçek zamanlı olaylar taşıyan Kafka konuları, REST API'leri, CSV dışa aktarımları ya da IoT cihaz akışları olsun. İçe aktarma genellikle, değişiklik verisi yakalama için Fivetran ya da nesne depolamaya inen dosyalar için Databricks Auto Loader gibi araçlarla yürütülür.

Bronz veriler genellikle oldukça fazla hata, tutarsızlık ve yinelenen kayıt içerir; bu nedenle iş amaçları için asla doğrudan kullanılmamalıdır. Bununla birlikte, bu katman kurtarma noktası olarak çok değerlidir; buradan Gümüş veya Altın veriyi yeniden üretebilirsiniz.

Bu katmanın önemi ayak izinde yatar: her içe aktarma olayını veya işlemini kaydeder ve günlüğe alır. Çoğu zaman, içe aktarma zaman damgaları, veri kökenleri ve çeşitli tanımlayıcılar gibi değerli meta veriler içerir. Amaç, veriyi mümkün olduğunca ham ve eksiksiz şekilde depolamaktır; böylece aşağı akış hatlarını, aynı kaynak veriyi kullanarak, hataları ayıklamak için yeniden çalıştırabilirsiniz.

Gümüş katman: sözleşme katmanı

Gümüş katman, ham veriyi temiz, yapısal veriye dönüştürür. Bronz ile Gümüş arasında gerçekleşen önemli temizleme dönüşümlerine birkaç örnek:

• Gereksiz sütunların filtrelenmesi
• Kayıtların tekilleştirilmesi
• Tutarsızlıkların giderilmesi
• Eksik değerlerin ele alınması
• Verinin standartlaştırılması
• Çeşitli veri kümelerinin birleştirilmesi ve kaynaştırılması

Bu katman ayrıca şema uygulamayı içerir; verinin önceden tanımlanmış yapıya uymasını sağlar ve şema evrimini destekler. 

Veri kalite kontrolleri de burada yürütülür. Örneğin, başarısız iş işlemlerini veya aykırı değerleri işaretlemek ya da reddetmek için kurallar ekleyin. Bu, veriler aşamalardan geçerken veri kalitesini iyileştirmenin ilk adımıdır.

Bu aşama veri değişikliğini içerdiğinden, veri soy kütüğünü dbt gibi araçlarla izlemek önemlidir; Bronz'dan Gümüş'e verinin nasıl dönüştürüldüğünü takip edersiniz. Kalite kontrolleri tipik olarak dbt testleri, Great Expectations veya Soda ile uygulanır; yönetişim ise veri kataloğu olarak Databricks Unity Catalog ya da Collibra aracılığıyla sağlanır.

Dağınık veriyi doğru Gümüş veri kümelerine dönüştürmeyi öğrenmek istiyorsanız, Python ile Veri Temizleme kursumuzla başlamanızı öneririm.

Altın katman: işe hazır çıktılar

Mimarinin son katmanı, veriyi mümkün olan en yüksek kalitede depolar. Bu son derece rafine veri, Power BI, Tableau veya Looker'da iş raporlaması için kullanılır; aşağı akıştaki analitik uygulamalar tarafından tüketilir ya da Feast veya Databricks Feature Store gibi bir özellik deposu aracılığıyla makine öğrenmesi modellerine sunulur.

Veri zaten temizlendiği için, bu aşama onu değerli bir iş varlığına dönüştürmeye odaklanır. özgül kullanım durumuna bağlı olarak (finansal raporlar, pazarlama panoları, uyarı sistemleri, ML model eğitimi gibi), Gümüş'ten sonraki dönüşümler, Altın'ın eldeki görev için tam olarak gereken bilgiyi içermesini sağlar.

Burada KPI'lar oluşturur, özel iş formülleri uygular ya da haftalık, aylık ya da üç aylık veri düzeyinde toplulaştırma yaparsınız. Bronz ve Gümüş işlemleri sıklıkla ortak iken, Altın katmandaki işlemler daha esnek ve bu veriyi nasıl kullanmak istediğinize göre özeldir.

Gümüş ve Altın Katmanlarını Bronz Veriden Nasıl Yeniden Oluşturursunuz?

Ham veriyi Bronz'da korumak, ancak gerçekten kullanabildiğinizde fayda sağlar; bu da üst ya da alt akışta bir şeyler değiştiğinde olur. Değişikliğin maliyeti, zincirde ne kadar ileride olduğuna bağlıdır. 

• Bir kaynak şema değişikliği, Bronz'u hem Gümüş hem de Altın boyunca yeniden oynatmak anlamına gelir. 
• Bir iş tanımındaki değişiklik (ör. yeni bir gelir kuralı veya farklı bir toplulaştırma penceresi), yalnızca zaten doğrulanmış Gümüş'ten Altın'ı yeniden oluşturmak anlamına gelir.

Hiçbir durumda kaynak sisteme geri dönmezsiniz. Bu, tarihsel düzeltmeleri mümkün kılan şeydir; çünkü kaynak, artık veriyi ilk içe aktardığınız biçimde tutmuyor olabilir. 

Ayrıca, metrik tanımını içe aktarmayı yeniden çalıştırmadan değiştirebileceğiniz anlamına gelir; çok sayıda Altın tüketicisi olan ekiplerin katmanları ayrı tutmasının pratik nedeni budur.

Madalyon Mimarisi Bir Veri Lakehouse'unda Nereye Oturur?

Bir veri lakehouse size bir veri gölünün ucuz nesne depolamasını ve bir ambarın işlemsel garantilerini sunar. İçindeki tabloların nasıl düzenleneceği hakkında bir şey söylemez. Madalyonun doldurduğu boşluk budur: lakehouse depolama altyapısıdır; Bronz, Gümüş ve Altın ise bunu farklı kalite garantilerine sahip kataloglara, şemalara ve tablolara nasıl böldüğünüzdür.

Pratikte bu bölünme genellikle fizikseldir. Databricks üzerinde, bir Unity Catalog kataloğunda üç şema olabilir; Microsoft Fabric'te ise Bronz ve Gümüş tabloların bir Altın ambarını beslediği bir lakehouse bulunur. Aynı desen, farklı tesisat.

Açık tablo biçimleri, katmanların eşzamanlı okuma ve yazma altında ayakta kalmasını sağlar. Delta Lake, Apache Iceberg ve Apache Hudi, şu özelliklerin bazı kombinasyonlarını sunar:

• ACID işlemleri
• Şema evrimi
• Sürümlemeli tablo durumu
• Eşzamanlılık denetimleri
• Bölüm evrimi
• Zamanda yolculuk

Sürümleme, az önce ele aldığımız yeniden oynatma davranışı için en çok önem taşır. Ham Parquet dosyaları kaynak verinizi gayet iyi korur, ancak geri alınacak işlemsel bir geçmiş sunmaz; dolayısıyla hatalı bir Gümüş çalışması iyiyi üzerine yazar ve karşılaştıracak bir şeyiniz kalmaz. Delta Lake, değişiklikleri bir işlem günlüğünde izlerken, Apache Iceberg tablo durumlarını anlık görüntüler olarak temsil eder.

Bunların hiçbiri zorunlu değildir. Madalyon mantıksal bir desendir ve birçok ekip bunu Postgres şemalarında ya da üstünde dbt çalışan düz S3 ön eklerinde uygular. Sadece ucuz geri almayı kaybedersiniz.

Madalyon mimarisi ve veri ağı (data mesh)

Bu ikisi sıkça karşılaştırılır; genellikle rekabet ettikleri varsayıldığı için. Farklı soruları yanıtlarlar: data mesh veriye kimin sahip olduğunu belirler; madalyon mimarisi ise o sahibin veriyi nasıl rafine ettiğini belirler.

Data mesh, verinin sorumluluğunu satış, finans veya tedarik zinciri gibi alan ekiplerine verir; bu ekipler verilerini ürün olarak yayımlar ve kalitesi, bulunabilirliği, soy kütüğü ve yönetişiminin sahipliğini üstlenir. Bunu iki şey bir arada tutar: her alana aynı araçları veren self-servis altyapı ve alanlardan mülkiyeti almadan kuruluş genelinde standartlar belirleyen federatif yönetişim.

Madalyon mimarisi, bir alan ekibinin kendi diliminde çalıştırdığı şeydir. Sevkiyat verisinin sahibi olan bir tedarik zinciri ekibi, ham sevkiyat olaylarını Bronz'da, doğrulanmış kayıtları Gümüş'te tutar ve diğer alanların tüketmesi için Altın'da analize hazır sevkiyat veri kümeleri yayımlar. Ağ, sözleşmeyi Altın sınırında tanımlar; onun yukarısındaki her şey o ekibin işidir.

Birleştirmeden önce bir uyarı: alan başına Bronz katmanları, her alanın kendi içe aktarma ve depolama maliyetini taşıdığı ve müşteri veya ürün gibi paylaşılan boyutların üç yerde yeniden inşa edilme eğiliminde olduğu anlamına gelir. Ağ savunucuları bunun sahipliğin bedeli olduğunu söyleyecektir. Yine de gerçek bir maliyettir ve taahhüt etmeden önce fiyatlandırmaya değerdir.

Madalyon Mimarisinin Faydaları ve Sınırlamaları Nelerdir?

Madalyon size yeniden kullanım ve kurtarılabilirlik kazandırır; karşılığında depolama, gecikme ve hat sayısı olarak ücret çıkarır. Bu takasın işe yarayıp yaramadığı, neredeyse tamamen kaç tüketiciniz olduğuna bağlıdır.

Gecikme olanı küçümsemek en kolayıdır. Her katman genellikle kendi zamanlanmış işidir; bu nedenle saatlik çalışan üç katmanlı bir toplu hat, Altın'ı kaynak sistemin iki saat gerisinde bırakabilir. Bu, haftalık gelir raporu için uygundur; operasyonel bir uyarı için uygun değildir. Bu yüzden ekipler, uyarıların Altın'ı beklemek yerine doğrudan Gümüş'ü okumasına sıkça izin verir.

İnsanların ilk dile getirdiği maliyet depolamadır ve genellikle daha küçük sorundur. Bronz, ucuz nesne depolamada durur ve çoğaltma gerçektir ama sınırlıdır. Asıl can yakan, hat sayısıdır: yirmi kaynak tablosu boyunca üç katman, sabah 3'te potansiyel olarak arızalanabilecek altmış şey demektir.

Buna karşılık, zayıf veri kalitesinin de kendi faturası vardır. IBM, 2026'da COO'ların %43'ünün veri kalitesini en önemli veri önceliği olarak belirttiğini raporladı; bu, Enstitü for Business Value'nun 2025 araştırmasına dayanmaktadır. O çalışmadaki kuruluşların dörtte birinden fazlası, kötü veri kalitesinden kaynaklanan yıllık kayıpların 5 milyon $'ı aştığını bildirdi.

Dolayısıyla soru, bir madalyon mimarisinin tek bir hattan daha pahalıya mal olup olmadığı değildir; çünkü öyledir. Soru, uzlaşma toplantıları ve kimsenin güvenmediği panolarla zaten alternatifin bedelini ödeyip ödemediğinizdir.

Madalyon Mimarisini Ne Zaman Kullanmalısınız?

Madalyon, aynı temizlenmiş verinin birden fazla tüketiciye hizmet ettiği durumlarda kendini amorti eder. Bu, veri hacmi, ekip boyutu veya kaç kaynaktan çektiğinizden daha iyi bir öngörücüdür.

Şu durumlarda madalyon mimarisini kullanın:

• Birden çok ekip veya iş yükü aynı veriyi okuyor. Gümüş'te bir kez temizleyip standartlaştırın; ardından BI, raporlama veya model eğitimi için gerektiği kadar çok Altın veri kümesi oluşturun.
• Farklı iş soruları, aynı verinin farklı şekillerini gerektiriyor. Finans aylık tahakkuk eden geliri isterken satış, temsilci bazında günlük rezervasyonları ister. Her ikisi de, içe aktarma mantığını çoğaltmadan tek bir Gümüş tablodan çıkar.
• Kaynaklarınız birbiriyle çelişiyor. Gümüş, bir Salesforce hesap kimliğini bir faturalama sisteminin müşteri kimliğine karşı uzlaştırdığınız yerdir; böylece aşağı akıştaki hiç kimsenin hangisinin yetkili olduğunu tahmin etmesine gerek kalmaz.
• Bir sayının hesabını vermeniz gerekiyor. Ham, doğrulanmış ve kürasyonlu veriyi ayırmak, tartışmalı bir rakamı sıfırdan yeniden türetmek yerine her dönüşüm boyunca geri adım adım izlemenizi sağlar.
• Dönüşüm mantığı sık sık değişiyor. Yukarıda değindiğimiz gibi, korunmuş Bronz veri, kaynağa geri dönmeden yeniden inşa etmenizi sağlayan şeydir.

Şu durumlarda es geçin:

• Küçük bir veri ekibiniz ve sınırlı hat karmaşıklığınız var.
• Veri, en az temizleme veya dönüşüm gerektiren tek bir kaynaktan geliyor.
• Veriyi yalnızca tek bir aşağı akış uygulaması veya ekip tüketiyor.
• Raporlama gereksinimleriniz basit ve birden çok işleme katmanını sürdürmeyi haklı çıkarmıyor.

İki katman yeterli olduğunda

Üç katmanlı şema bir varsayılandır; zorunluluk değildir. Tek bir iş kullanım durumunda, Bronz artı birleşik tek bir katman genellikle en doğru tercihtir: yeniden oynatma için ham veriyi koruyun; ardından temizleme ve iş mantığını tek adımda yapın.

Tüketicilerinize uyan şekli seçin. Çökertmemeniz gereken katman Bronz'dur; çünkü yeniden oluşturamayacağınız katman odur.

Dolayısıyla aradaysanız ve dürüstçe karar veremiyorsanız, iki katman kurup ikinci bir tüketici belirdiğinde üçüncüyü eklemek iyi bir yaklaşımdır. Altın'ı sonradan eklemek, son altı aydır ham verinizi üzerine yazdıktan sonra Bronz'u geriye dönük eklemekten çok daha ucuzdur.

Madalyon Uygulamalarında Yaygın Hatalar

Madalyonla ilgili sorunların çoğu mimari değildir. Teslim tarihi baskısı altında yapılan küçük tavizlerdir; fark ettirmeden en başta katmanları kurma nedeninizi ortadan kaldırırlar.

Bronz'da veri dönüşümü

Yeniden oynatma argümanının tamamı, Bronz'un kaynağın gerçekten gönderdiğine yakın bir şeyi tutmasına dayanır. Veriyi indirmeden önce iş mantığı uygularsanız, orijinal durumu kaybedersiniz; bu da yeniden işleme ve denetim izi olmadığı anlamına gelir.

Bu genellikle iyi nedenlerle olur. Kimsenin kullanmadığı bir sütun yer tasarrufu için düşürülür ya da bir sonraki işi bozduğu için dağınık bir zaman damgası alanı içe aktarma sırasında zorlanır. Altı ay sonra, kullanılmayan sütunun önemli olduğu ortaya çıkar ve orijinal değerler gitmiştir. Bronz'u pratik olarak yönetebildiğiniz kadar kaynağa yakın tutun ve düzeltmeleri Gümüş'e koyun.

Gümüş ve Altın sınırının bulanıklaştırılması

Gümüş, temizler ve standartlaştırır. Altın, iş sorularını yanıtlar. Metrik mantığı Gümüş'e sızdığında, her Altın veri kümesi, talep etmediği bir tanımı miras alır ve madalyonun çözmesi gereken soruna geri dönersiniz.

Test basittir: bir iş kullanıcısı rakamı tartışıyorsa, o mantık Altın'a aittir. Tekilleştirme Gümüş'ün konusudur. Aktif müşteri ne sayılır, değildir.

Üç katmanı zorunlu görmek

Madalyon mimarisi bir mantıksal tasarım desenidir; her hattın tam olarak üç fiziksel katman içermesi gerekliliği değildir. Bronz, Gümüş ve Altın, veri rafinasyonunun mantıksal aşamalarını temsil eder ve her katman, iş yüküne bağlı olarak farklı şekilde uygulanabilir. 

Örneğin, bir katman, verinin ayrı bir fiziksel kopyasını gerektirmek yerine malzemeleşmiş tablolar, görünümler veya diğer uygun soyutlamalar kullanabilir. Amaç, veri ham halinden işletmenin güvenip kullanabileceği bir şeye doğru ilerlerken anlamlı sınırlar oluşturmaktır; klasik üç katmanlı diyagramı birebir çoğaltmak değil. 

Altın'ı çöplük olarak bırakmak

En çok gördüğüm budur ve en az tartışılan da budur. Altın veri kümeleri oluşturması ucuzdur ve kimse asla silmez; bu yüzden bir yıl sonra kırk tablonuz olabilir; bunların on biri aylık gelir varyasyonlarıdır ve CFO'nun hangisine baktığını kimse hatırlamaz.

Gümüş'ün görevi tanımlı olduğu için doğal bir disiplini vardır. Altın'ın yoktur; bu nedenle veri kümesi başına bir sahip ve silmeye istek gerekir. Aksi halde, aynı metrik için birkaç rakip sürümle kalırsınız; bu da katmanların önlemeyi amaçladığı sorunlardan biridir.

Son Düşünceler

Madalyonun size gerçekte verdiği şey, birisi bir sayının nereden geldiğini sorduğunda işaret edebileceğiniz bir yer ve yanıtın yanlış olduğu ortaya çıktığında geri dönebileceğiniz orijinal verinin bir kopyasıdır. Aynı veriyi birden çok ekip okuduğunda, fazladan depolama ve fazladan işleri buna değer kılar. Sadece tek bir ekip okuyorsa, iki katman daha iyi bir çözüm olabilir ve size biraz bakım tasarrufu sağlar.

Bu desenin nerede konumlandığına dair daha geniş bağlamı istiyorsanız, Modern Veri Mimarisi Anlama kursumuz, modern veri yığınlarının arkasındaki platform ve teknolojileri kapsar. Veri Mühendisi kariyer yolumuz ise üretim hatları oluşturma ve sürdürme konusuna daha derinlemesine iner.