Apa Itu Arsitektur Medallion? Penjelasan Lapisan Bronze, Silver, dan Gold

Arsitektur medallion vs. pipeline ETL tradisional

Dalam gudang data dengan pipeline extract-transform-load (ETL) tradisional, Anda harus menentukan skema data di awal. Jika format atau skema data berubah, sistem akan gagal kecuali Anda menyesuaikannya secara manual. 

Dalam arsitektur ELT berbasis medallion (extract-load-transform), Anda menyimpan data terlebih dahulu dalam bentuk mentah, alih-alih mentransformasikannya secara langsung dan menyimpan data final. Perbedaan ini membuat arsitektur berbasis medallion menjadi tangguh dan fleksibel: Anda dapat menyimpan data mentah apa adanya dan memutuskan cara menggunakannya nanti. 

Untuk perbandingan lengkap kedua konsep ini, saya sarankan membaca panduan ETL vs ELT kami.

Keunggulan lain dari arsitektur medallion adalah sifatnya yang agnostik platform. Bronze, Silver, dan Gold adalah tahapan logis, bukan teknologi yang terikat ke vendor tertentu. Anda dapat menerapkan polanya dengan berbagai sistem penyimpanan, mesin pemrosesan, dan format tabel, tergantung pada platform data dan kebutuhan beban kerja Anda.

Bagaimana Lapisan Bronze, Silver, dan Gold Bekerja dalam Arsitektur Medallion?

Ketiga lapisan medallion mengikuti alur logis, masing-masing dibangun di atas yang sebelumnya.

Lapisan Bronze: data mentah sebagai titik pemulihan

Di sinilah data mentah mendarat apa adanya, baik itu basis data relasional, aplikasi SaaS seperti Salesforce, topik Kafka yang membawa peristiwa real-time, REST API, ekspor CSV, atau stream perangkat IoT. Ingest biasanya ditangani oleh alat seperti Fivetran untuk change data capture atau Databricks Auto Loader untuk file yang mendarat di object storage.

Data Bronze biasanya berisi cukup banyak kesalahan, inkonsistensi, dan duplikasi, sehingga tidak boleh digunakan langsung untuk tujuan bisnis. Meski begitu, lapisan ini sangat berharga sebagai titik pemulihan dari mana Anda dapat meregenerasi data Silver atau Gold.

Pentingnya lapisan ini terletak pada jejak-nya: ia mencatat dan melog setiap peristiwa atau transaksi ingest. Sering kali memuat metadata berharga, seperti cap waktu ingest, asal data, dan berbagai jenis pengenal. Tujuannya adalah menyimpan data semementah dan selengkap mungkin, sehingga Anda dapat memutar ulang pipeline hilir menggunakan data sumber yang sama untuk men-debug bug apa pun.

Lapisan Silver: lapisan kontrak

Lapisan silver mengubah data mentah menjadi data yang bersih dan terstruktur. Beberapa contoh transformasi pembersihan penting yang terjadi antara tingkat Bronze dan Silver:

• Menyaring kolom yang tidak perlu
• Menghapus duplikasi rekaman
• Memperbaiki inkonsistensi
• Menangani nilai hilang
• Menstandarkan data
• Menggabungkan dan menyatukan berbagai dataset

Lapisan ini juga memuat penegakan skema, memastikan data memenuhi struktur yang telah ditentukan dan mendukung evolusi skema. 

Anda juga menangani pemeriksaan kualitas data di sini. Misalnya, tambahkan aturan untuk menandai atau menolak transaksi bisnis yang gagal atau outlier. Ini adalah langkah pertama untuk meningkatkan kualitas data saat data melewati tahapan.

Karena tahap ini melibatkan modifikasi data, penting untuk menggunakan alat data lineage seperti dbt untuk melacak bagaimana data ditransformasikan dari Bronze ke Silver. Pemeriksaan kualitas biasanya diimplementasikan dengan dbt tests, Great Expectations, atau Soda, sementara tata kelola ditegakkan melalui katalog data seperti Databricks Unity Catalog atau Collibra.

Jika Anda ingin mempelajari cara mengubah data berantakan menjadi dataset silver yang layak, saya sarankan memulai dengan kursus Cleaning Data in Python kami.

Lapisan Gold: keluaran siap bisnis

Lapisan terakhir dari arsitektur menyimpan data dengan kualitas setinggi mungkin. Data yang sangat disempurnakan ini digunakan untuk pelaporan bisnis di Power BI, Tableau, atau Looker, dikonsumsi oleh aplikasi analitik hilir, atau disajikan ke model machine learning melalui feature store seperti Feast atau Databricks Feature Store.

Karena data sudah dibersihkan, tahap ini berfokus pada mengubahnya menjadi aset bisnis yang bernilai. Tergantung pada use case spesifik yang diinginkan (pikirkan laporan keuangan, dasbor pemasaran, sistem peringatan, pelatihan model ML, …), transformasi setelah Silver memastikan bahwa Gold memuat tepat informasi yang dibutuhkan untuk tugas yang sedang dikerjakan.

Di sini Anda membuat KPI, menerapkan rumus bisnis kustom, atau mengagregasi ke data mingguan, bulanan, atau triwulanan untuk pelaporan terjadwal. Sementara operasi Bronze dan Silver sering kali umum, operasi lapisan Gold lebih fleksibel dan kustom sesuai cara Anda ingin menggunakan data ini.

Bagaimana Cara Membangun Ulang Silver dan Gold dari Data Bronze?

Mempertahankan data mentah di Bronze hanya bermanfaat jika Anda benar-benar dapat menggunakannya, dan itu terjadi kapan pun ada perubahan di hulu atau hilir. Biaya sebuah perubahan bergantung pada seberapa jauh posisinya dalam rantai. 

• Perubahan skema sumber berarti memutar ulang Bronze melalui Silver dan Gold.
• Perubahan definisi bisnis (mis., aturan pendapatan baru atau jendela agregasi yang berbeda) hanya berarti membangun ulang Gold dari Silver yang sudah divalidasi.

Dalam kedua kasus, Anda tidak kembali ke sistem sumber. Itulah yang membuat koreksi historis menjadi mungkin, karena sumber mungkin tidak lagi menyimpan data dalam bentuk yang awalnya Anda ingest. 

Ini juga berarti Anda dapat mengubah definisi metrik tanpa menjalankan ulang ingest, yang merupakan alasan praktis tim dengan banyak konsumen Gold menjaga lapisan tetap terpisah.

Di Mana Posisi Arsitektur Medallion dalam Data Lakehouse?

Sebuah data lakehouse memberi Anda object storage murah seperti data lake dengan jaminan transaksional seperti warehouse. Ini tidak mengatakan apa pun tentang bagaimana menyusun tabel di dalamnya. Itulah celah yang diisi medallion: lakehouse adalah substrat penyimpanan, dan Bronze, Silver, serta Gold adalah cara Anda membaginya menjadi katalog, skema, dan tabel dengan jaminan kualitas yang berbeda.

Dalam praktiknya, pembagian itu biasanya bersifat fisik. Di Databricks, Anda mungkin memiliki tiga skema dalam satu katalog Unity Catalog, dan di Microsoft Fabric, sebuah lakehouse dengan tabel Bronze dan Silver yang memberi makan warehouse Gold. Pola sama, perpipaan berbeda.

Format tabel terbuka adalah yang membuat lapisan tetap andal di bawah baca/tulis bersamaan. Delta Lake, Apache Iceberg, dan Apache Hudi masing-masing menawarkan kombinasi dari:

• Transaksi ACID
• Evolusi skema
• Status tabel berversi
• Kontrol konkurensi
• Evolusi partisi
• Time travel

Versi sangat penting untuk perilaku replay yang baru saja kita bahas. File Parquet mentah mempertahankan data sumber Anda dengan baik, tetapi tidak memberi riwayat transaksional untuk kembali, sehingga eksekusi Silver yang buruk menimpa yang baik, dan Anda tidak punya pembanding. Delta Lake melacak perubahan dalam transaction log, sementara Apache Iceberg merepresentasikan status tabel sebagai snapshot.

Tidak ada yang wajib dari ini. Medallion adalah pola logis, dan banyak tim menjalankannya di skema Postgres atau awalan S3 biasa dengan dbt di atasnya. Anda hanya kehilangan kemudahan rollback.

Arsitektur medallion vs data mesh

Keduanya sering dibandingkan, biasanya karena orang menganggap keduanya bersaing. Mereka menjawab pertanyaan yang berbeda: data mesh menentukan siapa pemilik data, dan arsitektur medallion menentukan bagaimana pemilik tersebut menyempurnakannya.

Data mesh menyerahkan tanggung jawab data kepada tim domain seperti penjualan, keuangan, atau rantai pasok, yang mempublikasikan data mereka sebagai produk dan memiliki kualitas, ketertemuan, lineage, serta tata kelolanya. Dua hal yang menyatukannya: infrastruktur swalayan yang memberi setiap domain peralatan yang sama, dan tata kelola federatif yang menetapkan standar organisasi tanpa mengambil alih kepemilikan dari domain.

Arsitektur medallion adalah apa yang dijalankan tim domain di bagiannya sendiri. Tim rantai pasok yang memiliki data pengiriman menyimpan peristiwa pengiriman mentah di Bronze, rekaman tervalidasi di Silver, dan memublikasikan dataset pengiriman siap analitik di Gold untuk dikonsumsi domain lain. Mesh mendefinisikan kontrak di batas Gold; segala sesuatu di hulu darinya adalah urusan tim tersebut.

Satu catatan sebelum Anda menggabungkannya: lapisan Bronze per domain berarti setiap domain menanggung biaya ingest dan penyimpanan sendiri, dan dimensi bersama seperti pelanggan atau produk cenderung dibangun ulang di tiga tempat. Pendukung mesh akan mengatakan itulah harga kepemilikan. Itu tetap biaya nyata, dan layak dihitung sebelum Anda berkomitmen.

Apa Manfaat dan Batasan Arsitektur Medallion?

Medallion memberi Anda ketergunaan ulang dan kemampuan pemulihan, dan menagih Anda untuk penyimpanan, latensi, dan jumlah pipeline. Apakah pertukaran itu menguntungkan hampir sepenuhnya bergantung pada berapa banyak konsumen yang Anda miliki.

Isu latensi adalah yang paling mudah diremehkan. Setiap lapisan biasanya merupakan job terjadwalnya sendiri, jadi pipeline batch tiga lapis yang berjalan per jam dapat membuat Gold tertinggal dua jam dari sistem sumber. Itu baik-baik saja untuk laporan pendapatan mingguan dan tidak baik untuk peringatan operasional, itulah sebabnya tim sering membiarkan sistem peringatan membaca langsung dari Silver alih-alih menunggu Gold.

Penyimpanan adalah biaya yang paling sering disoroti orang, dan biasanya itu masalah yang lebih kecil. Bronze berada di object storage murah, dan duplikasinya nyata tetapi terbatas. Jumlah pipeline adalah yang sebenarnya menyakitkan: tiga lapisan di dua puluh tabel sumber berarti ada enam puluh hal yang berpotensi gagal pada pukul 3 pagi.

Dibandingkan dengan itu, kualitas data yang buruk punya biaya tersendiri. IBM melaporkan pada 2026 bahwa 43% COO menyebut kualitas data sebagai prioritas data paling signifikan, berdasarkan riset 2025 dari Institute for Business Value. Lebih dari seperempat organisasi dalam studi tersebut melaporkan kerugian tahunan akibat kualitas data yang buruk melebihi $5 juta.

Jadi pertanyaannya bukan apakah menerapkan arsitektur medallion lebih mahal daripada satu pipeline, karena memang begitu. Pertanyaannya adalah apakah Anda sudah membayar alternatifnya dalam rapat rekonsiliasi dan dasbor yang tidak dipercaya siapa pun.

Kapan Anda Harus Menggunakan Arsitektur Medallion?

Medallion memberikan nilai ketika data bersih yang sama melayani lebih dari satu konsumen. Itulah prediktor terbaik, mendahului volume data, ukuran tim, atau berapa banyak sumber yang Anda tarik.

Gunakan arsitektur medallion ketika:

• Beberapa tim atau beban kerja membaca data yang sama. Bersihkan dan standarkan sekali di Silver, lalu bangun sebanyak mungkin dataset Gold di atasnya sesuai kebutuhan untuk BI, pelaporan, atau pelatihan model.
• Pertanyaan bisnis berbeda butuh bentuk data yang sama namun berbeda. Keuangan menginginkan pendapatan yang diakui bulanan, dan penjualan menginginkan pemesanan harian per perwakilan. Keduanya berasal dari satu tabel Silver tanpa menduplikasi logika ingest.
• Sumber Anda saling bertentangan. Silver adalah tempat Anda merekonsiliasi ID akun Salesforce dengan ID pelanggan di sistem penagihan sebelum pihak hilir harus menebak mana yang otoritatif.
• Anda perlu mempertanggungjawabkan sebuah angka. Memisahkan data mentah, tervalidasi, dan terkurasi berarti Anda dapat menelusuri angka yang diperdebatkan melalui setiap transformasi alih-alih menurunkannya ulang dari nol.
• Logika transformasi sering berubah. Seperti dibahas di atas, data Bronze yang dipertahankan memungkinkan Anda membangun ulang tanpa kembali ke sumber.

Lewati jika:

• Anda memiliki tim data kecil dan kompleksitas pipeline terbatas.
• Data berasal dari satu sumber dengan pembersihan atau transformasi minimal.
• Hanya satu aplikasi hilir atau tim yang mengonsumsi data.
• Kebutuhan pelaporan Anda sederhana dan tidak membenarkan pemeliharaan beberapa lapisan pemrosesan.

Saat dua lapisan sudah cukup

Diagram tiga lapisan adalah default, bukan keharusan. Dengan satu use case bisnis, Bronze ditambah satu lapisan gabungan sering kali merupakan pilihan tepat: pertahankan data mentah untuk replay, lalu lakukan pembersihan dan logika bisnis dalam satu langkah.

Pilih bentuk yang sesuai dengan konsumen Anda. Yang tidak boleh Anda gabungkan adalah Bronze, karena itulah lapisan yang tidak bisa Anda ciptakan kembali.

Jadi jika Anda berada di tengah dan benar-benar tidak yakin, membangun dua lapisan dan menambahkan yang ketiga saat konsumen kedua muncul adalah langkah yang baik. Menambahkan Gold nanti jauh lebih murah daripada memasang ulang Bronze setelah Anda menimpa data mentah selama enam bulan terakhir.

Kesalahan Umum dalam Implementasi Medallion

Sebagian besar masalah medallion bukan bersifat arsitektural. Itu adalah kompromi kecil yang dibuat di bawah tekanan tenggat waktu yang diam-diam menghapus alasan Anda membangun lapisan tersebut sejak awal.

Transformasi data di Bronze

Seluruh argumen replay bertumpu pada Bronze yang menyimpan sesuatu yang mendekati apa yang benar-benar dikirim sumber. Menerapkan logika bisnis sebelum data mendarat, dan Anda kehilangan keadaan asli, yang berarti tidak ada pemrosesan ulang dan tidak ada jejak audit.

Ini biasanya terjadi karena alasan yang baik. Seseorang menghapus kolom yang tidak digunakan siapa pun untuk menghemat ruang, atau memaksa field cap waktu yang berantakan saat ingest karena merusak job berikutnya. Enam bulan kemudian, kolom yang tidak digunakan ternyata penting, dan nilai aslinya sudah hilang. Jaga Bronze sedekat mungkin dengan sumber yang secara praktis dapat Anda kelola, dan letakkan perbaikannya di Silver.

Mencampur batas Silver dan Gold

Silver membersihkan dan menstandarkan. Gold menjawab pertanyaan bisnis. Ketika logika metrik bocor ke Silver, setiap dataset Gold mewarisi definisi yang tidak dimintanya, dan Anda kembali ke masalah yang seharusnya dipecahkan medallion.

Ujiannya sederhana: jika pengguna bisnis memperdebatkan angkanya, itu milik Gold. Deduplicasi adalah perhatian Silver. Apa yang dihitung sebagai pelanggan aktif bukan.

Menganggap tiga lapisan wajib

Arsitektur medallion adalah pola desain logis, bukan keharusan bahwa setiap pipeline berisi tepat tiga lapisan fisik. Bronze, Silver, dan Gold mewakili tahapan logis penyempurnaan data, dan setiap lapisan dapat diimplementasikan berbeda tergantung beban kerja. 

Misalnya, suatu lapisan dapat menggunakan tabel termaterialisasi, view, atau abstraksi lain yang sesuai alih-alih memerlukan salinan fisik terpisah dari data. Intinya adalah membuat batasan yang bermakna saat data bergerak dari keadaan mentah menuju sesuatu yang dapat dipercaya dan digunakan bisnis, bukan meniru diagram tiga lapisan klasik secara persis. 

Membiarkan Gold sebagai tempat pembuangan

Ini yang paling sering saya lihat, dan paling jarang dibahas. Dataset Gold murah dibuat, dan tidak ada yang pernah menghapusnya, jadi setelah setahun, Anda mungkin punya empat puluh tabel, sebelas di antaranya variasi pendapatan bulanan, dan tidak ada yang ingat mana yang sebenarnya dilihat CFO.

Silver memiliki disiplin alami karena tugasnya terdefinisi. Gold tidak, jadi perlu pemilik per dataset dan kemauan untuk menghapus. Tanpa itu, Anda akhirnya memiliki beberapa versi metrik yang saling bersaing, yang merupakan salah satu masalah yang seharusnya dicegah oleh lapisan.

Penutup

Yang benar-benar Anda dapatkan dari medallion adalah tempat untuk ditunjuk ketika seseorang bertanya dari mana asal sebuah angka, dan salinan data asli untuk kembali ketika jawabannya ternyata salah. Itu sepadan dengan tambahan penyimpanan dan job ekstra ketika beberapa tim membaca data yang sama. Ketika hanya satu tim yang melakukannya, dua lapisan mungkin solusi yang lebih baik dan menghemat perawatan Anda.

Jika Anda menginginkan konteks yang lebih luas tentang posisi pola ini, kursus Understanding Modern Data Architecture kami membahas platform dan teknologi di balik tumpukan data modern. Jalur karier Data Engineer kami membahas lebih jauh tentang membangun dan memelihara pipeline produksi.