dbt Cloud: Panduan Komprehensif

dbt Cloud telah menjadi layanan terkelola terkemuka untuk transformasi data, yang memberdayakan tim analitik modern dengan alur kerja yang skalabel, andal, dan kolaboratif.

Produk ini memperluas kemampuan dbt Core, dengan menawarkan lingkungan hosted yang mengotomatiskan deployment, mengorkestrasi job, mengelola kredensial, dan menyediakan fitur kolaborasi untuk tim data.

Hal ini memungkinkan organisasi mengelola transformasi berbasis SQL dalam lingkungan yang aman, otomatis, dan ramah tim.

Dalam tutorial pengantar ini, kita akan membahas apa itu dbt Cloud, cara menyiapkannya, dan contoh penggunaannya. 

Jika Anda baru pada framework ini dan lebih menyukai jalur belajar terstruktur, saya menyarankan memulai dengan kursus Introduction to dbt kami.

Apa Itu dbt Cloud dan Bagaimana Cara Kerjanya?

Mari mulai dengan gambaran umum tentang dbt Cloud dan beberapa fiturnya.

Gambaran umum dbt Cloud

Pada intinya, dbt Cloud memberdayakan tim untuk mengikuti pendekatan ELT (Extract, Load, Transform). Berbeda dengan proses ETL tradisional, di mana transformasi terjadi sebelum memuat data ke gudang, dbt melakukan transformasi di dalam gudang dengan memanfaatkan daya komputasi dan skalabilitasnya.

Sumber: dbt

dbt Cloud menyederhanakan proses transformasi data, karena:

• Menyediakan layanan terkelola untuk transformasi SQL menggunakan dbt.
• Masuk ke pipeline modern dengan memindahkan transformasi ke dalam gudang data.
• Menstandarkan rekayasa analitik melalui alur kerja dan praktik bersama.

Konsep inti dan alur kerja

dbt Cloud terdiri dari konsep yang sama dengan dbt Core.

Ini mencakup:

• Model: File SQL yang mendefinisikan transformasi.
• Source: Definisi tabel data mentah.
• Test: Pernyataan untuk kualitas data.
• Dokumentasi: Lineage dan dokumentasi model yang dibuat otomatis.
• Exposure: Mendefinisikan ketergantungan BI atau pelaporan hilir.

Alur kerja dbt Cloud yang umum seperti ini: Kembangkan model > Uji transformasi > Commit ke Git > Deploy melalui job dbt Cloud > Pantau run di dbt Cloud.

Menyiapkan Lingkungan dbt Cloud Anda

Untuk menjelaskan cara kerja dbt Cloud, mari melihat contoh praktis cara menyiapkan lingkungan sendiri.

Memulai dengan dbt Cloud itu sederhana karena dirancang untuk onboarding yang cepat. Berikut langkah-langkah yang perlu Anda lakukan:

Pembuatan akun dan penyiapan

1. Daftar dbt Cloud untuk mengakses uji coba gratis 14 hari dari paket pemula.

2. Pilih opsi awal sesuai pengalaman Anda dengan dbt.

3. Namai proyek Anda, misalnya, dbt-Cloud-Analytics.

4. Tambahkan koneksi baru.

5. Sambungkan ke gudang data pilihan Anda (seperti Snowflake, BigQuery, PostgreSQL, Redshift, atau Databricks). Saya akan menggunakan basis data PostgreSQL lokal.

6. Konfigurasikan pengaturan koneksi.

7. Siapkan repositori Git.

Memahami antarmuka pengguna

Setelah semua penyiapan dasar selesai, mari jelajahi antarmukanya. Berikut yang akan Anda lihat di antarmuka dbt Cloud:

UI dbt Cloud mengatur alur kerja Anda dengan efisien. Dengan menggunakan bilah navigasi, Anda dapat mengakses area kunci berikut:

• Katalog: Menampilkan proyek dan model.
• Studio: Berfungsi sebagai antarmuka kerja untuk menulis file kode.
• Dasbor: Menyediakan ringkasan terpusat tentang job dan aktivitas.
• Canvas: Memungkinkan pembuatan model drag-and-drop (fitur tingkat Enterprise).
• Insights: Menawarkan informasi tambahan tentang lingkungan yang dideploy.
• Orchestration: Mengonfigurasi dan menjadwalkan run dbt.

Ini mengonsolidasikan semua informasi yang diperlukan, studio pengodean, dan pengaturan konfigurasi dalam satu antarmuka web.

Mengembangkan di IDE dbt Cloud

dbt Cloud juga menyediakan IDE berbasis browser yang dibuat khusus untuk rekayasa analitik dengan integrasi GitHub. IDE ini dibuat untuk membangun, menjalankan, menguji, dan mengelola versi proyek dbt langsung dari browser Anda.

Menavigasi Cloud IDE

dbt Cloud IDE tidak memerlukan penyiapan lokal, sehingga memudahkan onboarding analis. Untuk mengaksesnya, Anda dapat mengeklik tab Studio di sisi kiri antarmuka.

Ini akan menampilkan antarmuka sederhana untuk menulis, mengompilasi, dan menjalankan kode.

dbt Cloud IDE memungkinkan Anda melakukan tugas-tugas berikut:

• Eksekusi kueri real-time dengan pratinjau hasil.
• Pelengkapan otomatis SQL dan templating Jinja.
• Penyorotan kesalahan dan alat debug.

Integrasi kontrol versi

Selain itu, dbt Cloud juga memungkinkan Anda berintegrasi dengan GitHub untuk integrasi kontrol versi.

Fitur ini memungkinkan Anda untuk:

• Menghubungkan dbt Cloud ke GitHub, GitLab, atau Bitbucket.
• Menangani branch langsung dari IDE.
• Commit dan sinkronkan perubahan kode dengan repo pusat Anda.
• Memperlancar alur kerja kolaboratif dengan pull request dan review.

Membangun dan Menguji Model Data di dbt Cloud

Sama seperti di dbt Core, Anda juga dapat membangun dan menguji model data dari dalam dbt Cloud. Mari lihat beberapa caranya.

Menulis transformasi SQL

Saat bekerja dengan model data, Anda kemungkinan akan perlu melakukan beberapa transformasi. Di dbt Cloud IDE, kita dapat menulis pernyataan SQL di Studio.

Anda dapat membuat model data untuk ditransformasikan seperti ini:

with source as (
    select * from {{ source('raw', 'orders') }}
)
select
    id as order_id,
    user_id,
    order_date,
    status
from sourceDidukung oleh

Tampilan antarmukanya seperti ini:

Beberapa praktik terbaik yang perlu Anda perhatikan:

• Atur model berdasarkan lapisan (staging, intermediate, marts).
• Gunakan konvensi penamaan yang konsisten.
• Gunakan kembali logika melalui macro.

Pengujian dan validasi otomatis

Selain itu, Anda juga dapat mendefinisikan test dalam YAML untuk pemeriksaan otomatis:

models:
  - name: stg_orders
    columns:
      - name: order_id
        tests:
          - not_null
          - unique
      - name: status
        tests:
          - accepted_values:
              values: ['completed', 'pending', 'cancelled']Didukung oleh

Pengujian data menumbuhkan kepercayaan pada transformasi. Ini memastikan bahwa setiap job yang Anda jalankan akan memiliki test bawaan untuk menjaga integritas. 

Jika Anda pengguna tingkat lanjut, Anda juga dapat mendefinisikan test kustom menggunakan Jinja dan SQL.

Penjadwalan dan Orkestrasi di dbt Cloud

Di dbt Cloud, penjadwalan job dan orkestrasi membantu mendukung otomatisasi analitik. Ini memastikan transformasi Anda berjalan konsisten, tepat waktu, dan di lingkungan yang tepat dengan intervensi manual minimal. 

Bagian ini membahas cara menjadwalkan job, memicunya secara otomatis, dan memantau performanya secara real time.

Penjadwalan job

Di dalam antarmuka dbt Cloud, Anda dapat:

• Membuat job untuk lingkungan dev, staging, atau production.
• Mengonfigurasi jadwal cron atau trigger berbasis peristiwa.
• Merangkai tugas (run, test, snapshot).

Untuk membuat jadwal job di dbt Cloud:

1. Buka tab Orchestration, lalu Jobs di proyek Anda.
2. Klik Create Job > Deploy Job dan beri nama deskriptif (misalnya, “Daily Production Run” atau “Staging Incremental Refresh”).

3. Pilih lingkungan tempat job harus dijalankan — biasanya development, staging, atau production.
4. Tambahkan satu atau lebih perintah, seperti dbt run --models stg_orders.

5. Di bawah Schedule, pilih sintaks cron atau gunakan pemilih waktu visual untuk menentukan kapan job dijalankan (misalnya, setiap malam pukul 2 pagi, setiap Senin pagi).

6. Simpan job dan aktifkan notifikasi email atau Slack untuk pembaruan status run.

Pemantauan dan logging real-time

dbt Cloud mendukung fitur pemantauan dan logging untuk observabilitas data yang lebih baik. Ini penting untuk menelusuri kegagalan dan mengoptimalkan performa.

Fitur ini memungkinkan Anda:

• Melihat log run langsung di UI.
• Mengekspor log untuk pemantauan eksternal.
• Mengirim notifikasi ke Slack, email, atau PagerDuty.

Fitur Lanjutan dbt Cloud

Di luar kemampuan inti pemodelan dan orkestrasi, dbt Cloud menawarkan fitur lanjutan yang menghadirkan kecerdasan, konsistensi, dan otomatisasi ke alur kerja analitik modern. 

Fitur-fitur ini dapat ditemukan pada dua bagian utama: dbt Semantic Layer dan alat bertenaga AI seperti dbt Copilot dan Fusion.

Menggunakan dbt Semantic Layer

dbt Semantic Layer menyediakan lapisan terpusat dan terkelola di mana tim dapat mendefinisikan, mengelola, dan menyajikan metrik bisnis secara konsisten dan terkontrol versinya.

Ini membantu:

• Mendefinisikan dan mengelola metrik bisnis secara terpusat.
• Memastikan konsistensi di seluruh alat BI dan analitik.
• Mencegah pergeseran metrik dengan menegakkan satu sumber kebenaran.

Lapisan terpadu ini menjembatani kesenjangan antara transformasi data dan visualisasi melalui koneksinya dengan alat BI umum.

Untuk contoh praktis, lihat tutorial tentang menerapkan semantic layer dengan dbt.

Mengintegrasikan AI dengan dbt Copilot dan Fusion

Salah satu fitur terbaru dbt, dbt Copilot, adalah asisten AI yang terpasang langsung di IDE dbt Cloud. Fitur ini membantu pengembang menulis, men-debug, dan mengoptimalkan kode dbt menggunakan perintah bahasa alami dan saran kontekstual.

Dengan dbt Copilot, Anda dapat:

• Menghasilkan model SQL atau macro Jinja dari deskripsi bahasa alami.
• Menerima saran pelengkapan otomatis untuk perintah, test, dan konfigurasi dbt.
• Mendokumentasikan model secara otomatis dengan deskripsi dan metadata yang dihasilkan.
• Mengidentifikasi dan memperbaiki masalah sintaks atau dependensi umum sebelum menjalankan job.

Mesin Fusion adalah mesin baru yang ditulis dalam Rust untuk menggantikan dbt Core, dengan banyak fitur tambahan. 

Ini menghadirkan beberapa use case, seperti:

• Menangkap kode SQL yang tidak benar dalam model dbt Anda
• Memungkinkan pratinjau CTE inline untuk debug yang lebih cepat
• Penelusuran model di seluruh proyek dbt Anda

Keamanan dan Kepatuhan di dbt Cloud

Dalam alur kerja transformasi data, keamanan dan tata kelola bersifat mutlak. Karena itu, dbt Cloud juga dibangun dengan kontrol keamanan tingkat perusahaan untuk melindungi informasi sensitif, menjaga kepatuhan, dan memastikan akuntabilitas di seluruh tim.

Kontrol akses berbasis peran

dbt Cloud menggunakan role-based access control (RBAC) untuk mengelola izin pengguna dan membatasi akses ke aset penting seperti proyek, lingkungan, dan kredensial.

Peran yang mungkin meliputi:

• Developer
• Reviewer
• Admin

Untuk mengonfigurasi kontrol akses di dbt Cloud:

1. Buka bagian Account Settings, lalu Users.
2. Tetapkan pengguna ke peran yang telah ditentukan atau buat peran kustom untuk kontrol yang lebih terperinci.

3. Tentukan apakah pengguna dapat mengelola lingkungan dan jadwal job, memodifikasi kredensial gudang atau token API, dan/atau menyetujui deployment kode atau permintaan merge.
4. Gunakan izin tingkat proyek untuk memisahkan akses di beberapa tim atau departemen.

Audit logging dan kepatuhan

dbt Cloud menyertakan fitur audit logging dan kepatuhan yang komprehensif, dirancang untuk membantu organisasi memenuhi persyaratan tata kelola data yang ketat, yang mematuhi standar seperti SOC 2, GDPR, dan lainnya.

Audit log juga memungkinkan investigasi masalah, dan dukungan SCIM meningkatkan integrasi manajemen identitas.

Integrasi dan Konektivitas dbt Cloud

Salah satu kekuatan terbesar dbt Cloud terletak pada kemampuannya terhubung mulus dengan ekosistem data yang lebih luas. Produk ini terintegrasi tanpa hambatan dengan gudang data terkemuka, API, alat orkestrasi, dan platform pemantauan.

Hal ini menjadikannya pilihan yang baik untuk membangun alur kerja analitik terpadu dan otomatis, dari ingestion hingga visualisasi. Mari jelajahi aspek-aspek ini di bawah:

Konektivitas platform data

dbt Cloud mendukung semua gudang data dan lakehouse cloud utama, memungkinkan tim menjalankan transformasi secara native dalam lingkungan tempat data mereka berada. 

Ini menghilangkan kebutuhan pemindahan atau duplikasi data, dan sebagai gantinya memanfaatkan performa dan skalabilitas tiap platform.

Opsi integrasi dbt Cloud mencakup:

• Snowflake
• BigQuery
• Redshift
• Databricks
• PostgreSQL

Anda juga dapat memiliki beberapa opsi autentikasi per platform, seperti key pair authentication, OAuth, atau nama pengguna/kata sandi.

Integrasi API dan webhook

Untuk organisasi yang memerlukan ekstendabilitas dan otomatisasi, dbt Cloud juga menyediakan REST API dan kerangka webhook yang kuat.

API dbt Cloud memungkinkan pengembang untuk:

• Memicu dan memantau run job secara terprogram.
• Mengambil artefak run seperti log, file manifest, atau SQL terkompilasi.
• Mengotomatiskan alur kerja deployment dengan mengintegrasikan dbt Cloud ke pipeline CI/CD (misalnya, GitHub Actions, GitLab CI, atau Azure DevOps).
• Mengelola pengguna, lingkungan, dan proyek dalam skala besar.

Webhook dbt Cloud menyediakan integrasi berbasis peristiwa, yang memungkinkan sistem eksternal merespons peristiwa kunci dbt seperti penyelesaian job, kegagalan run, atau pembaruan deployment.

Webhook dapat digunakan untuk:

• Mengirim peringatan real-time ke Slack atau Microsoft Teams saat job gagal.
• Memicu alur kerja manajemen insiden.
• Meneruskan metrik run dan data performa ke sistem pemantauan.
• Memperbarui dasbor atau katalog metadata secara otomatis saat model baru dibangun.

Optimasi Performa di dbt Cloud

Seiring pipeline data tumbuh dalam skala dan kompleksitas, observabilitas menjadi penting untuk menjaga keandalan, performa, dan kepercayaan.

Lalu apa yang ditawarkan dbt Cloud? Intinya ada dua aspek: pemantauan pipeline dan optimasi model.

Memantau pipeline transformasi data

Setiap run job dicatat, dilacak, dan divisualisasikan di dalam platform, memungkinkan Anda memahami status end-to-end dari transformasi Anda.

Sebagai contoh, dalam dasbor Run History, dbt Cloud menampilkan informasi detail seperti:

• Durasi run: Total waktu yang dibutuhkan untuk job, dipecah per model dan langkah.
• Pelacakan status: Indikator real-time yang menunjukkan apakah sebuah run dalam antrean, berjalan, selesai, atau gagal.
• Log eksekusi: Log terperinci yang menampilkan kueri SQL, stempel waktu, dan jumlah baris.

dbt Cloud juga mudah diintegrasikan dengan alat pemantauan data seperti Datadog.

Mengoptimalkan performa model

Transformasi monolitik yang besar sulit dipelihara dan dioptimalkan. dbt mendorong pengembangan modular, di mana logika kompleks dipecah menjadi model yang lebih kecil dan dapat digunakan kembali, masing-masing menjalankan tugas yang terfokus.

Untuk mengoptimalkan performa, Anda dapat mengikuti praktik terbaik berikut:

• Menggunakan Common Table Expression (CTE) seperlunya dan melakukan refactor logika berulang ke model staging.
• Menerapkan konvensi penamaan (stg_, int_, fct_, dim_) untuk memperjelas tujuan model.
• Menjalankan dbt deps dan dbt docs generate secara rutin untuk memvalidasi dependensi dan dokumentasi.

Anda juga dapat menggunakan materialisasi incremental untuk mengurangi biaya komputasi, seperti pada contoh berikut.

{{ config(materialized='incremental') }}

select *
from {{ source('raw', 'events') }}
{% if is_incremental() %}
  where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}Didukung oleh

Menggunakan dbt Mesh untuk Kolaborasi Multi-Proyek

Seiring kebutuhan tim data untuk saling berbagi data dalam organisasi meningkat, Anda juga perlu mempertimbangkan opsi kolaborasi yang dimiliki dbt Cloud.

Mengelola lingkungan multi-proyek

dbt Mesh memungkinkan kolaborasi yang skalabel di organisasi besar melalui tata kelola terpusat atas seluruh lineage data. Ini memungkinkan tim Anda membuat banyak proyek saling bergantung, masing-masing dimiliki oleh unit bisnis atau domain data yang berbeda.

Manfaat utama dbt Mesh meliputi:

• Skalabilitas: Setiap tim dapat memiliki dan men-deploy proyek dbt mereka sendiri tanpa hambatan ketergantungan.
• Referensi lintas proyek: Tim dapat merujuk model dari proyek lain dengan aman menggunakan antarmuka publik yang terdefinisi dengan baik.
• Tata kelola dan keterjangkauan penemuan: Model bersama dikatalogkan dengan kepemilikan, dokumentasi, dan versi yang jelas, mendorong akuntabilitas dan transparansi.
• Otonomi dengan keselarasan: Tim dapat berinovasi secara mandiri sambil mematuhi standar data dan aturan tata kelola di seluruh perusahaan.

Pada intinya, dbt Mesh memungkinkan tim merujuk model lintas proyek sambil menjaga otonomi. 

Sebagai contoh, tim keuangan mungkin memelihara proyek “core financial metrics”, sementara tim pemasaran membangun proyek terpisah yang merujuk model keuangan tersebut tanpa menduplikasi kode atau logika.

dbt Mesh memungkinkan referensi lintas proyek melalui fungsi ref() yang diperluas dengan namespace proyek. Misalnya:

SELECT *
FROM {{ ref('finance_project', 'fct_revenue') }}Didukung oleh

Ini memungkinkan model pemasaran untuk mengkueri model fct_revenue dari proyek keuangan secara langsung, menggunakan versi kanonis yang ditentukan oleh tim tersebut.

Versi dan kontrak untuk model data

Untuk menjamin kompatibilitas mundur dan kepercayaan antarproyek, dbt Mesh memperkenalkan dua mekanisme penting: versioning model dan kontrak model. 

Versioning model

Versioning model adalah salah satu metode yang memungkinkan tim memodifikasi model mereka tanpa merusak ketergantungan yang ada. Anda dapat mendefinisikan beberapa versi dari model yang sama menggunakan properti versions: dalam file YAML model. 

Contohnya:

models:
  - name: fct_revenue
    versions:
      - v: 1
        description: "Initial revenue aggregation"
      - v: 2
        description: "Includes new discount and refund logic"Didukung oleh

Kontrak model

Kontrak model mendefinisikan struktur, tipe data, dan batasan dari sebuah model. Ini bertindak sebagai perjanjian antara produsen dan konsumen data. 

Saat model menyertakan kontrak, dbt akan memvalidasinya sebelum eksekusi, memastikan perubahan skema (seperti penghapusan kolom atau ketidakcocokan tipe) tidak menyebarkan kesalahan yang tidak diinginkan ke hilir.

Contoh kontrak sederhana:

models:
  - name: fct_revenue
    contract:
      enforced: true
    columns:
      - name: customer_id
        data_type: string
      - name: total_revenue
        data_type: numeric
      - name: report_date
        data_type: dateDidukung oleh

Jika seseorang mencoba menghapus atau mengubah kolom yang dikontrakkan, dbt akan menimbulkan error, sehingga melindungi model dan dasbor yang bergantung padanya.

Kesimpulan

dbt Cloud memperluas fungsionalitas dbt Core dengan menyediakan platform terkelola end-to-end untuk rekayasa analitik. 

Sepanjang panduan ini, kita mengeksplorasi bagaimana platform ini memusatkan pengembangan melalui Studio IDE, menangani orkestrasi, dan mendukung alat yang lebih baru seperti dbt Mesh dan Semantic Layer.

Dengan mengintegrasikan alat-alat ini ke dalam satu platform, dbt Cloud memungkinkan tim menangani seluruh siklus hidup data, dari ingestion hingga dokumentasi, tanpa perlu mengelola infrastruktur yang mendasarinya.

Jika Anda tertarik mendapatkan pengalaman langsung menggunakan dbt, dbt Fundamentals skill track kami menawarkan cara praktis untuk mulai membangun proyek pertama Anda.