dbt Cloud: Een uitgebreide gids

dbt Cloud is uitgegroeid tot de toonaangevende beheerde service voor datatransformatie, en ondersteunt moderne analytics-teams met schaalbare, betrouwbare en collaboratieve workflows.

Het breidt de kracht van dbt Core uit en biedt een gehoste omgeving die deployments automatiseert, jobs orkestreert, referenties beheert en samenwerkingsfuncties voor datateams levert.

Dit stelt organisaties in staat SQL-gebaseerde transformaties te beheren in een veilige, geautomatiseerde en teamvriendelijke omgeving.

In deze introductietutorial lopen we door wat dbt Cloud is, hoe je het instelt en voorbeelden van hoe het gebruikt kan worden. 

Als je nieuw bent met het framework en liever een gestructureerd leerpad volgt, raad ik je aan te beginnen met onze cursus Introduction to dbt.

Wat is dbt Cloud en hoe werkt het?

Laten we beginnen met een overzicht van wat dbt Cloud is en enkele van de functies.

Overzicht van dbt Cloud

In de kern stelt dbt Cloud teams in staat de ELT (Extract, Load, Transform)-aanpak te volgen. In tegenstelling tot traditionele ETL-processen, waarbij transformaties plaatsvinden vóór het laden in het datawarehouse, voert dbt transformaties uit ín het warehouse, gebruikmakend van de rekenkracht en schaalbaarheid daarvan.

Bron: dbt

dbt Cloud vereenvoudigt het datatransformatieproces doordat het:

• Biedt een beheerde service voor SQL-transformaties met dbt.
• Past in moderne pipelines door transformaties naar het warehouse te verplaatsen.
• Standaardiseert analytics engineering via gedeelde workflows en werkwijzen.

Kernconcepten en workflow

dbt Cloud bestaat uit dezelfde concepten als dbt Core.

Deze omvatten:

• Modellen: SQL-bestanden die transformaties definiëren.
• Bronnen: Definities van ruwe datatabellen.
• Tests: Controles op datakwaliteit.
• Documentatie: Automatisch gegenereerde lineage en modeldocumentatie.
• Exposures: Definieer downstream BI- of rapportage-afhankelijkheden.

Een typische dbt Cloud-workflow ziet er zo uit: Modellen ontwikkelen > Transformaties testen > Committen naar Git > Deployen via dbt Cloud-jobs > Runs monitoren in dbt Cloud.

Je dbt Cloud-omgeving instellen

Om uit te leggen hoe dbt Cloud werkt, bekijken we een praktisch voorbeeld van hoe je zelf een omgeving instelt.

Aan de slag gaan met dbt Cloud is eenvoudig, want het is ontworpen voor snelle onboarding. Dit zijn de stappen die je moet nemen:

Account aanmaken en instellen

1. Meld je aan voor dbt Cloud om 14 dagen gratis de starter-abonnementsvorm te proberen.

2. Selecteer de startopties op basis van je ervaring met dbt.

3. Geef je project een naam, bijvoorbeeld dbt-Cloud-Analytics.

4. Voeg een nieuwe verbinding toe.

5. Maak verbinding met een datawarehouse (zoals Snowflake, BigQuery, PostgreSQL, Redshift of Databricks) naar keuze. Ik gebruik een lokale PostgreSQL-database.

6. Configureer de verbindingsinstellingen.

7. Stel een Git-repository in.

De gebruikersinterface begrijpen

Zodra je de basisinstellingen hebt afgerond, gaan we de interface verkennen. Dit is wat je kunt verwachten te zien in de dbt Cloud-interface:

De dbt Cloud-UI organiseert je workflow efficiënt. Via de navigatiebalk krijg je toegang tot de volgende kernonderdelen:

• Catalogus: Toont projecten en modellen.
• Studio: Dient als werkinterface om codebestanden te schrijven.
• Dashboard: Biedt een centraal overzicht van jobs en activiteit.
• Canvas: Maakt drag-and-drop-modellen mogelijk (Enterprise-tier-functie).
• Insights: Biedt extra informatie over gedeployde omgevingen.
• Orchestration: Configureert en plant dbt-runs.

Dit bundelt alle benodigde informatie, de codeerstudio en configuratie-instellingen in één webinterface.

Ontwikkelen in de dbt Cloud IDE

dbt Cloud biedt ook een browsergebaseerde IDE, speciaal gemaakt voor analytics engineering met GitHub-integratie. Deze is gemaakt om dbt-projecten te bouwen, draaien, testen en onder versiebeheer te zetten vanuit je browser.

Navigeren in de Cloud IDE

De dbt Cloud IDE vereist geen lokale setup, wat de onboarding voor analisten vergemakkelijkt. Je opent hem via het tabblad Studio aan de linkerkant van de interface.

Hiermee krijg je een eenvoudige interface om code te schrijven, te compileren en uit te voeren.

Met de dbt Cloud IDE kun je het volgende doen:

• Realtime query-uitvoering met resultaatpreview.
• SQL-autocompletion en Jinja-templating.
• Foutmarkering en debuggingtools.

Integratie met versiebeheer

Daarnaast kun je in dbt Cloud integreren met GitHub voor versiebeheer.

Deze functie biedt je de mogelijkheid om:

• dbt Cloud te koppelen aan GitHub, GitLab of Bitbucket.
• Branches direct vanuit de IDE te beheren.
• Codewijzigingen te committen en te syncen met je centrale repo.
• Collaboratieve workflows te stroomlijnen met pull requests en reviews.

Datamodellen bouwen en testen in dbt Cloud

Net als in dbt Core kun je ook in dbt Cloud datamodellen bouwen en testen. Laten we kijken hoe je dat kunt doen.

SQL-transformaties schrijven

Bij het werken met datamodellen zul je waarschijnlijk transformaties moeten uitvoeren. In de dbt Cloud IDE kunnen we SQL-statements schrijven binnen de Studio.

Je kunt een datamodel maken om te transformeren zoals hier:

with source as (
    select * from {{ source('raw', 'orders') }}
)
select
    id as order_id,
    user_id,
    order_date,
    status
from source

Zo ziet de interface eruit:

Enkele best practices om rekening mee te houden:

• Organiseer modellen per laag (staging, intermediate, marts).
• Gebruik consistente naamgevingsconventies.
• Herbruik logica via macro’s.

Geautomatiseerd testen en valideren

Daarnaast kun je tests definiëren in YAML voor geautomatiseerde controles:

models:
  - name: stg_orders
    columns:
      - name: order_id
        tests:
          - not_null
          - unique
      - name: status
        tests:
          - accepted_values:
              values: ['completed', 'pending', 'cancelled']

Het testen van je data vergroot het vertrouwen in transformaties. Zo zorg je ervoor dat alle jobs die je draait tests ingebouwd hebben om de integriteit te bewaken. 

Als je een gevorderde gebruiker bent, kun je ook aangepaste tests definiëren met Jinja en SQL.

Planning en orkestratie in dbt Cloud

In dbt Cloud ondersteunen jobplanning en orkestratie de automatisering van analytics. Ze zorgen ervoor dat je transformaties consistent, op tijd en in de juiste omgeving draaien met minimale handmatige interventie. 

Dit onderdeel behandelt hoe je jobs plant, automatisch triggert en de prestaties in realtime monitort.

Jobs plannen

Binnen de dbt Cloud-interface kun je:

• Jobs maken voor dev-, staging- of productieomgevingen.
• Cron-planningen of event-gedreven triggers configureren.
• Taken ketenen (run, test, snapshot).

Zo maak je een jobplanning in dbt Cloud:

1. Navigeer naar het tabblad Orchestration en vervolgens Jobs in je project.
2. Klik op Create Job > Deploy Job en geef het een duidelijke naam (bijv. “Daily Production Run” of “Staging Incremental Refresh”).

3. Kies de omgeving waarin de job moet draaien — doorgaans development, staging of productie.
4. Voeg één of meer commando’s toe, zoals dbt run --models stg_orders.

5. Selecteer onder Schedule cron-syntaxis of gebruik de visuele tijdselector om te bepalen wanneer de job moet draaien (bijv. elke nacht om 02:00 uur, elke maandagochtend).

6. Sla de job op en schakel e-mail- of Slack-meldingen in voor statusupdates van runs.

Realtime monitoring en logging

dbt Cloud ondersteunt monitoring- en loggingfuncties voor betere data-observeerbaarheid. Dit is essentieel voor het oplossen van fouten en het optimaliseren van prestaties.

Het stelt je in staat om:

• Runlogs rechtstreeks in de UI te bekijken.
• Logs te exporteren voor externe monitoring.
• Meldingen naar Slack, e-mail of PagerDuty te sturen.

Geavanceerde functies van dbt Cloud

Naast de kernfuncties voor modelleren en orkestratie biedt dbt Cloud geavanceerde features die intelligentie, consistentie en automatisering brengen naar moderne analytics-workflows. 

Je vindt ze in twee hoofdonderdelen: de dbt Semantic Layer en AI-gestuurde tools zoals dbt Copilot en Fusion.

De dbt Semantic Layer gebruiken

De dbt Semantic Layer biedt een centrale, beheerde laag waarin teams bedrijfsmetrics consistent en onder versiebeheer kunnen definiëren, beheren en beschikbaar stellen.

Het helpt om:

• Bedrijfsmetrics centraal te definiëren en beheren.
• Consistentie te waarborgen over BI- en analyticstools heen.
• Metric drift te voorkomen door één bron van waarheid af te dwingen.

Deze uniforme laag overbrugt de kloof tussen datatransformatie en visualisatie via koppelingen met gangbare BI-tools.

Voor een hands-on voorbeeld, bekijk deze tutorial over een semantic layer implementeren met dbt.

AI integreren met dbt Copilot en Fusion

Een van de nieuwste functies van dbt, dbt Copilot, is een AI-assistent die rechtstreeks is ingebouwd in de IDE van dbt Cloud. Het helpt ontwikkelaars dbt-code te schrijven, debuggen en optimaliseren met natuurlijke taalprompts en contextbewuste suggesties.

Met dbt Copilot kun je:

• SQL-modellen of Jinja-macro’s genereren op basis van beschrijvingen in gewone taal.
• Autocompletion-suggesties ontvangen voor dbt-commando’s, tests en configuraties.
• Modellen automatisch documenteren met gegenereerde beschrijvingen en metadata.
• Veelvoorkomende syntaxis- of afhankelijkheidsproblemen identificeren en oplossen voordat je jobs draait.

De Fusion-engine is een nieuwe engine, geschreven in Rust, ter vervanging van dbt Core, met veel meer functies. 

Die brengt enkele use-cases, zoals:

• Onjuiste SQL-code in je dbt-modellen detecteren
• Inline CTE’s laten previewen voor sneller debuggen
• Modeltracing door je dbt-project heen

Beveiliging en compliance in dbt Cloud

In datatransformatieworkflows zijn beveiliging en governance niet onderhandelbaar. Daarom is dbt Cloud ook gebouwd met beveiligingscontroles op ondernemingsniveau om gevoelige informatie te beschermen, compliance te handhaven en verantwoording binnen teams te borgen.

Rolgebaseerde toegangscontrole

dbt Cloud gebruikt role-based access control (RBAC) om gebruikersrechten te beheren en de toegang tot kritieke assets zoals projecten, omgevingen en referenties te beperken.

Mogelijke rollen zijn onder andere:

• Developer
• Reviewer
• Admin

Zo configureer je toegangsbeheer in dbt Cloud:

1. Ga naar Account Settings en vervolgens Users.
2. Wijs gebruikers toe aan vooraf gedefinieerde rollen of maak aangepaste rollen voor fijnmaziger controle.

3. Bepaal of gebruikers omgevingen en jobplanningen mogen beheren, warehouse-referenties of API-tokens mogen wijzigen en/of codedeployments of merge requests mogen goedkeuren.
4. Gebruik permissies op projectniveau om toegang te scheiden tussen meerdere teams of afdelingen.

Auditlogging en compliance

dbt Cloud bevat uitgebreide auditlogging en compliancefuncties die zijn ontworpen om organisaties te helpen voldoen aan strenge data governance-eisen, in overeenstemming met standaarden zoals SOC 2, AVG (GDPR) en andere.

Auditlogs maken het ook mogelijk om issues te onderzoeken, en SCIM-ondersteuning verbetert de integratie met identity management.

Integratie en connectiviteit van dbt Cloud

Een van de grootste sterkten van dbt Cloud is het naadloos kunnen verbinden met het bredere data-ecosysteem. Het integreert moeiteloos met toonaangevende datawarehouses, API’s, orkestratietools en monitoringplatforms.

Dit maakt het een goede keuze voor het bouwen van een uniforme en geautomatiseerde analytics-workflow, van ingestie tot visualisatie. Laten we deze aspecten hieronder verkennen:

Connectiviteit met dataplatformen

dbt Cloud ondersteunt alle grote cloud datawarehouses en lakehouses, waardoor teams transformaties native kunnen draaien binnen de omgevingen waar hun data al staat. 

Dit elimineert de noodzaak voor databeweging of -duplicatie en benut in plaats daarvan de prestaties en schaalbaarheid van elk platform.

dbt Cloud-integratieopties zijn onder andere:

• Snowflake
• BigQuery
• Redshift
• Databricks
• PostgreSQL

Je hebt ook meerdere authenticatieopties per platform, zoals key pair-authenticatie, OAuth of gebruikersnaam/wachtwoord.

API- en webhook-integratie

Voor organisaties die uitbreidbaarheid en automatisering nodig hebben, biedt dbt Cloud ook een krachtige REST API en webhookframework.

De dbt Cloud API stelt ontwikkelaars in staat om:

• Jobs programmatisch te triggeren en te monitoren.
• Run-artifacten op te halen zoals logs, manifest-bestanden of gecompileerde SQL.
• Deploymentworkflows te automatiseren door dbt Cloud te integreren in CI/CD-pipelines (bijv. GitHub Actions, GitLab CI of Azure DevOps).
• Gebruikers, omgevingen en projecten op schaal te beheren.

dbt Cloud-webhooks bieden event-based integratie, waardoor externe systemen kunnen reageren op belangrijke dbt-events zoals jobafronding, run-fouten of deploymentupdates.

Webhooks kunnen worden gebruikt voor:

• Realtime alerts naar Slack of Microsoft Teams sturen wanneer jobs falen.
• Incidentmanagementworkflows triggeren.
• Runmetrics en prestatiegegevens doorsturen naar monitoringsystemen.
• Dashboards of metadatacatalogi automatisch bijwerken wanneer nieuwe modellen worden gebouwd.

Prestatie-optimalisatie in dbt Cloud

Naarmate datapipelines in schaal en complexiteit groeien, wordt observeerbaarheid essentieel om betrouwbaarheid, prestaties en vertrouwen te behouden.

Maar wat biedt dbt Cloud? Dat komt neer op twee aspecten: pipelines monitoren en modellen optimaliseren.

Pipelines voor datatransformatie monitoren

Elke jobrun wordt gelogd, gevolgd en gevisualiseerd binnen het platform, zodat je de end-to-end status van je transformaties begrijpt.

Binnen het Run History-dashboard toont dbt Cloud bijvoorbeeld gedetailleerde informatie zoals:

• Runtijd: Totale tijd voor de job, uitgesplitst per model en stap.
• Statusbijhouden: Realtime-indicatoren die laten zien of een run in de wachtrij staat, draait, voltooid is of is gefaald.
• Uitvoeringslogs: Gedetailleerde logs met SQL-queries, tijdstempels en aantallen rijen.

dbt Cloud integreert ook eenvoudig met datamonitoringtools zoals Datadog.

Modelprestaties optimaliseren

Grote, monolithische transformaties zijn moeilijk te onderhouden en te optimaliseren. dbt stimuleert modulaire ontwikkeling, waarbij complexe logica wordt opgesplitst in kleinere, herbruikbare modellen die elk een gerichte taak uitvoeren.

Volg deze best practices om de prestaties te optimaliseren:

• Common Table Expressions (CTE’s) spaarzaam gebruiken en herhaalde logica refactoren naar stagingmodellen.
• Naamgevingsconventies toepassen (stg_, int_, fct_, dim_) om het doel van het model te verduidelijken.
• Regelmatig dbt deps en dbt docs generate draaien om afhankelijkheden en documentatie te valideren.

Je kunt ook incrementele materialisaties gebruiken om compute-kosten te verlagen, zoals in het volgende voorbeeld.

{{ config(materialized='incremental') }}

select *
from {{ source('raw', 'events') }}
{% if is_incremental() %}
  where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}

dbt Mesh gebruiken voor samenwerking tussen meerdere projecten

Omdat datateams steeds meer data binnen een organisatie willen delen, moet je ook rekening houden met de samenwerkingsopties van dbt Cloud.

Omgevingen met meerdere projecten beheren

dbt Mesh maakt schaalbare samenwerking mogelijk binnen grote organisaties via gecentraliseerd beheer van de volledige data lineage. Het stelt je team in staat om meerdere onderling afhankelijke projecten te creëren, elk in eigendom van verschillende businessunits of datadomeinen.

Belangrijke voordelen van dbt Mesh zijn:

• Schaalbaarheid: Elk team kan een eigen dbt-project beheren en deployen zonder afhankelijkheidsknelpunten.
• Cross-project-referenties: Teams kunnen veilig modellen uit andere projecten refereren via goed gedefinieerde publieke interfaces.
• Governance en vindbaarheid: Gedeelde modellen worden gecatalogiseerd met duidelijke eigenaarschap, documentatie en versiebeheer, wat verantwoordelijkheid en transparantie bevordert.
• Autonomie met afstemming: Teams kunnen onafhankelijk innoveren terwijl ze zich houden aan bedrijfsbrede datastandaarden en governance-regels.

In de kern stelt dbt Mesh teams in staat om modellen over projecten heen te refereren terwijl autonomie behouden blijft. 

Zo kan een finance-team bijvoorbeeld een project “core financial metrics” onderhouden, terwijl het marketingteam een apart project bouwt dat die financiële modellen referereert zonder code of logica te dupliceren.

dbt Mesh maakt cross-project-referenties mogelijk via de ref()-functie, uitgebreid met project-namespaces. Bijvoorbeeld:

SELECT *
FROM {{ ref('finance_project', 'fct_revenue') }}

Hiermee kan het marketingmodel het fct_revenue-model uit het finance-project direct bevragen, met gebruik van de canonieke versie die door dat team is gedefinieerd.

Versiebeheer en contracten voor datamodellen

Om achterwaartse compatibiliteit en vertrouwen over projecten heen te garanderen, introduceert dbt Mesh twee essentiële mechanismen: modelversiebeheer en modelcontracten. 

Modelversiebeheer

Modelversiebeheer is een van de methoden waarmee teams hun modellen kunnen aanpassen zonder bestaande afhankelijkheden te breken. Je kunt meerdere versies van hetzelfde model definiëren met de eigenschap versions: in het YAML-bestand van het model. 

Bijvoorbeeld:

models:
  - name: fct_revenue
    versions:
      - v: 1
        description: "Initial revenue aggregation"
      - v: 2
        description: "Includes new discount and refund logic"

Modelcontracten

Modelcontracten definiëren de structuur, datatypes en constraints van een model. Het fungeert als een overeenkomst tussen dataproducenten en -consumenten. 

Wanneer een model een contract bevat, valideert dbt dit vóór uitvoering, zodat schemawijzigingen (zoals het verwijderen van kolommen of type-mismatches) niet onbedoeld downstream-fouten veroorzaken.

Voorbeeld van een eenvoudig contract:

models:
  - name: fct_revenue
    contract:
      enforced: true
    columns:
      - name: customer_id
        data_type: string
      - name: total_revenue
        data_type: numeric
      - name: report_date
        data_type: date

Als iemand probeert een gecontracteerde kolom te verwijderen of te wijzigen, zal dbt een fout geven, zodat afhankelijke modellen en dashboards beschermd blijven.

Conclusie

dbt Cloud breidt de functionaliteit van dbt Core uit door een end-to-end beheerd platform voor analytics engineering te bieden. 

In deze gids hebben we onderzocht hoe het ontwikkeling centraliseert via de Studio-IDE, orkestratie afhandelt en nieuwere tools ondersteunt zoals dbt Mesh en de Semantic Layer.

Door deze tools in één platform te integreren, stelt dbt Cloud teams in staat om de volledige datalevenscyclus te beheren, van ingestie tot documentatie, zonder de onderliggende infrastructuur te hoeven beheren.

Als je graag hands-on ervaring wilt opdoen met dbt, biedt onze skill track dbt Fundamentals een praktische manier om je eerste project te bouwen.