dbt Cloud: Un guide complet

dbt Cloud s'est imposé comme le service géré de référence pour la transformation des données. transformation des données, offrant aux équipes d'analyse modernes des flux de travail évolutifs, fiables et collaboratifs.

Il étend la puissance de la dbt Core en proposant un environnement hébergé qui automatise les déploiements, orchestre les tâches, gère les identifiants et fournit des fonctionnalités de collaboration pour les équipes chargées des données.

Cela permet aux organisations de gérer les transformations basées sur SQL dans un environnement sécurisé, automatisé et convivial pour les équipes.

Dans ce tutoriel d'introduction, nous examinerons ce qu'est dbt Cloud, comment le configurer et nous présenterons des exemples d'utilisation. 

Si vous débutez avec le framework et préférez un parcours d'apprentissage structuré, je vous recommande de commencer par notre cours Introduction à dbt .

Qu'est-ce que dbt Cloud et comment fonctionne-t-il ?

Commençons par une présentation générale de dbt Cloud et de certaines de ses fonctionnalités.

Présentation de dbt Cloud

À la base, dbt Cloud permet aux équipes de suivre le processus approche ELT (Extract, Load, Transform). Contrairement aux processus ETL traditionnels, où les transformations ont lieu avant le chargement des données dans l'entrepôt, dbt effectue les transformations à l'intérieur de l'entrepôt en utilisant sa puissance de calcul et son évolutivité.

Source : dbt

dbt Cloud simplifie le processus de transformation des données, car il :

• Fournit un service géré pour les transformations SQL à l'aide de dbt.
• S'intègre aux pipelines modernes en transférant les transformations vers l'entrepôt.
• Standardise l'ingénierie analytique grâce à des flux de travail et des pratiques partagés.

Concepts fondamentaux et processus de travail

dbt Cloud repose sur les mêmes concepts que dbt Core.

Il s'agit notamment des éléments suivants :

• Modèles : Fichiers SQL qui définissent les transformations.
• Sources : Définitions des tableaux de données brutes.
• Tests: Déclarations relatives à la qualité des données.
• Documentation : Documents relatifs à la lignée et au modèle générés automatiquement.
• Expositions : Définissez les dépendances en aval de la BI ou du reporting.

Un workflow dbt Cloud type se présente comme suit : Développer des modèles > Tester les transformations > Valider dans Git > Déployer via les tâches dbt Cloud > Surveiller les exécutions sur dbt Cloud.

Configuration de votre environnement dbt Cloud

Pour illustrer le fonctionnement de dbt Cloud, examinons un exemple concret de configuration d'un environnement par vos propres moyens.

La prise en main de dbt Cloud est simple, car il est conçu pour une intégration rapide. Voici les étapes à suivre :

Création et configuration du compte

1. Inscrivez-vous à dbt Cloud pour bénéficier d'un essai gratuit de 14 jours du forfait Starter.

2. Veuillez sélectionner les options de démarrage en fonction de votre expérience avec dbt.

3. Veuillez nommer votre projet, par exemple, dbt-Cloud-Analytics.

4. Veuillez ajouter une nouvelle connexion.

5. Veuillez vous connecter à l'entrepôt de données de votre choix (tel que Snowflake, BigQuery, PostgreSQL, Redshift ou Databricks). Je vais utiliser une base de données PostgreSQL locale.

6. Veuillez configurer les paramètres de connexion.

7. Veuillez configurer un dépôt Git.

Comprendre l'interface utilisateur

Une fois que toutes les configurations de base sont en place, nous vous invitons à explorer l'interface. Voici ce que vous devriez voir dans l'interface dbt Cloud :

L'interface utilisateur dbt Cloud organise efficacement votre flux de travail. En utilisant la barre de navigation, vous pouvez accéder aux sections principales suivantes :

• Catalogue : Présente des projets et des modèles.
• Studio : Sert d'interface de travail pour écrire des fichiers de code.
• Tableau de bord : Fournit une vue d'ensemble centralisée des tâches et des activités.
• Toile : Permet la création de modèles par glisser-déposer (fonctionnalité de niveau Entreprise).
• Perspectives : Fournit des informations supplémentaires sur les environnements déployés.
• Orchestration : Configure et planifie les exécutions de dbt.

Cela permet de regrouper toutes les informations nécessaires, le studio de codage et les paramètres de configuration dans une seule interface web.

Développement dans l'IDE cloud dbt

dbt Cloud fournit également un IDE basé sur navigateur spécialement conçu pour l'ingénierie analytique avec intégration GitHub. Il a été conçu pour créer, exécuter, tester et contrôler les versions des projets dbt à partir de votre navigateur.

Navigation dans l'IDE cloud

L'IDE cloud dbt ne nécessite aucune configuration locale, ce qui facilite l'intégration des analystes. Pour y accéder, veuillez cliquer sur l'onglet Studio situé à gauche de l'interface.

Cela devrait afficher une interface simple permettant d'écrire, de compiler et d'exécuter du code.

L'IDE cloud dbt vous permet d'effectuer les tâches suivantes :

• Exécution de requêtes en temps réel avec aperçu des résultats.
• Suggestion automatique SQL et modèles Jinja.
• Outils de mise en évidence des erreurs et de débogage.

Intégration du contrôle de version

De plus, dbt Cloud vous permet également de vous connecter à GitHub pour l'intégration du contrôle de version.

Cette fonctionnalité vous permet de :

• Veuillez connecter dbt Cloud à GitHub, GitLab ou Bitbucket.
• Veuillez gérer les branches directement depuis l'IDE.
• Veuillez valider et synchroniser les modifications de code avec votre référentiel central.
• Optimisez les flux de travail collaboratifs grâce aux demandes d'extraction et aux révisions.

Création et test de modèles de données dans dbt Cloud

Tout comme dans dbt Core, vous pourrez également créer et tester des modèles de données à partir de dbt Cloud. Examinons quelques méthodes pour y parvenir.

Écriture de transformations SQL

Lorsque vous travaillez avec des modèles de données, il est probable que vous deviez effectuer certaines transformations. Dans l'IDE cloud dbt, il est possible de rédiger des instructions SQL au sein de Studio.

Vous pouvez créer un modèle de données pour effectuer la transformation de la manière suivante :

with source as (
    select * from {{ source('raw', 'orders') }}
)
select
    id as order_id,
    user_id,
    order_date,
    status
from source

Voici à quoi ressemble l'interface :

Voici quelques bonnes pratiques à prendre en considération :

• Organisez les modèles par couches (mise en scène, intermédiaire, marchés).
• Veuillez utiliser des conventions de nommage cohérentes.
• Réutiliser la logique via des macros.

Tests et validation automatisés

De plus, vous pouvez également définir des tests dans YAML pour des vérifications automatisées :

models:
  - name: stg_orders
    columns:
      - name: order_id
        tests:
          - not_null
          - unique
      - name: status
        tests:
          - accepted_values:
              values: ['completed', 'pending', 'cancelled']

Le contrôle de vos données renforce la confiance dans les transformations. Cela garantit que toutes les tâches que vous exécutez intègrent des tests afin de maintenir leur intégrité. 

Si vous êtes un utilisateur avancé, vous pouvez également définir des tests personnalisés à l'aide de Jinja et SQL.

Planification et orchestration dans dbt Cloud

Dans dbt Cloud, la planification et l'orchestration des tâches contribuent à l'automatisation des analyses. Ils garantissent que vos transformations s'exécutent de manière cohérente, dans les délais impartis et dans l'environnement approprié, avec un minimum d'intervention manuelle. 

Cette section explique comment planifier des tâches, les déclencher automatiquement et surveiller leurs performances en temps réel.

Planification des tâches

Dans l'interface dbt Cloud, vous pouvez :

• Veuillez créer des tâches pour les environnements de développement, de test ou de production.
• Veuillez configurer les calendriers cron ou les déclencheurs basés sur les événements.
• Tâches en chaîne (exécution, test, instantané).

Pour créer un calendrier de tâches dans dbt Cloud :

1. Veuillez vous rendre dans l'onglet Orchestration, puis dans la section Tâches de votre projet.
2. Veuillez cliquer sur Créer une tâche > Déployer la tâche et attribuez-lui un nom descriptif (par exemple, « Exécution quotidienne de la production » ou « Actualisation incrémentielle de la mise en scène »).

3. Veuillez sélectionner l'environnement dans lequel la tâche doit être exécutée — généralement développement, préproduction ou production.
4. Veuillez ajouter une ou plusieurs commandes, telles que dbt run --models stg_orders.

5. Sous « Schedule » (Planification), veuillez sélectionner la syntaxe cron ou utiliser le sélecteur d'heure visuel pour définir quand la tâche doit être exécutée (par exemple, tous les soirs à 2 heures du matin, tous les lundis matin).

6. Veuillez enregistrer la tâche et activer les notifications par e-mail ou Slack pour les mises à jour du statut d'exécution.

Surveillance et enregistrement en temps réel

dbt Cloud prend en charge les fonctionnalités de surveillance et de journalisation pour une meilleure observabilité des données. Ceci est essentiel pour résoudre les problèmes et optimiser les performances.

Il vous permet de :

• Consultez les journaux d'exécution directement dans l'interface utilisateur.
• Veuillez exporter les journaux pour une surveillance externe.
• Veuillez envoyer des notifications à Slack, par e-mail ou à PagerDuty.

Fonctionnalités avancées de dbt Cloud

Au-delà de ses capacités fondamentales de modélisation et d'orchestration, dbt Cloud propose des fonctionnalités avancées qui apportent intelligence, cohérence et automatisation aux workflows analytiques modernes. 

Ils se déclinent en deux fonctionnalités principales : la couche sémantique dbt et les outils basés sur l'intelligence artificielle tels que dbt Copilot et Fusion.

Utilisation de la couche sémantique dbt

La couche sémantique dbt fournit une couche centrale et régie où les équipes peuvent définir, gérer et fournir des indicateurs commerciaux de manière cohérente et contrôlée.

Cela contribue à :

• Définissez et gérez les indicateurs clés de performance de manière centralisée.
• Assurez la cohérence entre les outils BI et analytiques.
• Évitez la dérive des mesures en imposant une source unique de vérité.

Cette couche unifiée comble le fossé entre la transformation des données et leur visualisation grâce à ses connexions avec les outils BI courants.

Pour un exemple concret, veuillez consulter ce tutoriel sur la mise en œuvre d'une couche sémantique avec dbt.

Intégration de l'IA avec dbt Copilot et Fusion

L'une des dernières fonctionnalités de dbt, dbt Copilot, est un assistant IA intégré directement dans l'IDE de dbt Cloud. Il assiste les développeurs dans la rédaction, le débogage et l'optimisation du code dbt à l'aide d'invites en langage naturel et de suggestions contextuelles.

Avec dbt Copilot, vous pouvez :

• Générer des modèles SQL ou des macros Jinja à partir de descriptions en langage clair.
• Recevez des suggestions de saisie semi-automatique pour les commandes, les tests et les configurations dbt.
• Documentez automatiquement les modèles à l'aide de descriptions et de métadonnées générées.
• Identifiez et corrigez les problèmes courants de syntaxe ou de dépendance avant d'exécuter des tâches.

Le moteur Fusion est un nouveau moteur écrit en Rust destiné à remplacer dbt Core, avec de nombreuses fonctionnalités supplémentaires. 

Il présente plusieurs cas d'utilisation, tels que :

• Détection de code SQL incorrect dans vos modèles dbt
• Permet de prévisualiser les CTE en ligne pour un débogage plus rapide.
• Modèle de traçage dans votre projet dbt

Sécurité et conformité dans dbt Cloud

Dans les flux de travail liés à la transformation des données, la sécurité et la gouvernance sont des éléments incontournables. C'est pourquoi dbt Cloud est également doté de contrôles de sécurité de niveau entreprise afin de protéger les informations sensibles, de garantir la conformité et d'assurer la responsabilité de toutes les équipes.

Contrôle d'accès basé sur les rôles

dbt Cloud utilise un contrôle d'accès basé sur les rôles (RBAC) pour gérer les autorisations des utilisateurs et restreindre l'accès aux ressources critiques telles que les projets, les environnements et les identifiants.

Les rôles possibles comprennent :

• Développeur
• Critique
• Admin

Pour configurer le contrôle d'accès dans dbt Cloud :

1. Veuillez vous rendre dans la section Paramètres du compte, puis Utilisateurs.
2. Veuillez attribuer aux utilisateurs des rôles prédéfinis ou créer des rôles personnalisés pour un contrôle plus précis.

3. Définissez si les utilisateurs peuvent gérer les environnements et les calendriers de tâches, modifier les identifiants d'accès à l'entrepôt ou les jetons API, et/ou approuver les déploiements de code ou les demandes de fusion.
4. Veuillez utiliser les autorisations au niveau du projet pour séparer l'accès entre plusieurs équipes ou services.

Journalisation des audits et conformité

dbt Cloud comprend des fonctionnalités complètes d'audit et de conformité conçues pour aider les organisations à répondre aux exigences strictes en matière de gouvernance des données, conformément aux normes telles que SOC 2, RGPD et autres.

Les journaux d'audit permettent également d'examiner les problèmes, et La prise en charge SCIM améliore l'intégration de la gestion des identités.

Intégration et connectivité de dbt Cloud

L'une des principales forces de dbt Cloud réside dans sa capacité à s'intégrer de manière transparente à l'écosystème de données plus large. Il s'intègre facilement aux principaux entrepôts de données, API, outils d'orchestration et plateformes de surveillance.

Cela en fait un choix judicieux pour la mise en place d'un flux de travail analytique unifié et automatisé, de l'ingestion à la visualisation. Veuillez examiner ces aspects ci-dessous :

Connectivité de la plateforme de données

dbt Cloud prend en charge tous les principaux entrepôts de données et lac de données dans le cloud, permettant aux équipes d'exécuter des transformations de manière native dans les environnements où leurs données sont déjà stockées. 

Cela élimine le besoin de déplacer ou de dupliquer les données, en utilisant plutôt les performances et l'évolutivité de chaque plateforme.

Les options d'intégration de dbt Cloud comprennent :

• Snowflake
• BigQuery
• Décalage vers le rouge
• Databricks
• PostgreSQL

Il est également possible de disposer de plusieurs options d'authentification par plateforme, telles que l'authentification par paire de clés, OAuth ou nom d'utilisateur/mot de passe.

Intégration API et webhook

Pour les organisations qui ont besoin d'extensibilité et d'automatisation, dbt Cloud fournit également une API REST puissante et un cadre webhook.

L' API dbt Cloud permet aux développeurs de :

• Déclenchez et surveillez l'exécution des tâches de manière programmatique.
• Récupérez les artefacts d'exécution tels que les journaux, les fichiers manifestes ou le SQL compilé.
• Automatisez les workflows de déploiement en intégrant dbt Cloud dans les pipelines CI/CD (par exemple, GitHub Actions, GitLab CI ou Azure DevOps).
• Gérez les utilisateurs, les environnements et les projets à grande échelle.

Les webhooks dbt Cloud offrent une intégration basée sur les événements, permettant aux systèmes externes de réagir aux événements dbt clés tels que l'achèvement d'une tâche, les échecs d'exécution ou les mises à jour de déploiement.

Les webhooks peuvent être utilisés pour :

• Envoi d'alertes en temps réel à Slack ou Microsoft Teams lorsque des tâches échouent.
• Déclenchement des workflows de gestion des incidents.
• Transmission des mesures de fonctionnement et des données de performance aux systèmes de surveillance.
• Mise à jour automatique des tableaux de bord ou des catalogues de métadonnées lorsque de nouveaux modèles sont créés.

Optimisation des performances dans dbt Cloud

À mesure que les pipelines de données gagnent en ampleur et en complexité, l'observabilité devient essentielle pour maintenir la fiabilité, les performances et la confiance.

Cependant, quels sont les avantages offerts par dbt Cloud ? Cela se résume à deux aspects : la surveillance des pipelines et l'optimisation des modèles.

Surveillance des pipelines de transformation des données

Chaque exécution de tâche est enregistrée, suivie et visualisée au sein de la plateforme, ce qui vous permet de comprendre l'état de vos transformations de bout en bout.

Par exemple, dans l'historique des exécutions, historique d'exécution , dbt Cloud affiche des informations détaillées telles que :

• Durée de l'exécution : Temps total nécessaire pour réaliser le travail, ventilé par modèle et par étape.
• Suivi du statut : Indicateurs en temps réel indiquant si une exécution est en attente, en cours, terminée ou a échoué.
• Journaux d'exécution : Journaux détaillés indiquant les requêtes SQL, les horodatages et le nombre de lignes.

dbt Cloud s'intègre également facilement à des outils de surveillance des données tels que Datadog.

Optimisation des performances du modèle

Les transformations monolithiques de grande envergure sont difficiles à maintenir et à optimiser. dbt favorise le développement modulaire, où la logique complexe est divisée en modèles plus petits et réutilisables, chacun effectuant une tâche spécifique.

Afin d'optimiser les performances, il est recommandé de suivre les meilleures pratiques suivantes :

• Utiliser les expressions de table communes (CTE) avec modération et refactoriser la logique répétitive dans des modèles intermédiaires.
• Mettre en œuvre des conventions de nommage (stg_, int_, fct_, dim_) afin de clarifier l'objectif du modèle.
• Veuillez exécuter régulièrement dbt deps et dbt docs generate afin de valider les dépendances et la documentation.

Vous pouvez également utiliser des matérialisations incrémentielles pour réduire les coûts de calcul, comme illustré dans l'exemple suivant.

{{ config(materialized='incremental') }}

select *
from {{ source('raw', 'events') }}
{% if is_incremental() %}
  where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}

Utilisation de dbt Mesh pour la collaboration multi-projets

Étant donné que les équipes chargées des données ont besoin de partager davantage les données au sein d'une organisation, il est également important de prendre en considération les options de collaboration offertes par dbt Cloud.

Gestion d'environnements multi-projets

dbt Mesh permet une collaboration évolutive au sein des grandes organisations grâce à une gouvernance centralisée de l'ensemble de la traçabilité des données. Il permet à votre équipe de créer plusieurs projets interdépendants, chacun appartenant à différentes unités commerciales ou domaines de données.

Les principaux avantages de dbt Mesh sont les suivants :

• Évolutivité : Chaque équipe peut posséder et déployer son propre projet dbt sans goulots d'étranglement liés aux dépendances.
• Références inter-projets : Les équipes peuvent référencer en toute sécurité les modèles d'autres projets à l'aide d'interfaces publiques bien définies.
• Gouvernance et accessibilité : Les modèles partagés sont répertoriés avec une propriété, une documentation et un versionnage clairs, ce qui favorise la responsabilité et la transparence.
• Autonomie et alignement : Les équipes peuvent innover de manière indépendante tout en respectant les normes de données et les règles de gouvernance à l'échelle de l'entreprise.

À la base, dbt Mesh permet aux équipes de référencer des modèles entre différents projets tout en préservant leur autonomie. 

Par exemple, une équipe financière peut gérer un projet « indicateurs financiers clés », tandis que l'équipe marketing développe un projet distinct qui fait référence à ces modèles financiers sans dupliquer le code ou la logique.

dbt Mesh permet les références inter-projets grâce à la fonction ` ref() `, étendue avec les espaces de noms de projet. Par exemple :

SELECT *
FROM {{ ref('finance_project', 'fct_revenue') }}

Cela permet au modèle marketing d'interroger directement le modèle d'fct_revenue s du projet financier, en utilisant la version canonique définie par cette équipe.

Gestion des versions et contrats pour les modèles de données

Afin de garantir la rétrocompatibilité et la confiance entre les projets, dbt Mesh introduit deux mécanismes essentiels : le versionnage des modèles et les contrats de modèles. 

Gestion des versions des modèles

Le versionnage des modèles est l'une des méthodes qui permet aux équipes de modifier leurs modèles sans perturber les dépendances existantes. Vous pouvez définir plusieurs versions du même modèle à l'aide de la propriété « versions: » dans le fichier YAML du modèle. 

Par exemple :

models:
  - name: fct_revenue
    versions:
      - v: 1
        description: "Initial revenue aggregation"
      - v: 2
        description: "Includes new discount and refund logic"

Contrats types

Les contrats types définissent la structure, les types de données et les contraintes d'un modèle. Il s'agit d'un accord entre les producteurs et les consommateurs de données. 

Lorsqu'un modèle inclut un contrat, dbt le valide avant l'exécution, garantissant ainsi que les modifications de schéma (telles que les suppressions de colonnes ou les incompatibilités de types) ne propagent pas d'erreurs involontaires en aval.

Exemple de contrat simple :

models:
  - name: fct_revenue
    contract:
      enforced: true
    columns:
      - name: customer_id
        data_type: string
      - name: total_revenue
        data_type: numeric
      - name: report_date
        data_type: date

Si quelqu'un tente de supprimer ou de modifier une colonne contractuelle, dbt générera une erreur, protégeant ainsi les modèles et les tableaux de bord dépendants.

Conclusion

dbt Cloud étend les fonctionnalités de dbt Core en fournissant une plateforme gérée de bout en bout pour l'ingénierie analytique. 

Tout au long de ce guide, nous avons examiné comment il centralise le développement via l'IDE Studio, gère l'orchestration et prend en charge les nouveaux outils tels que dbt Mesh et Semantic Layer.

En intégrant ces outils dans une plateforme unique, dbt Cloud permet aux équipes de gérer l'ensemble du cycle de vie des données, de l'ingestion à la documentation, sans avoir à gérer l'infrastructure sous-jacente.

Si vous souhaitez acquérir une expérience pratique de l'utilisation de dbt, notre formation « dbt Fundamentals » vous propose une approche pratique pour commencer à élaborer votre premier projet.