dbt Nuvem: Um guia completo

O dbt Nuvem surgiu como o principal serviço gerenciado para transformação de dados, capacitando equipes de análise modernas com fluxos de trabalho escaláveis, confiáveis e colaborativos.

Isso amplia o poder da dbt Core, oferecendo um ambiente hospedado que automatiza implantações, coordena tarefas, gerencia credenciais e fornece recursos de colaboração para equipes de dados.

Isso permite que as organizações gerenciem transformações baseadas em SQL em um ambiente seguro, automatizado e fácil de trabalhar em equipe.

Neste tutorial introdutório, vamos ver o que é o dbt Nuvem, como configurá-lo e exemplos de como ele pode ser usado. 

Se você é novo na estrutura e prefere um caminho de trilhas de aprendizagem estruturado, recomendo começar com nossa Introdução ao dbt .

O que é o dbt Nuvem e como funciona?

Vamos começar com uma visão geral do que é a nuvem dbt e algumas de suas funcionalidades.

Visão geral do dbt Nuvem

Basicamente, o dbt Nuvem ajuda as equipes a seguirem o abordagem ELT (Extrair, Carregar, Transformar). Diferente dos processos ETL tradicionais, onde as transformações rolam antes de colocar os dados no warehouse, o dbt faz as transformações dentro do warehouse usando seu poder de computação e escalabilidade.

Fonte: dbt

O dbt Nuvem simplifica o processo de transformação de dados, pois:

• Oferece um serviço gerenciado para transformações SQL usando o dbt.
• Se encaixa em pipelines modernos, transferindo as transformações para o warehouse.
• Padroniza a engenharia analítica por meio de fluxos de trabalho e práticas compartilhadas.

Conceitos básicos e fluxo de trabalho

O dbt Cloud tem os mesmos conceitos do dbt Core.

Isso inclui:

• Modelos: Arquivos SQL que definem transformações.
• Fontes: Definições das tabelas de dados brutos.
• Testes: Afirmações sobre a qualidade dos dados.
• Documentação: Documentos de linhagem e modelo gerados automaticamente.
• Exposições: Defina as dependências de BI ou relatórios a jusante.

Um fluxo de trabalho típico do dbt Nuvem é assim: Desenvolver modelos > Testar transformações > Enviar para o Git > Implanta por meio de tarefas do dbt Nuvem > Monitorar execuções no dbt Nuvem.

Configurando seu ambiente dbt Nuvem

Pra explicar como o dbt Nuvem funciona, vamos ver um exemplo prático de como configurar um ambiente por conta própria.

Começar a usar o dbt Nuvem é bem simples, porque ele foi feito pra você começar rapidinho. Aqui estão os passos que você precisa seguir:

Criação e configuração da conta

1. Inscreva-se no dbt Nuvem para ter acesso a uma avaliação gratuita de 14 dias do plano inicial.

2. Escolha as opções iniciais de acordo com a sua experiência com o dbt.

3. Dê um nome ao seu projeto, por exemplo, dbt-Nuvem-Analytics.

4. Adicione uma nova conexão.

5. Conecte-se a um data warehouse (como Snowflake, BigQuery, PostgreSQL, Redshift ou Databricks) da sua escolha. Vou usar um banco de dados PostgreSQL local.

6. Configure as definições de conexão.

7. Crie um repositório Git.

Entendendo a interface do usuário

Depois de fazer todas as configurações básicas, vamos dar uma olhada na interface. Aqui está o que você deve esperar ver na interface do dbt Nuvem:

A interface do usuário do dbt Nuvem organiza seu fluxo de trabalho de forma eficiente. Usando a barra de navegação, você pode acessar as seguintes áreas principais:

• Catálogo: Mostra projetos e modelos.
• Studio: Funciona como a interface de trabalho para escrever arquivos de código.
• Painel: Dá uma visão geral centralizada dos trabalhos e atividades.
• Canvas: Permite a criação de modelos por meio de arrastar e soltar (recurso do nível Enterprise).
• Perspectivas: Oferece informações adicionais sobre ambientes implantados.
• Orquestração: Configura e programa execuções do dbt.

Isso junta todas as informações necessárias, o estúdio de codificação e as configurações em uma única interface web.

Desenvolvendo no IDE da nuvem dbt

O dbt Nuvem também oferece um IDE baseado em navegador, feito especialmente para engenharia de análise, com integração com o GitHub. Foi feito pra criar, rodar, testar e controlar versões de projetos dbt direto do seu navegador.

Navegando pelo IDE de nuvem

O dbt Nuvem IDE não precisa de configuração local, facilitando a integração dos analistas. Pra acessar, é só clicar na aba Studio, que fica do lado esquerdo da interface.

Isso deve abrir uma interface simples para escrever, compilar e executar código.

O dbt Nuvem IDE permite que você faça essas tarefas:

• Execução de consultas em tempo real com pré-visualização dos resultados.
• Autocompletar SQL e modelos Jinja.
• Ferramentas para destacar erros e depurar.

Integração com controle de versão

Além disso, o dbt Nuvem também permite que você integre com o GitHub para controle de versão.

Esse recurso permite que você:

• Conecte o dbt Nuvem ao GitHub, GitLab ou Bitbucket.
• Gerencie ramificações diretamente do IDE.
• Faça o commit e sincronize as alterações de código com seu repositório central.
• Simplifique os fluxos de trabalho colaborativos com solicitações de pull e revisões.

Criando e testando modelos de dados no dbt Nuvem

Assim como no dbt Core, você também poderá criar e testar modelos de dados a partir do dbt Nuvem. Vamos ver algumas maneiras de fazer isso.

Escrevendo transformações SQL

Ao trabalhar com modelos de dados, você provavelmente vai precisar fazer algumas transformações. No dbt Nuvem IDE, dá pra escrever instruções SQL dentro do Studio.

Você pode criar um modelo de dados para transformar assim:

with source as (
    select * from {{ source('raw', 'orders') }}
)
select
    id as order_id,
    user_id,
    order_date,
    status
from source

A interface tem a seguinte aparência:

Algumas práticas recomendadas que você deve observar:

• Organize os modelos por camadas (preparação, intermediária, mercados).
• Use convenções de nomenclatura consistentes.
• Reutilize a lógica por meio de macros.

Testes e validação automatizados

Além disso, você também pode definir testes em YAML para verificações automatizadas:

models:
  - name: stg_orders
    columns:
      - name: order_id
        tests:
          - not_null
          - unique
      - name: status
        tests:
          - accepted_values:
              values: ['completed', 'pending', 'cancelled']

Testar seus dados reforça a confiança nas transformações. Isso garante que todos os trabalhos que você executar terão testes integrados para manter a integridade. 

Se você é um usuário avançado, também pode definir testes personalizados usando Jinja e SQL.

Agendamento e orquestração na dbt Nuvem

No dbt Nuvem, o agendamento e a orquestração de tarefas ajudam a automatizar as análises. Eles garantem que suas transformações sejam executadas de forma consistente, dentro do prazo e no ambiente certo, com o mínimo de intervenção manual. 

Esta seção fala sobre como agendar tarefas, acioná-las automaticamente e monitorar seu desempenho em tempo real.

Agendamento de tarefas

Na interface do dbt Nuvem, você pode:

• Crie trabalhos para ambientes de desenvolvimento, teste ou produção.
• Configure agendamentos cron ou gatilhos acionados por eventos.
• Tarefas em cadeia (executar, testar, instantâneo).

Para criar uma programação de tarefas no dbt Nuvem:

1. Vá até a aba Orquestração e depois em Trabalhos no seu projeto.
2. Clique em Criar tarefa > Implantar tarefa e dê a ela um nome que seja fácil de entender (por exemplo, “Execução diária da produção” ou “Atualização incremental de preparação”).

3. Escolha o ambiente onde o trabalho deve ser executado — normalmente desenvolvimento, preparação ou produção.
4. Adicione um ou mais comandos, como dbt run --models stg_orders.

5. Em Agenda, escolha a sintaxe cron ou use o seletor visual de tempo para definir quando a tarefa deve ser executada (por exemplo, todas as noites às 2 da manhã, todas as segundas-feiras de manhã).

6. Salve o trabalho e habilite notificações por e-mail ou Slack para atualizações do status de execução.

Monitoramento e registro em tempo real

O dbt Nuvem oferece recursos de monitoramento e registro para melhorar a observabilidade dos dados. Isso é essencial para resolver problemas e otimizar o desempenho.

Isso permite que você:

• Veja os registros de execução direto na interface do usuário.
• Exportar registros para monitoramento externo.
• Manda notificações pro Slack, e-mail ou PagerDuty.

Recursos avançados do dbt Nuvem

Além dos recursos básicos de modelagem e orquestração, a dbt Nuvem oferece funcionalidades avançadas que trazem inteligência, consistência e automação para os fluxos de trabalho analíticos modernos. 

Elas podem ser encontradas em duas características principais: a Camada Semântica dbt e em ferramentas baseadas em IA, como o dbt Copilot e o Fusion.

Usando a camada semântica do dbt

A Camada Semântica do dbt fornece uma camada central e controlada onde as equipes podem definir, gerenciar e fornecer métricas de negócios de forma consistente e com controle de versão.

Isso ajuda:

• Defina e gerencie métricas de negócios de forma centralizada.
• Garanta a consistência entre as ferramentas de BI e análise.
• Evite o desvio métrico aplicando uma única fonte de verdade.

Essa camada unificada faz a ponte entre a transformação e a visualização de dados por meio de suas conexões com ferramentas comuns de BI.

Para um exemplo prático, dá uma olhada neste tutorial sobre implementação de uma camada semântica com o dbt.

Integrando IA com o dbt Copilot e o Fusion

Um dos recursos mais recentes do dbt, o dbt Copilot, é um assistente de IA integrado diretamente ao IDE da nuvem do dbt. Ajuda os desenvolvedores a escrever, depurar e otimizar o código dbt usando prompts em linguagem natural e sugestões contextuais.

Com o dbt Copilot, você pode:

• Crie modelos SQL ou macros Jinja a partir de descrições em linguagem simples.
• Receba sugestões de preenchimento automático para comandos, testes e configurações do dbt.
• Documente automaticamente os modelos com descrições e metadados gerados.
• Identifique e corrija problemas comuns de sintaxe ou dependência antes de executar tarefas.

O motor Fusion é um novo motor escrito em Rust para substituir o dbt Core, com muito mais funcionalidades. 

Ele traz alguns casos de uso, como:

• Detectando código SQL incorreto nos seus modelos dbt
• Permite a pré-visualização de CTEs inline para uma depuração mais rápida
• Rastreamento de modelos em todo o seu projeto dbt

Segurança e conformidade na dbt Nuvem

Nos fluxos de trabalho de transformação de dados, a segurança e a governança são essenciais. É por isso que o dbt Nuvem também foi criado com controles de segurança de nível empresarial para proteger informações confidenciais, manter a conformidade e garantir a responsabilidade entre as equipes.

Controle de acesso baseado em funções

O dbt Nuvem usa controle de acesso baseado em função (RBAC) para gerenciar permissões de usuários e restringir o acesso a ativos críticos, como projetos, ambientes e credenciais.

As funções possíveis incluem:

• Desenvolvedor
• Revisor
• Admin

Para configurar o controle de acesso no dbt Nuvem:

1. Vá até a seção Configurações da conta e depois Usuários.
2. Atribua usuários a funções pré-definidas ou crie funções personalizadas para um controle mais detalhado.

3. Defina se os usuários podem gerenciar ambientes e agendas de tarefas, modificar credenciais de warehouse ou tokens de API e/ou aprovar implantações de código ou solicitações de mesclagem.
4. Use permissões no nível do projeto para separar o acesso entre várias equipes ou departamentos.

Registro de auditoria e conformidade

O dbt Nuvem inclui recursos abrangentes de registro de auditoria e conformidade, projetados para ajudar as organizações a atender a requisitos rigorosos de governança de dados, em conformidade com normas como SOC 2, GDPR e outras.

Os registros de auditoria também permitem a investigação de problemas e suporte SCIM melhora a integração do gerenciamento de identidades.

Integração e conectividade do dbt Nuvem

Um dos pontos fortes da dbt Nuvem é a capacidade de se conectar facilmente com o ecossistema de dados mais amplo. Ele se integra facilmente com os principais warehouse, APIs, ferramentas de orquestração e plataformas de monitoramento.

Isso faz com que seja uma boa escolha para criar um fluxo de trabalho de análise unificado e automatizado, desde a ingestão até a visualização. Vamos ver esses pontos aqui embaixo:

Conectividade da plataforma de dados

O dbt Cloud dá suporte a todos os principais warehouse e lakehouses na nuvem, permitindo que as equipes façam transformações nativamente nos ambientes onde seus dados já estão. 

Isso elimina a necessidade de movimentação ou duplicação de dados, utilizando, em vez disso, o desempenho e a escalabilidade de cada plataforma.

As opções de integração do dbt Nuvem incluem:

• Snowflake
• BigQuery
• Desvio para o vermelho
• Databricks
• PostgreSQL

Você também pode ter várias opções de autenticação por plataforma, como autenticação por par de chaves, OAuth ou nome de usuário/senha.

Integração com API e webhook

Para organizações que precisam de extensibilidade e automação, a dbt Nuvem também oferece uma API REST poderosa e uma estrutura webhook.

A API do dbt Nuvem permite que os desenvolvedores:

• Acionar e monitorar a execução de tarefas de forma programada.
• Recupera artefatos de execução, como registros, arquivos de manifesto ou SQL compilado.
• Automatize os fluxos de trabalho de implantação integrando o dbt Nuvem aos pipelines de CI/CD (por exemplo, GitHub Actions, GitLab CI ou Azure DevOps).
• Gerencie usuários, ambientes e projetos em grande escala.

Os webhooks do dbt Cloud oferecem integração baseada em eventos, permitindo que sistemas externos respondam a eventos importantes do dbt, como conclusão de tarefas, falhas de execução ou atualizações de implantação.

Os webhooks podem ser usados para:

• Envio de alertas em tempo real para o Slack ou Microsoft Teams quando as tarefas falham.
• Acionando fluxos de trabalho de gerenciamento de incidentes.
• Enviando métricas de execução e dados de desempenho para sistemas de monitoramento.
• Atualizar painéis ou catálogos de metadados automaticamente quando novos modelos forem criados.

Otimização de desempenho no dbt Nuvem

À medida que os pipelines de dados crescem em escala e complexidade, a observabilidade se torna essencial para manter a confiabilidade, o desempenho e a confiança.

Mas o que a nuvem dbt tem a oferecer? Tudo se resume a dois aspectos: monitoramento de pipelines e otimização de modelos.

Monitorando os fluxos de transformação de dados

Cada execução de tarefa é registrada, programada e visualizada na plataforma, permitindo que você entenda o estado completo das suas transformações.

Por exemplo, dentro do Painel de Execução , o dbt Nuvem mostra informações detalhadas como:

• Duração da corrida: Tempo total que levou para fazer o trabalho, dividido por modelo e etapa.
• Acompanhamento do status: Indicadores em tempo real que mostram se uma execução está na fila, em andamento, concluída ou falhou.
• Registros de execução: Registros detalhados mostrando consultas SQL, carimbos de data/hora e contagens de linhas.

O dbt Nuvem também é fácil de integrar com ferramentas de monitoramento de dados, tipo o Datadog.

Otimizando o desempenho do modelo

Grandes transformações monolíticas são difíceis de manter e otimizar. O dbt promove o desenvolvimento modular, onde a lógica complexa é dividida em modelos menores e reutilizáveis, cada um realizando uma tarefa específica.

Para otimizar o desempenho, você pode seguir estas práticas recomendadas:

• Usando Expressões de Tabela Comum (CTEs) com moderação e refatorando a lógica repetida em modelos de preparação.
• Implementando convenções de nomenclatura (stg_, int_, fct_, dim_) para deixar claro o objetivo do modelo.
• Executando regularmente dbt deps e dbt docs generate para validar dependências e documentação.

Você também pode usar materializações incrementais para reduzir os custos de computação, como mostrado no exemplo a seguir.

{{ config(materialized='incremental') }}

select *
from {{ source('raw', 'events') }}
{% if is_incremental() %}
  where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}

Usando o dbt Mesh para colaboração em vários projetos

Como as equipes de dados precisam compartilhar mais dados dentro de uma organização, você também vai precisar pensar nas opções de colaboração que a dbt Nuvem oferece.

Gerenciando ambientes com vários projetos

O dbt Mesh permite uma colaboração escalável em grandes organizações por meio da governança centralizada de toda a linhagem de dados. Isso permite que sua equipe crie vários projetos interdependentes, cada um pertencente a diferentes unidades de negócios ou domínios de dados.

Os principais benefícios do dbt Mesh são:

• Escalabilidade: Cada equipe pode ter e usar seu próprio projeto dbt sem precisar se preocupar com gargalos de dependência.
• Referências entre projetos: As equipes podem usar modelos de outros projetos com segurança usando interfaces públicas bem definidas.
• Governança e descoberta: Os modelos compartilhados são catalogados com propriedade, documentação e versão claras, promovendo responsabilidade e transparência.
• Autonomia com alinhamento: As equipes podem inovar de forma independente, ao mesmo tempo em que seguem os padrões de dados e as regras de governança da empresa.

Basicamente, o dbt Mesh permite que as equipes consultem modelos em diferentes projetos, mantendo a autonomia. 

Por exemplo, uma equipe financeira pode manter um projeto de “métricas financeiras essenciais”, enquanto a equipe de marketing cria um projeto separado que faz referência a esses modelos financeiros sem duplicar código ou lógica.

O dbt Mesh permite referências entre projetos através da função ` ref() `, que agora tem nomes de projetos. Por exemplo:

SELECT *
FROM {{ ref('finance_project', 'fct_revenue') }}

Isso permite que o modelo de marketing consulte o modelo fct_revenue diretamente do projeto financeiro, usando a versão canônica definida por essa equipe.

Versões e contratos para modelos de dados

Para garantir compatibilidade com versões anteriores e confiança entre projetos, o dbt Mesh traz dois mecanismos essenciais: controle de versão de modelos e contratos de modelos. 

Versões do modelo

O controle de versão de modelos é um dos métodos que permite que as equipes modifiquem seus modelos sem quebrar as dependências existentes. Você pode definir várias versões do mesmo modelo usando a propriedade ` versions: ` no arquivo YAML do modelo. 

Por exemplo:

models:
  - name: fct_revenue
    versions:
      - v: 1
        description: "Initial revenue aggregation"
      - v: 2
        description: "Includes new discount and refund logic"

Modelos de contratos

Modelos de contratos definem a estrutura, os tipos de dados e as restrições de um modelo. Funciona como um acordo entre quem produz e quem usa os dados. 

Quando um modelo inclui um contrato, o dbt dá uma olhada nele antes de rodar, garantindo que mudanças no esquema (como exclusões de colunas ou incompatibilidades de tipos) não causem erros indesejados mais adiante.

Exemplo de um contrato simples:

models:
  - name: fct_revenue
    contract:
      enforced: true
    columns:
      - name: customer_id
        data_type: string
      - name: total_revenue
        data_type: numeric
      - name: report_date
        data_type: date

Se alguém tentar remover ou alterar uma coluna contratada, o dbt vai mostrar um erro, protegendo os modelos e painéis dependentes.

Conclusão

O dbt Cloud amplia a funcionalidade do dbt Core, oferecendo uma plataforma gerenciada de ponta a ponta para engenharia de análise. 

Ao longo deste guia, a gente viu como ele centraliza o desenvolvimento através do Studio IDE, lida com a orquestração e dá suporte a ferramentas mais recentes, como o dbt Mesh e a Camada Semântica.

Ao juntar essas ferramentas em uma única plataforma, o dbt Nuvem deixa as equipes cuidarem de todo o ciclo de vida dos dados, desde a ingestão até a documentação, sem precisar gerenciar a infraestrutura por trás disso.

Se você quiser ter uma experiência prática com o dbt, nosso curso Fundamentos do dbt Oferece uma maneira prática de começar a construir seu primeiro projeto.