dbt Cloud: Hướng dẫn toàn diện

dbt Cloud đã trở thành dịch vụ quản lý hàng đầu cho chuyển đổi dữ liệu, cung cấp cho các nhóm phân tích hiện đại quy trình làm việc có khả năng mở rộng, đáng tin cậy và cộng tác.

Nó mở rộng sức mạnh của dbt Core, mang đến môi trường lưu trữ sẵn để tự động hóa triển khai, điều phối job, quản lý thông tin đăng nhập và cung cấp các tính năng cộng tác cho đội ngũ dữ liệu.

Điều này cho phép tổ chức quản lý các chuyển đổi dựa trên SQL trong một môi trường an toàn, tự động và thân thiện với nhóm.

Trong hướng dẫn nhập môn này, chúng ta sẽ cùng tìm hiểu dbt Cloud là gì, cách thiết lập và các ví dụ về cách sử dụng.

Nếu bạn mới làm quen với framework và thích lộ trình học tập có cấu trúc, tôi khuyến nghị bắt đầu với khóa học Giới thiệu về dbt của chúng tôi.

dbt Cloud là gì và hoạt động như thế nào?

Trước hết, hãy điểm qua tổng quan về dbt Cloud và một số tính năng của nó.

Tổng quan về dbt Cloud

Về cốt lõi, dbt Cloud giúp các nhóm tuân theo phương pháp ELT (Extract, Load, Transform). Khác với quy trình ETL truyền thống, nơi chuyển đổi diễn ra trước khi nạp dữ liệu vào kho, dbt thực hiện chuyển đổi ngay trong kho dữ liệu, tận dụng sức mạnh tính toán và khả năng mở rộng của kho.

Nguồn: dbt

dbt Cloud đơn giản hóa quy trình chuyển đổi dữ liệu vì nó:

• Cung cấp dịch vụ quản lý cho các chuyển đổi SQL bằng dbt.
• Phù hợp với pipeline hiện đại bằng cách chuyển phần chuyển đổi vào trong kho dữ liệu.
• Chuẩn hóa kỹ thuật phân tích thông qua quy trình và thực hành dùng chung.

Khái niệm cốt lõi và quy trình làm việc

dbt Cloud bao gồm các khái niệm giống như dbt Core.

Bao gồm:

• Models: Tệp SQL định nghĩa các chuyển đổi.
• Sources: Định nghĩa các bảng dữ liệu thô.
• Tests: Các khẳng định về chất lượng dữ liệu.
• Tài liệu: Sinh tự động sơ đồ dòng chảy và tài liệu của model.
• Exposures: Xác định phụ thuộc downstream của BI hoặc báo cáo.

Một quy trình làm việc điển hình với dbt Cloud như sau: Phát triển model > Kiểm thử chuyển đổi > Commit lên Git > Triển khai qua job của dbt Cloud > Giám sát các lần chạy trên dbt Cloud.

Thiết lập môi trường dbt Cloud của bạn

Để giải thích cách dbt Cloud hoạt động, hãy xem một ví dụ thực tế về cách tự thiết lập môi trường.

Bắt đầu với dbt Cloud rất đơn giản vì nó được thiết kế để onboarding nhanh. Dưới đây là các bước bạn cần thực hiện:

Tạo tài khoản và thiết lập

1. Đăng ký dbt Cloud để dùng thử miễn phí 14 ngày gói starter.

2. Chọn tùy chọn bắt đầu tương ứng với kinh nghiệm của bạn với dbt.

3. Đặt tên dự án, ví dụ: dbt-Cloud-Analytics.

4. Thêm một kết nối mới.

5. Kết nối tới kho dữ liệu (như Snowflake, BigQuery, PostgreSQL, Redshift hoặc Databricks) theo lựa chọn của bạn. Tôi sẽ sử dụng cơ sở dữ liệu PostgreSQL cục bộ.

6. Cấu hình thiết lập kết nối.

7. Thiết lập một kho Git.

Tìm hiểu giao diện người dùng

Khi đã hoàn tất các thiết lập cơ bản, hãy khám phá giao diện. Đây là những gì bạn sẽ thấy trong giao diện dbt Cloud:

UI của dbt Cloud tổ chức quy trình làm việc của bạn hiệu quả. Bằng thanh điều hướng, bạn có thể truy cập các khu vực chính sau:

• Catalog: Hiển thị dự án và model.
• Studio: Là giao diện làm việc để viết tệp mã.
• Dashboard: Cung cấp tổng quan trung tâm về job và hoạt động.
• Canvas: Cho phép tạo model kéo-thả (tính năng cấp Enterprise).
• Insights: Cung cấp thông tin bổ sung về môi trường đã triển khai.
• Orchestration: Cấu hình và lập lịch các lần chạy dbt.

Điều này hợp nhất tất cả thông tin cần thiết, studio viết mã và thiết lập cấu hình trong một giao diện web.

Phát triển trong IDE của dbt Cloud

dbt Cloud cũng cung cấp IDE chạy trên trình duyệt, được xây dựng chuyên biệt cho kỹ thuật phân tích, tích hợp với GitHub. Nó được tạo ra để xây dựng, chạy, kiểm thử và quản lý phiên bản dự án dbt ngay từ trình duyệt của bạn.

Điều hướng Cloud IDE

dbt Cloud IDE không yêu cầu thiết lập cục bộ, giúp việc onboarding cho nhà phân tích trở nên nhẹ nhàng. Để truy cập, bạn có thể nhấp vào thẻ Studio ở bên trái giao diện.

Điều này sẽ mở ra một giao diện đơn giản để viết, biên dịch và chạy mã.

dbt Cloud IDE cho phép bạn thực hiện các tác vụ sau:

• Thực thi truy vấn thời gian thực với xem trước kết quả.
• Tự động hoàn thành SQL và templating Jinja.
• Tô sáng lỗi và công cụ gỡ lỗi.

Tích hợp quản lý phiên bản

Ngoài ra, dbt Cloud cũng cho phép bạn tích hợp với GitHub để quản lý phiên bản.

Tính năng này cho phép bạn:

• Kết nối dbt Cloud với GitHub, GitLab hoặc Bitbucket.
• Quản lý nhánh trực tiếp từ IDE.
• Commit và đồng bộ thay đổi mã với kho trung tâm.
• Tinh gọn quy trình cộng tác với pull request và review.

Xây dựng và kiểm thử mô hình dữ liệu trong dbt Cloud

Cũng giống như trong dbt Core, bạn có thể xây dựng và kiểm thử mô hình dữ liệu ngay trong dbt Cloud. Hãy xem một số cách thực hiện.

Viết các chuyển đổi SQL

Khi làm việc với mô hình dữ liệu, bạn có thể sẽ cần thực hiện một số chuyển đổi. Trong dbt Cloud IDE, chúng ta có thể viết các câu lệnh SQL trong Studio.

Bạn có thể tạo một mô hình dữ liệu để chuyển đổi như sau:

with source as (
    select * from {{ source('raw', 'orders') }}
)
select
    id as order_id,
    user_id,
    order_date,
    status
from source

Giao diện sẽ trông như thế này:

Một số thực hành tốt bạn nên lưu ý:

• Tổ chức model theo lớp (staging, intermediate, marts).
• Sử dụng quy ước đặt tên nhất quán.
• Tái sử dụng logic qua macro.

Kiểm thử và xác thực tự động

Ngoài ra, bạn cũng có thể định nghĩa test trong YAML để kiểm tra tự động:

models:
  - name: stg_orders
    columns:
      - name: order_id
        tests:
          - not_null
          - unique
      - name: status
        tests:
          - accepted_values:
              values: ['completed', 'pending', 'cancelled']

Kiểm thử dữ liệu giúp củng cố niềm tin vào các chuyển đổi. Điều này đảm bảo mọi job bạn chạy sẽ có test tích hợp để duy trì tính toàn vẹn.

Nếu bạn là người dùng nâng cao, bạn cũng có thể định nghĩa test tùy chỉnh bằng Jinja và SQL.

Lập lịch và điều phối trong dbt Cloud

Trong dbt Cloud, lập lịch job và điều phối giúp hỗ trợ tự động hóa phân tích. Chúng đảm bảo các chuyển đổi của bạn chạy nhất quán, đúng thời điểm và trong môi trường phù hợp với ít can thiệp thủ công nhất.

Phần này đề cập cách lập lịch job, kích hoạt tự động và giám sát hiệu năng theo thời gian thực.

Lập lịch job

Trong giao diện dbt Cloud, bạn có thể:

• Tạo job cho môi trường dev, staging hoặc production.
• Cấu hình lịch cron hoặc trigger theo sự kiện.
• Xâu chuỗi tác vụ (run, test, snapshot).

Để tạo lịch job trong dbt Cloud:

1. Đi đến thẻ Orchestration, sau đó Jobs trong dự án của bạn.
2. Nhấp Create Job > Deploy Job và đặt tên mô tả (ví dụ: “Daily Production Run” hoặc “Staging Incremental Refresh”).

3. Chọn môi trường nơi job sẽ chạy — thường là development, staging hoặc production.
4. Thêm một hoặc nhiều lệnh, chẳng hạn dbt run --models stg_orders.

5. Trong Schedule, chọn cú pháp cron hoặc dùng bộ chọn thời gian trực quan để xác định khi nào job nên chạy (ví dụ: mỗi đêm lúc 2 giờ sáng, mỗi sáng thứ Hai).

6. Lưu job và bật thông báo email hoặc Slack cho cập nhật trạng thái chạy.

Giám sát và ghi log theo thời gian thực

dbt Cloud hỗ trợ tính năng giám sát và ghi log để cải thiện khả năng quan sát dữ liệu. Điều này rất quan trọng để khắc phục sự cố và tối ưu hiệu năng.

Nó cho phép bạn:

• Xem log của lần chạy trực tiếp trong UI.
• Xuất log để giám sát bên ngoài.
• Gửi thông báo tới Slack, email hoặc PagerDuty.

Các tính năng nâng cao của dbt Cloud

Vượt ra ngoài khả năng mô hình hóa và điều phối cốt lõi, dbt Cloud cung cấp các tính năng nâng cao mang lại trí tuệ, tính nhất quán và tự động hóa cho quy trình phân tích hiện đại.

Chúng nằm ở hai nhóm chính: dbt Semantic Layer và các công cụ AI như dbt Copilot và Fusion.

Sử dụng dbt Semantic Layer

dbt Semantic Layer cung cấp một lớp trung tâm được quản trị, nơi các nhóm có thể định nghĩa, quản lý và phục vụ các chỉ số kinh doanh theo cách nhất quán và có kiểm soát phiên bản.

Nó giúp:

• Định nghĩa và quản lý các chỉ số kinh doanh tập trung.
• Đảm bảo tính nhất quán trên các công cụ BI và phân tích.
• Ngăn trôi lệch chỉ số bằng cách áp đặt một nguồn sự thật duy nhất.

Lớp thống nhất này nối cầu giữa chuyển đổi dữ liệu và trực quan hóa thông qua các kết nối với những công cụ BI phổ biến.

Để có ví dụ thực hành, hãy xem hướng dẫn về triển khai semantic layer với dbt.

Tích hợp AI với dbt Copilot và Fusion

Một trong những tính năng mới nhất của dbt, dbt Copilot, là trợ lý AI được tích hợp trực tiếp vào IDE của dbt Cloud. Nó giúp nhà phát triển viết, gỡ lỗi và tối ưu mã dbt bằng nhắc lệnh ngôn ngữ tự nhiên và gợi ý theo ngữ cảnh.

Với dbt Copilot, bạn có thể:

• Tạo model SQL hoặc macro Jinja từ mô tả ngôn ngữ tự nhiên.
• Nhận gợi ý tự động hoàn thành cho lệnh, test và cấu hình của dbt.
• Tự động ghi tài liệu cho model với mô tả và metadata được tạo.
• Nhận diện và sửa lỗi cú pháp hoặc phụ thuộc thường gặp trước khi chạy job.

Động cơ Fusion là một engine mới viết bằng Rust để thay thế dbt Core, với nhiều tính năng hơn.

Nó mang lại một số trường hợp sử dụng như:

• Phát hiện mã SQL không đúng trong các model dbt của bạn
• Cho phép xem trước CTE nội tuyến để gỡ lỗi nhanh hơn
• Theo vết model trên toàn dự án dbt của bạn

Bảo mật và tuân thủ trong dbt Cloud

Trong quy trình chuyển đổi dữ liệu, bảo mật và quản trị là điều không thể thỏa hiệp. Đó là lý do dbt Cloud cũng được xây dựng với các biện pháp bảo mật cấp doanh nghiệp để bảo vệ thông tin nhạy cảm, duy trì tuân thủ và đảm bảo trách nhiệm trên toàn nhóm.

Kiểm soát truy cập dựa trên vai trò

dbt Cloud sử dụng kiểm soát truy cập dựa trên vai trò (RBAC) để quản lý quyền người dùng và hạn chế truy cập vào các tài sản quan trọng như dự án, môi trường và thông tin đăng nhập.

Các vai trò có thể gồm:

• Developer
• Reviewer
• Admin

Để cấu hình kiểm soát truy cập trong dbt Cloud:

1. Đi đến phần Account Settings, sau đó Users.
2. Gán người dùng vào các vai trò định sẵn hoặc tạo vai trò tùy chỉnh để kiểm soát chi tiết hơn.

3. Xác định liệu người dùng có thể quản lý môi trường và lịch job, sửa thông tin đăng nhập kho dữ liệu hoặc token API, và/hoặc phê duyệt triển khai mã hay yêu cầu hợp nhất.
4. Sử dụng quyền cấp dự án để tách biệt quyền truy cập giữa nhiều nhóm hoặc phòng ban.

Ghi log kiểm toán và tuân thủ

dbt Cloud bao gồm các tính năng ghi log kiểm toán và tuân thủ toàn diện, được thiết kế để giúp tổ chức đáp ứng các yêu cầu quản trị dữ liệu nghiêm ngặt, phù hợp với các tiêu chuẩn như SOC 2, GDPR và các tiêu chuẩn khác.

Audit logs cũng hỗ trợ điều tra sự cố, và hỗ trợ SCIM cải thiện tích hợp quản lý danh tính.

Tích hợp và kết nối của dbt Cloud

Một trong những điểm mạnh nhất của dbt Cloud nằm ở khả năng kết nối mượt mà với hệ sinh thái dữ liệu rộng lớn. Nó tích hợp dễ dàng với các kho dữ liệu hàng đầu, API, công cụ điều phối và nền tảng giám sát.

Điều này khiến nó trở thành lựa chọn tốt để xây dựng quy trình phân tích hợp nhất và tự động, từ ingest đến trực quan hóa. Hãy cùng khám phá các khía cạnh dưới đây:

Kết nối nền tảng dữ liệu

dbt Cloud hỗ trợ tất cả các kho dữ liệu và lakehouse đám mây chính, cho phép các nhóm chạy chuyển đổi một cách native trong môi trường nơi dữ liệu của họ vốn đã tồn tại.

Điều này loại bỏ nhu cầu di chuyển hoặc nhân bản dữ liệu, thay vào đó tận dụng hiệu năng và khả năng mở rộng của từng nền tảng.

Các tùy chọn tích hợp dbt Cloud bao gồm:

• Snowflake
• BigQuery
• Redshift
• Databricks
• PostgreSQL

Bạn cũng có nhiều tùy chọn xác thực theo từng nền tảng, như xác thực cặp khóa, OAuth hoặc tên người dùng/mật khẩu.

Tích hợp API và webhook

Đối với các tổ chức cần khả năng mở rộng và tự động hóa, dbt Cloud cũng cung cấp REST API mạnh mẽ và khung webhook.

dbt Cloud API cho phép nhà phát triển:

• Kích hoạt và giám sát các lần chạy job bằng lập trình.
• Truy xuất artifact của lần chạy như log, tệp manifest hoặc SQL đã biên dịch.
• Tự động hóa quy trình triển khai bằng cách tích hợp dbt Cloud vào pipeline CI/CD (ví dụ: GitHub Actions, GitLab CI hoặc Azure DevOps).
• Quản lý người dùng, môi trường và dự án ở quy mô lớn.

Webhook của dbt Cloud cung cấp tích hợp dựa trên sự kiện, cho phép hệ thống bên ngoài phản hồi các sự kiện chính của dbt như hoàn tất job, lỗi chạy hoặc cập nhật triển khai.

Webhook có thể được dùng để:

• Gửi cảnh báo thời gian thực tới Slack hoặc Microsoft Teams khi job thất bại.
• Kích hoạt quy trình quản lý sự cố.
• Chuyển tiếp số liệu chạy và dữ liệu hiệu năng tới hệ thống giám sát.
• Tự động cập nhật dashboard hoặc catalog metadata khi model mới được build.

Tối ưu hiệu năng trong dbt Cloud

Khi pipeline dữ liệu tăng về quy mô và độ phức tạp, khả năng quan sát trở nên thiết yếu để duy trì độ tin cậy, hiệu năng và niềm tin.

Vậy dbt Cloud cung cấp gì? Chủ yếu ở hai khía cạnh: giám sát pipeline và tối ưu model.

Giám sát pipeline chuyển đổi dữ liệu

Mỗi lần chạy job đều được ghi log, theo dõi và trực quan hóa trong nền tảng, cho phép bạn hiểu trạng thái end-to-end của các chuyển đổi.

Ví dụ, trong dashboard Run History, dbt Cloud hiển thị thông tin chi tiết như:

• Thời lượng chạy: Tổng thời gian thực hiện job, phân tách theo model và bước.
• Theo dõi trạng thái: Chỉ báo thời gian thực cho biết run đang chờ, đang chạy, hoàn tất hoặc thất bại.
• Log thực thi: Log chi tiết hiển thị truy vấn SQL, dấu thời gian và số hàng.

dbt Cloud cũng dễ dàng tích hợp với công cụ giám sát dữ liệu như Datadog.

Tối ưu hiệu năng model

Các chuyển đổi nguyên khối lớn khó duy trì và tối ưu. dbt khuyến khích phát triển theo mô-đun, trong đó logic phức tạp được chia nhỏ thành các model nhỏ, có thể tái sử dụng và mỗi model thực hiện một tác vụ trọng tâm.

Để tối ưu hiệu năng, bạn có thể làm theo các thực hành tốt sau:

• Sử dụng Common Table Expressions (CTE) một cách tiết chế và tái cấu trúc logic lặp lại vào các model staging.
• Áp dụng quy ước đặt tên (stg_, int_, fct_, dim_) để làm rõ mục đích của model.
• Chạy dbt deps và dbt docs generate thường xuyên để xác nhận phụ thuộc và tài liệu.

Bạn cũng có thể dùng materialization incremental để giảm chi phí tính toán, như ví dụ sau.

{{ config(materialized='incremental') }}

select *
from {{ source('raw', 'events') }}
{% if is_incremental() %}
  where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}

Sử dụng dbt Mesh cho cộng tác đa dự án

Khi các nhóm dữ liệu cần chia sẻ dữ liệu nhiều hơn trong tổ chức, bạn cũng cần cân nhắc các tùy chọn cộng tác mà dbt Cloud có.

Quản lý môi trường đa dự án

dbt Mesh cho phép cộng tác có khả năng mở rộng trên các tổ chức lớn thông qua quản trị tập trung toàn bộ dòng chảy dữ liệu. Nó cho phép nhóm của bạn tạo nhiều dự án phụ thuộc lẫn nhau, mỗi dự án do các đơn vị kinh doanh hoặc miền dữ liệu khác nhau sở hữu.

Lợi ích chính của dbt Mesh gồm:

• Khả năng mở rộng: Mỗi nhóm có thể sở hữu và triển khai dự án dbt của riêng mình mà không bị nghẽn phụ thuộc.
• Tham chiếu chéo dự án: Các nhóm có thể tham chiếu an toàn model từ dự án khác bằng giao diện công khai được định nghĩa rõ ràng.
• Quản trị và khả năng khám phá: Các model dùng chung được lập danh mục với quyền sở hữu rõ ràng, tài liệu và phiên bản hóa, thúc đẩy trách nhiệm và minh bạch.
• Tự chủ có định hướng: Các nhóm có thể đổi mới độc lập trong khi vẫn tuân thủ tiêu chuẩn và quy tắc quản trị dữ liệu toàn công ty.

Cốt lõi của dbt Mesh là cho phép các nhóm tham chiếu model giữa các dự án trong khi vẫn giữ được tính tự chủ.

Ví dụ, nhóm tài chính có thể duy trì một dự án “core financial metrics”, trong khi nhóm marketing xây dựng dự án riêng tham chiếu các model tài chính đó mà không cần nhân bản mã hay logic.

dbt Mesh cho phép tham chiếu chéo dự án thông qua hàm ref(), mở rộng với namespace của dự án. Ví dụ:

SELECT *
FROM {{ ref('finance_project', 'fct_revenue') }}

Điều này cho phép model marketing truy vấn trực tiếp model fct_revenue từ dự án tài chính, sử dụng phiên bản chuẩn do nhóm đó định nghĩa.

Phiên bản hóa và hợp đồng cho mô hình dữ liệu

Để đảm bảo tương thích ngược và sự tin cậy giữa các dự án, dbt Mesh giới thiệu hai cơ chế thiết yếu: phiên bản hóa model và hợp đồng model.

Phiên bản hóa model

Phiên bản hóa model là một phương pháp cho phép các nhóm chỉnh sửa model mà không phá vỡ các phụ thuộc hiện có. Bạn có thể định nghĩa nhiều phiên bản của cùng một model bằng thuộc tính versions: trong tệp YAML của model.

Ví dụ:

models:
  - name: fct_revenue
    versions:
      - v: 1
        description: "Initial revenue aggregation"
      - v: 2
        description: "Includes new discount and refund logic"

Hợp đồng model

Hợp đồng model định nghĩa cấu trúc, kiểu dữ liệu và ràng buộc của một model. Nó đóng vai trò như một thỏa thuận giữa bên sản xuất và bên tiêu thụ dữ liệu.

Khi một model bao gồm hợp đồng, dbt sẽ xác thực trước khi thực thi, đảm bảo các thay đổi schema (như xóa cột hoặc sai lệch kiểu) không lan truyền lỗi không mong muốn xuống hạ nguồn.

Ví dụ về hợp đồng đơn giản:

models:
  - name: fct_revenue
    contract:
      enforced: true
    columns:
      - name: customer_id
        data_type: string
      - name: total_revenue
        data_type: numeric
      - name: report_date
        data_type: date

Nếu ai đó cố gắng xóa hoặc thay đổi một cột đã được hợp đồng, dbt sẽ báo lỗi, bảo vệ các model và dashboard phụ thuộc.

Kết luận

dbt Cloud mở rộng chức năng của dbt Core bằng cách cung cấp một nền tảng quản lý end-to-end cho kỹ thuật phân tích.

Xuyên suốt hướng dẫn này, chúng ta đã khám phá cách nó tập trung hóa phát triển thông qua Studio IDE, xử lý điều phối và hỗ trợ các công cụ mới như dbt Mesh và Semantic Layer.

Bằng cách tích hợp những công cụ này vào một nền tảng duy nhất, dbt Cloud cho phép các nhóm xử lý toàn bộ vòng đời dữ liệu, từ ingest đến tài liệu hóa, mà không cần quản lý hạ tầng nền.

Nếu bạn muốn trải nghiệm thực hành với dbt, lộ trình kỹ năng dbt Fundamentals của chúng tôi cung cấp cách thực tiễn để bắt đầu xây dựng dự án đầu tiên.