Khóa học
Tìm hiểu Data Engineering
2 giờ
378K
Data contract là xương sống của chất lượng dữ liệu và khả năng mở rộng đối với các giải pháp dữ liệu phân tán. Chúng quy định định dạng, schema và các giao thức chi phối việc trao đổi giữa các thực thể trong cơ sở dữ liệu. Những thỏa thuận chính thức này loại bỏ sự mơ hồ và các giả định không được tài liệu hóa về dữ liệu.
Trong bài viết này, tôi sẽ làm rõ khái niệm data contract bằng cách giới thiệu cả kỹ thuật nền tảng lẫn nâng cao để hỗ trợ triển khai hiệu quả.
Tìm hiểu về Data Contract
Một data contract đơn lẻ mô tả chính xác các tham số cho việc trao đổi dữ liệu giữa hai mô hình. Những thỏa thuận chính thức này đảm bảo không còn mơ hồ về định dạng và schema của dữ liệu.
Định nghĩa và xác thực data contract đóng vai trò then chốt cho hợp tác hiệu quả giữa các nhóm.
Tóm lại, data contract là thỏa thuận chính thức giữa quy trình làm thay đổi trạng thái gốc của dữ liệu (bên sản xuất) và các đích đến (bên tiêu thụ). Nó rất giống cách vận hành của hợp đồng kinh doanh: thể hiện nghĩa vụ giữa nhà cung cấp và người tiêu dùng của một sản phẩm kinh doanh. Data contract làm điều tương tự với sản phẩm dữ liệu, như bảng, view, mô hình dữ liệu, v.v.
Mục tiêu là giảm gián đoạn hạ lưu trong pipeline dữ liệu và khiến các phép biến đổi dữ liệu ổn định, đáng tin cậy.
Các thành phần chính của một data contract gồm schema (cột và định dạng), phần lớp ngữ nghĩa (chỉ số, phép tính và ràng buộc), thỏa thuận mức dịch vụ (SLA) và quản trị dữ liệu.
Lợi ích của data contract bao gồm:
- Tự động hóa và kiểm tra chất lượng dữ liệu khi tạo mới hoặc cập nhật đầu ra dữ liệu.
- Kích hoạt khả năng mở rộng hiệu quả, đặc biệt với kiến trúc dữ liệu phân tán, ví dụ data mesh.
- Cải thiện vòng đời phát triển dữ liệu với trọng tâm là xây dựng công cụ xác thực hợp đồng.
- Thúc đẩy hợp tác thông qua phản hồi giữa bên sản xuất và bên tiêu thụ dữ liệu.
Data contract. Hình do tác giả cung cấp.
Ví dụ data contract với dbt
Trong một data contract, schema định nghĩa tên thuộc tính, kiểu dữ liệu và thuộc tính có bắt buộc hay không. Chúng cũng có thể quy định định dạng, độ dài và phạm vi giá trị chấp nhận được cho các cột.
Hãy xét một schema mô hình dbt được định nghĩa như sau trong tệp YAML. Schema bảng của chúng ta được khai báo dưới columns:
models:
- name: dim_orders
config:
materialized: table
contract:
enforced: true
columns:
- name: order_id
data_type: int
constraints:
- type: not_null
- name: order_type
data_type: stringGiờ hãy giả sử chúng ta định nghĩa mô hình dim_orders như sau:
select
'abc123' as order_id,
'Some order type' as order_typeKhai báo contract với enforced: true trong định nghĩa mô hình sẽ kích hoạt lỗi sau nếu ta cố materialize dim_orders thành một bảng trên nền tảng dữ liệu:
20:53:45 Compilation Error in model dim_customers (models/dim_orders.sql)
20:53:45 This model has an enforced contract that failed.
20:53:45 Please ensure the name, data_type, and number of columns in your contract match the columns in your model's definition.
20:53:45
20:53:45 | column_name | definition_type | contract_type | mismatch_reason |
20:53:45 | ----------- | --------------- | ------------- | ------------------ |
20:53:45 | order_id | TEXT | INT | data type mismatch |
20:53:45
20:53:45
20:53:45 > in macro assert_columns_equivalent (macros/materializations/models/table/columns_spec_ddl.sql)Tình huống tương tự cũng sẽ xảy ra với các cột thừa, kiểm tra SLA và metadata bị thiếu, nếu chúng ta lựa chọn định nghĩa chúng.
Một ví dụ dbt nâng cao hơn sẽ bao gồm các ràng buộc mô hình được cưỡng chế:
# models/schema.yaml
models:
- name: orders
# required
config:
contract:
enforced: true
# model-level constraints
constraints:
- type: primary_key
columns: [id]
- type: FOREIGN_KEY # multi_column
columns: [order_type, SECOND_COLUMN, ...]
expression: "OTHER_MODEL_SCHEMA.OTHER_MODEL_NAME (OTHER_MODEL_FIRST_COLUMN, OTHER_MODEL_SECOND_COLUMN, ...)"
- type: check
columns: [FIRST_COLUMN, SECOND_COLUMN, ...]
expression: "FIRST_COLUMN != SECOND_COLUMN"
name: HUMAN_FRIENDLY_NAME
- type: ...
columns:
- name: FIRST_COLUMN
data_type: DATA_TYPE
# column-level constraints
constraints:
- type: not_null
- type: unique
- type: foreign_key
expression: OTHER_MODEL_SCHEMA.OTHER_MODEL_NAME (OTHER_MODEL_COLUMN)
- type: …Cung cấp định nghĩa schema dưới dạng tập luật và ràng buộc áp dụng cho các cột của một tập dữ liệu mang lại thông tin rất quan trọng cho xử lý và phân tích dữ liệu.
Schema có xu hướng thay đổi theo thời gian.
Đây là kịch bản thường gặp. Hãy tưởng tượng bảng nguồn của chúng ta thêm một cột đã được hợp đồng hóa:
select
'abc123' as order_id,
'Some order type' as order_type,
'USD' as currencyĐiều cốt yếu là phải cân nhắc thay đổi schema khi thực hiện cập nhật tăng dần, nếu không đầu ra của mô hình tăng dần ở hạ lưu sẽ làm mất hiệu lực hợp đồng.
Có thể giải quyết bằng cách thêm on_schema_change: append vào chiến lược incremental của dbt.
Xác thực schema có thể tường minh hoặc ngầm định.
Một số định dạng tệp big data như AVRO và Parquet hỗ trợ schema tích hợp và định nghĩa schema ngầm định theo mặc định, nên không cần xác thực ngoài bổ sung.
Ngược lại, các định dạng tệp không schema như JSON cần xác thực schema bên ngoài. Một số thư viện Python như pydantic hoặc một @dataclass đơn giản có thể thực hiện việc này:
from pydantic import BaseModel
class ConnectionDataRecord(BaseModel):
user: str
ts: int
record = ConnectionDataRecord(user="user1", ts=123456789)Nếu chúng ta phá vỡ quy tắc và gán các giá trị không khớp tiêu chí, ngoại lệ sẽ được ném ra. Ví dụ, sẽ xảy ra ngoại lệ nếu ta thử gọi ConnectionDataRecord('', 1).
Data contract khác gì so với xác thực và kiểm thử dữ liệu?
Có thể dùng data contract trong pipeline dữ liệu streaming thời gian thực không?
Xử lý versioning trong data contract như thế nào khi schema thay đổi thường xuyên?
Data contract đóng vai trò gì trong kiến trúc data mesh?
Data contract giúp tuân thủ các quy định bảo mật như GDPR hoặc HIPAA như thế nào?
Chủ đề
