Delta Lake: Giới thiệu thực tiễn với các ví dụ thực hành

Thiết lập Delta Lake

Hãy bắt tay vào thiết lập Delta Lake! Tôi sẽ chia thành hai bước đơn giản:

Bước 1: Cài đặt Apache Spark và Delta Lake

Để bắt đầu, hãy đảm bảo bạn có môi trường Apache Spark. Sau đó cài đặt

gói Delta Lake (nếu dùng Python) với lệnh sau:

pip install pyspark delta-sparkĐược hỗ trợ bởi

Lệnh trên cài đặt gói delta-spark, trang bị cho phiên Spark của bạn các tích hợp cần thiết với Delta Lake.

Bước 2: Cấu hình Delta Lake với Spark

Sau khi cài đặt gói, hãy cấu hình phiên Spark để sử dụng Delta Lake với

các thiết lập sau:

from pyspark.sql import SparkSession

# Initialize a SparkSession with Delta support
spark = SparkSession.builder \
    .appName("DeltaLakePractice") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# Check if Spark is working
print("Spark Session Created Successfully!")Được hỗ trợ bởi

Tại đây, phiên Spark được thiết lập với hai cấu hình trọng yếu. Cấu hình đầu kích hoạt 

các phần mở rộng SQL của Delta Lake và cấu hình thứ hai đặt Delta Lake làm 

catalog mặc định, đảm bảo dữ liệu định dạng Delta của bạn được xử lý đúng.

Những điều cơ bản về Delta Lake

Giờ hãy đi vào những điều cơ bản. Delta Lake cho phép bạn tạo các bảng tuân thủ ACID bằng API DataFrame đơn giản.

Bước 1: Tạo bảng Delta

Tạo một bảng Delta bằng cách ghi một DataFrame theo định dạng Delta:

# Sample DataFrame creation
data = [("Alice", 34), ("Bob", 45), ("Cathy", 29)]
columns = ["name", "age"]
df = spark.createDataFrame(data, columns)

# Save the DataFrame as a Delta table (overwrite mode replaces any existing data)
df.write.format("delta").mode("overwrite").save("/path/to/delta/table")Được hỗ trợ bởi

Đoạn mã trên tạo một DataFrame cơ bản và ghi nó vào đường dẫn chỉ định với định dạng Delta. Dùng mode("overwrite") đảm bảo mọi dữ liệu hiện có sẽ được thay thế.

Bước 2: Đọc từ bảng Delta 

Khi đã tạo bảng Delta, hãy đọc dữ liệu như sau:

# Load the Delta table from a specified path
delta_df = spark.read.format("delta").load("/path/to/delta/table")
delta_df.show()Được hỗ trợ bởi

Đoạn mã trên tải bảng Delta vào một DataFrame và hiển thị nội dung bằng phương thức show(), xác nhận dữ liệu đã được đọc chính xác.

Bước 3: Ghi vào bảng Delta (thêm và ghi đè)

Delta Lake hỗ trợ nhiều chế độ ghi, cho phép bạn thêm bản ghi mới (append) theo cách tăng dần hoặc thay thế dữ liệu hiện có (overwrite) trong khi vẫn duy trì đảm bảo ACID.

Thêm dữ liệu (append)

Thêm dữ liệu mới vào một bảng Delta hiện có:

# New data to append
new_data = [("David", 40)]
new_df = spark.createDataFrame(new_data, columns)

# Append data to the existing Delta table
new_df.write.format("delta").mode("append").save("/path/to/delta/table")Được hỗ trợ bởi

Chế độ "append" được dùng để thêm hàng mới vào bảng mà không ảnh hưởng dữ liệu hiện có.

Ghi đè dữ liệu (overwrite)

Ghi đè toàn bộ bảng Delta bằng dữ liệu đã cập nhật:

# Updated data for overwrite
updated_data = [("Alice", 35), ("Bob", 46), ("Cathy", 30)]
updated_df = spark.createDataFrame(updated_data, columns)

# Overwrite the current contents of the Delta table
updated_df.write.format("delta").mode("overwrite").save("/path/to/delta/table")Được hỗ trợ bởi

Sử dụng chế độ "overwrite" sẽ thay thế hoàn toàn nội dung của bảng Delta bằng DataFrame mới đã cập nhật.

Các tính năng nâng cao của Delta Lake

Phần này đề cập đến một số chức năng mạnh mẽ của Delta Lake vượt ra ngoài các thao tác cơ bản. 

Cụ thể, chúng ta sẽ khám phá cách bạn có thể nhìn lại các phiên bản dữ liệu trước đó, tự động quản lý thay đổi lược đồ và thực hiện các giao dịch đa thao tác một cách nguyên tử.

Du hành thời gian (truy vấn các phiên bản dữ liệu cũ)

Tính năng du hành thời gian của Delta Lake cho phép bạn truy cập các phiên bản trước của bảng. Mỗi thao tác ghi trên bảng Delta tạo ra một phiên bản mới để bạn có thể truy vấn trạng thái dữ liệu trước đó. Tôi đã dùng tính năng này để kiểm toán thay đổi dữ liệu, gỡ lỗi hoặc khôi phục ảnh chụp trước đó nếu có sự cố.

# Querying an earlier version (version 0) of the Delta table:
historical_df = spark.read.format("delta") \
    .option("versionAsOf", 0) \
    .load("/path/to/delta/table")
historical_df.show()Được hỗ trợ bởi

Tiến hóa và thực thi lược đồ

Khi tập dữ liệu phát triển, có thể thêm các cột mới. Delta Lake có thể tự động tiến hóa lược đồ, gộp các trường mới vào một bảng hiện có đồng thời thực thi tính nhất quán. Điều này có nghĩa bạn không phải tạo lại hoặc điều chỉnh thủ công bảng mỗi khi cấu trúc dữ liệu thay đổi.

Hãy thêm dữ liệu với lược đồ đã cập nhật bằng tiến hóa lược đồ tự động:

# Create a DataFrame with an additional "country" column:
new_data = [("Alice", 34, "USA"), ("Bob", 45, "Canada")]
columns = ["name", "age", "country"]
new_df = spark.createDataFrame(new_data, columns)

# Append the new data to the Delta table with schema evolution enabled:
new_df.write.format("delta") \
    .mode("append") \
    .option("mergeSchema", "true") \
    .save("/path/to/delta/table")Được hỗ trợ bởi

Ở đây, DataFrame new_df chứa một cột bổ sung, country. Bằng cách option("mergeSchema", "true"), công cụ Delta Lake sẽ tự động cập nhật lược đồ của bảng để chứa cột mới trong khi thêm dữ liệu một cách an toàn!

Giao dịch Delta Lake (ACID)

Các giao dịch ACID của Delta Lake đảm bảo rằng các thao tác phức tạp được thực thi đáng tin cậy — ngay cả khi có mức độ đồng thời cao. Điều này có nghĩa một chuỗi thao tác (như cập nhật và chèn) được coi là một đơn vị duy nhất. Nếu bất kỳ phần nào của giao dịch thất bại, sẽ không áp dụng thay đổi nào, đảm bảo dữ liệu của bạn vẫn nhất quán.

Hãy thực hiện một giao dịch nguyên tử với thao tác MERGE:

-- Execute a MERGE statement in SQL to update or insert data atomically:
MERGE INTO delta./path/to/delta/table AS target
USING (SELECT 'Alice' AS name, 35 AS age, 'USA' AS country) AS source
ON target.name = source.name AND target.country IS NULL
WHEN MATCHED THEN 
   UPDATE SET target.age = source.age, target.country = source.country
WHEN NOT MATCHED THEN 
   INSERT (name, age, country) VALUES (source.name, source.age, source.country)Được hỗ trợ bởi

Trong ví dụ trên, câu lệnh MERGE tìm các hàng trong bảng đích nơi tên trùng khớp và trường country bằng NULL. Nếu tìm thấy, nó sẽ cập nhật hàng đó; nếu không, nó sẽ chèn một bản ghi mới. 

Lưu ý rằng dù trong bảng có thể đã có một hàng cho “Alice”, điều kiện target.country IS NULL có thể khiến thao tác chèn hàng mới thay vì cập nhật hàng có trường country khác NULL. Ví dụ này cho thấy tầm quan trọng của việc xác định tiêu chí khớp cẩn trọng trong các giao dịch.

Thực hành tốt khi sử dụng Delta Lake

Dưới đây là những thực hành tốt tôi áp dụng khi làm việc với Delta Lake. Chúng có thể giúp bạn xây dựng pipeline dữ liệu hiệu quả và dễ bảo trì.

Phân vùng dữ liệu hiệu quả

Phân vùng các bảng Delta có thể cải thiện đáng kể hiệu năng truy vấn khi làm việc với tập dữ liệu lớn.  

Mẹo: Khi ghi DataFrame, hãy dùng tùy chọn .partitionBy("column_name") để chia dữ liệu thành các phần nhỏ, dễ quản lý hơn (ví dụ theo ngày hoặc danh mục). Cách tiếp cận này giảm lượng dữ liệu phải quét trong các truy vấn điển hình.

Quản lý siêu dữ liệu với Delta Lake

Delta Lake sử dụng nhật ký giao dịch (_delta_log) để duy trì siêu dữ liệu cho mọi thao tác trên bảng của bạn. 

Mẹo: Lên lịch bảo trì định kỳ (chẳng hạn lệnh VACUUM) để loại bỏ tệp dữ liệu lỗi thời và tinh gọn siêu dữ liệu. Điều này giúp truy vấn nhanh hơn và quản lý tập dữ liệu lớn dễ dàng hơn.

Tối ưu hiệu năng với Z-ordering

Z-ordering là kỹ thuật gom cụm dữ liệu sắp xếp dữ liệu trên đĩa để cải thiện hiệu quả truy vấn, đặc biệt khi lọc theo các cột cụ thể:

OPTIMIZE delta./path/to/delta/table
ZORDER BY (name, age);Được hỗ trợ bởi

Lệnh SQL trên yêu cầu Delta Lake sắp xếp lại dữ liệu vật lý dựa trên các cột name và age. Bằng cách đặt các giá trị tương tự gần nhau, các truy vấn lọc theo những cột này sẽ quét ít dữ liệu hơn và chạy nhanh hơn.

Khắc phục sự cố và gỡ lỗi Delta Lake

Khi làm việc với Delta Lake, đôi khi bạn có thể gặp trở ngại. Điều quan trọng là xem những thách thức này như cơ hội để hiểu sâu hơn và làm chủ công nghệ. Dưới đây là một số góc nhìn thực tiễn và mẹo của tôi để giúp bạn quay lại đúng hướng.

Lỗi phổ biến và cách khắc phục

Bạn có thể gặp các vấn đề như sai lệch lược đồ hoặc không khớp phân vùng. Ví dụ, nếu dữ liệu đầu vào không khớp với lược đồ bảng, bạn có thể gặp lỗi khi ghi. Hãy cân nhắc sử dụng các tùy chọn như mergeSchema để cho phép Delta Lake điều chỉnh. 

Ngoài ra, nếu hiệu năng truy vấn giảm, hãy kiểm tra liệu dữ liệu đã được phân vùng tối ưu hay chưa, hoặc lệnh bảo trì như VACUUM có thể giúp loại bỏ tệp lỗi thời.

Gỡ lỗi các thao tác trên bảng Delta 

Khi mọi thứ không hoạt động như mong đợi, đừng lo — đó là một phần của quá trình! Bước đầu tiên tuyệt vời là kiểm tra nhật ký giao dịch (nằm trong thư mục _delta_log). Nhật ký này cung cấp lịch sử giao dịch chi tiết và có thể giúp bạn xác định thời điểm và nơi vấn đề phát sinh. 

Ngoài ra, nếu bạn nhận thấy sự không nhất quán hoặc thay đổi bất ngờ, hãy thử dùng du hành thời gian để so sánh các phiên bản bảng khác nhau. Cách này sẽ giúp bạn cô lập vấn đề và hiểu chuỗi sự kiện dẫn đến lỗi.

Kết luận

Delta Lake mang lại nhiều lợi thế — từ giao dịch ACID vững chắc và quản lý siêu dữ liệu hiệu quả đến các tính năng như du hành thời gian và tiến hóa lược đồ — giúp bạn xây dựng pipeline dữ liệu bền bỉ và có khả năng mở rộng. Việc tích hợp với Apache Spark có nghĩa Delta Lake có thể là bổ sung hoàn hảo để tinh gọn quy trình nếu bạn đã đầu tư vào hệ sinh thái Spark.

Đối với những ai muốn đào sâu, tôi khuyến khích bạn khám phá thêm các tài nguyên trên DataCamp:

1. Khái niệm Databricks – Học các nguyên lý cốt lõi đằng sau Databricks và Delta Lake, bao gồm cách chúng nâng cao quy trình xử lý và phân tích dữ liệu.
2. Nền tảng Dữ liệu Lớn với PySpark – Thực hành trực tiếp với Apache Spark và PySpark, nắm vững kỹ thuật xử lý hiệu quả các tập dữ liệu quy mô lớn.
3. Giới thiệu về Kỹ thuật Dữ liệu – Nắm bắt các khái niệm nền tảng của kỹ thuật dữ liệu và xây dựng nền tảng vững chắc để quản lý dữ liệu lớn.
4. Tìm hiểu Kiến trúc Dữ liệu Hiện đại – Khám phá các thực hành tốt và xu hướng hiện nay trong kiến trúc dữ liệu hiện đại, giúp bạn dẫn đầu trong bối cảnh dữ liệu năng động ngày nay.

Chúc bạn học tốt và thành công trên hành trình dữ liệu!