Hướng dẫn toàn diện về Databricks Lakehouse AI dành cho Nhà khoa học Dữ liệu

Databricks là một trong những đơn vị tiên phong xây dựng công nghệ và nền tảng giúp triển khai các giải pháp AI ở quy mô lớn, bao gồm dẫn dắt các dự án nguồn mở như Apache Spark và MLflow.

Tại Data + AI Summit 2023 của Databricks, Lakehouse AI đã được công bố là nền tảng AI đầu tiên trên thế giới, được tích hợp ngay trong lớp dữ liệu — đồng thời nhiều tính năng mới khác cũng được giới thiệu. Với sự ra mắt của ChatGPT và những bước nhảy vọt của công nghệ AI tạo sinh trên toàn thế giới, Lakehouse AI là câu trả lời của Databricks cho việc xây dựng ứng dụng AI tạo sinh theo hướng lấy dữ liệu làm trung tâm.

Trong hướng dẫn này, chúng ta sẽ giới thiệu nền tảng Databricks Lakehouse AI, bàn về ý nghĩa của nó, tìm hiểu các tính năng mới được ra mắt và cách tận dụng chúng trong vòng đời phát triển machine learning.

Databricks Lakehouse AI là gì?

Khoan đã, Lakehouse là gì? Chúng tôi hiểu đây có thể là những thuật ngữ còn mới với bạn.

Hãy cùng phân tích quá trình hình thành của Databricks Lakehouse AI theo từng bước. Để hiểu Lakehouse AI — trước hết chúng ta cần nắm rõ kiến trúc Lakehouse.

Lakehouse là gì?

“Lakehouse” là một kiến trúc quản trị dữ liệu hiện đại, kết hợp tính linh hoạt và hiệu quả chi phí của data lake với các tính năng quản lý dữ liệu của data warehouse.

Chúng tôi có một hướng dẫn đầy đủ về sự khác nhau giữa data lake và data warehouse. Tóm lược như sau:

• Data Lake: Kho lưu trữ có thể chứa lượng lớn dữ liệu thô ở định dạng gốc cho đến khi cần dùng. Nó giống như một thùng chứa lớn nơi chúng ta đổ vào mọi loại dữ liệu, dù có cấu trúc (như bảng trong cơ sở dữ liệu) hay không có cấu trúc (như văn bản hoặc hình ảnh), mà không cần sắp xếp trước.

Kiến trúc data lake (Nguồn)

• Data Warehouse: Hệ thống dùng cho báo cáo và phân tích dữ liệu, trong đó dữ liệu được cấu trúc, xử lý và lưu trữ để dễ truy vấn và phân tích. Nó giống như một thư viện nơi sách được sắp xếp và lập mục lục ngăn nắp để dễ tìm.

Kiến trúc data warehouse (Nguồn)

Data lake thường gặp khó khăn trong quản trị và quản lý dữ liệu do đặc thù lưu trữ lượng lớn dữ liệu thô, không có cấu trúc, dễ biến thành “đầm lầy dữ liệu” nơi dữ liệu khó tìm, khó truy cập hoặc khó tin cậy. Thiếu cấu trúc cũng có thể cản trở hiệu năng của các truy vấn phân tích phức tạp, và các data lake truyền thống thường không hỗ trợ tốt các thao tác dữ liệu giao dịch, thiếu khả năng giao dịch ACID vốn rất quan trọng để đảm bảo tính toàn vẹn dữ liệu.

Ngược lại, data warehouse được tối ưu cho dữ liệu có cấu trúc và phân tích, nhưng chi phí có thể tăng cao khi dữ liệu phình to. Yêu cầu cấu trúc và xử lý dữ liệu theo lược đồ định sẵn có thể tạo ra sự cứng nhắc, hạn chế khả năng nhanh chóng nạp và phân tích các loại dữ liệu mới.

Những hạn chế này đã thúc đẩy sự ra đời của kiến trúc Lakehouse, nhằm dung hòa ưu điểm của cả hai:

• Cho phép lưu trữ khối lượng lớn dữ liệu thô với chi phí thấp (như data lake).
• Cung cấp khả năng thực hiện phân tích phức tạp hiệu quả và quản trị dữ liệu với tính tin cậy cao (như data warehouse).

Kiến trúc lakehouse trông như sau:

Kiến trúc data lakehouse (Nguồn)

Giờ đây khi đã hiểu quá trình phát triển của Databricks Lakehouse, chúng ta đến với câu hỏi cuối cùng.

Lakehouse AI là gì?

Lakehouse AI là việc tích hợp trực tiếp các khả năng trí tuệ nhân tạo và machine learning vào kiến trúc Lakehouse. Nghĩa là chúng ta có thể phát triển, huấn luyện và triển khai mô hình AI ngay trên khối dữ liệu khổng lồ lưu trong data lake mà không cần di chuyển hay sao chép dữ liệu sang môi trường xử lý riêng.

Ý nghĩa của nền tảng này là:

• Truy cập dữ liệu trực tiếp: Mô hình AI có thể được huấn luyện trên bộ dữ liệu toàn diện hơn, từ đó cho ra kết quả có tiềm năng chính xác và sâu sắc hơn.
• Đơn giản hóa kiến trúc: Bằng cách giảm nhu cầu tách rời hệ thống lưu trữ dữ liệu và xử lý AI, độ phức tạp và chi phí quản trị hạ tầng dữ liệu được cắt giảm.
• Thông tin theo thời gian thực: Cho phép xử lý dữ liệu theo thời gian thực cho ứng dụng AI, giúp doanh nghiệp ra quyết định nhanh hơn dựa trên dữ liệu.

Những điểm này lý giải vì sao Databricks giới thiệu đây là nền tảng AI đầu tiên trên thế giới được tích hợp vào lớp dữ liệu.

Các thành phần cốt lõi của Lakehouse AI

Việc chuyển sang Lakehouse AI đã đóng vai trò quan trọng trong việc thúc đẩy doanh nghiệp vận hành dựa trên dữ liệu và tích hợp AI nhiều hơn.

Trung tâm của chuyển đổi này là một số thành phần cốt lõi hỗ trợ phát triển, triển khai và quản trị các mô hình AI và machine learning. Hiểu được vì sao và khi nào cần các thành phần này sẽ giúp tổ chức khai thác dữ liệu hiệu quả hơn cho ứng dụng AI.

Vector Search

Vector Search trong Databricks Lakehouse AI là một bước tiến lớn (cũng được ra mắt tại Data+AI Summit 2023) trong việc xử lý và tìm kiếm qua các tập dữ liệu khổng lồ để phát hiện thông tin tương đồng về ngữ nghĩa, thay vì chỉ dựa vào đối sánh từ khóa truyền thống.

Vector Search hoạt động bằng cách chuyển đổi dữ liệu và truy vấn thành các vector trong không gian nhiều chiều gọi là embeddings, được suy ra từ một mô hình AI tạo sinh. Cách này giúp các từ hoặc khái niệm tương đồng về ngữ nghĩa nằm gần nhau trong không gian n-chiều, cho phép trả về kết quả tìm kiếm liên quan và có ngữ cảnh hơn.

Vector search (Ảnh chụp màn hình bởi tác giả)

Quy trình sử dụng Vector Search (video demo của Databricks) như sau:

• Tạo endpoint và chỉ mục cho vector search.
• Nạp các khối dữ liệu làm đầu vào và ánh xạ chúng vào không gian N chiều được biểu diễn bằng vector embedding.
• Lưu các vector này trong cơ sở dữ liệu vector để các thuật toán tìm láng giềng gần nhất có thể tìm vector tương tự một cách nhanh và mở rộng.

Các công ty như Lippert đã sử dụng Vector Search để giúp nhân viên nhanh chóng tìm câu trả lời cho thắc mắc của khách hàng bằng cách nạp nội dung từ nhiều nguồn khác nhau vào Vector Search.

Curated Models

Các mô hình này, có sẵn trong Databricks Marketplace, được tối ưu cho hiệu năng cao và được thiết kế để tích hợp dễ dàng vào môi trường Lakehouse cho nhiều ứng dụng, từ phân tích và tạo văn bản đến xử lý hình ảnh.

Một số mô hình AI tạo sinh được tuyển chọn gồm:

• MPT-7B và Falcon-7B: Lần lượt là các mô hình theo chỉ dẫn và tóm tắt, được thiết kế cho các tác vụ cần hiểu và tạo văn bản giống con người dựa trên hướng dẫn cho trước hoặc tóm tắt tài liệu dài thành bản tóm lược súc tích, giàu thông tin.
• Stable Diffusion: Một mô hình tạo ảnh nổi tiếng nhờ khả năng tạo ra hình ảnh chất lượng cao từ mô tả văn bản, mở ra nhiều ứng dụng sáng tạo và phân tích trong khuôn khổ Lakehouse AI. Xem hướng dẫn Stable Diffusion để tìm hiểu thêm.

Các mô hình có sẵn trong Databricks Marketplace (Ảnh chụp màn hình bởi tác giả)

Các mô hình này được thiết kế để hoạt động liền mạch với bộ tính năng rộng hơn của Databricks Lakehouse AI, bao gồm quản lý dữ liệu, phân tích và công cụ MLOps. Chúng ta sẽ sớm xem cách dùng chúng trong phát triển machine learning.

AutoML

Tính năng AutoML (Automated Machine Learning) trong Databricks Lakehouse AI được thiết kế để hợp lý hóa và tự động hóa quá trình phát triển mô hình machine learning, giúp khoa học dữ liệu nâng cao trở nên dễ tiếp cận hơn với đông đảo người dùng, kể cả những người ít kinh nghiệm về machine learning.

Databrick AutoML (Nguồn)

Khi chúng ta cung cấp bộ dữ liệu và xác định mục tiêu dự đoán, AutoML sẽ lo việc chuẩn bị dữ liệu sẵn sàng để huấn luyện mô hình. Sau đó, AutoML tạo, tinh chỉnh và đánh giá nhiều mô hình qua một loạt thử nghiệm.

Khi đánh giá hoàn tất, AutoML trình bày kết quả và cung cấp một notebook Python chứa mã nguồn cho từng thử nghiệm. Điều này cho phép chúng ta xem, tái lập và chỉnh sửa mã khi cần. AutoML cũng tính toán thống kê tóm tắt về bộ dữ liệu và lưu thông tin này trong một notebook để tham khảo sau.

Với bản ra mắt mới nhất, AutoML hiện hỗ trợ tinh chỉnh các mô hình AI tạo sinh cho phân loại văn bản và các mô hình embedding với dữ liệu riêng của khách hàng. Điều này có nghĩa là người dùng doanh nghiệp không chuyên kỹ thuật cũng có thể dùng AutoML để xây dựng ứng dụng AI tạo sinh chỉ với vài cú nhấp chuột.

Lakehouse Monitoring​

Databricks Lakehouse Monitoring cho phép chúng ta theo dõi các đặc tính thống kê và chất lượng của các bảng dữ liệu, cũng như theo dõi hiệu năng của mô hình machine learning và dự đoán của chúng. Bằng cách quan sát luồng dữ liệu trong pipeline của Databricks, tính năng này giúp đảm bảo việc giám sát liên tục về chất lượng dữ liệu và hiệu quả của mô hình.

Dưới đây là cách dữ liệu luân chuyển qua Lakehouse Monitoring để kích hoạt giám sát liên tục:

Luồng Lakehouse Monitoring (Nguồn)

Không chỉ dừng lại ở giám sát, tính năng này còn cung cấp những thông tin có thể hành động về các khía cạnh như tính toàn vẹn dữ liệu, phân phối dữ liệu, độ trôi và hiệu năng mô hình theo thời gian.

Giờ hãy xem cách tất cả những tính năng này kết hợp lại thành mô hình quản trị hợp nhất trong Lakehouse AI.

Vai trò của quản trị hợp nhất trong Lakehouse AI

Ý tưởng về quản trị hợp nhất là có thể truy cập, kiểm soát, cộng tác, giám sát và hành động trên dữ liệu, mô hình machine learning và các tài sản AI khác ở một nơi. Khi tổ chức phát triển và trưởng thành trong hành trình chuyển đổi AI, khả năng quản lý mọi thứ tập trung là tối quan trọng.

Databricks Unity Catalog làm đúng điều đó, và việc hợp nhất phương pháp quản trị tài sản AI về cơ bản giúp tăng tốc độ ứng dụng AI đồng thời vẫn đảm bảo tuân thủ quy định.

Bên cạnh các tính năng hữu ích như trình khám phá dữ liệu và khả năng thêm hệ thống bên ngoài, điểm nổi bật là có thể quan sát toàn cảnh việc quản trị các tài sản này thông qua một Cổng quản trị Unity Catalog đơn giản như dưới đây:

Cổng quản trị Unity Catalog (Ảnh chụp màn hình bởi tác giả)

Cổng này hiển thị các chỉ số chính như tỷ lệ bảng được quản trị và giám sát, số người dùng hoạt động, số lượng bảng, volume và mô hình ML. Cái nhìn tổng quan này giúp nhanh chóng đánh giá trạng thái quản trị và mức độ tương tác với tài sản dữ liệu.

Bảng điều khiển cũng cho thấy mức độ hoạt động của người dùng theo thời gian, hỗ trợ hiểu cách tài sản dữ liệu được sử dụng trong tổ chức và xác định nút thắt cổ chai hoặc nhu cầu đào tạo.

Ngoài ra, cổng còn liệt kê các rủi ro quản trị tiềm ẩn bằng cách xác định các vấn đề như bảng chưa được giám sát hoặc cột bắt nguồn từ PII (Thông tin nhận dạng cá nhân), cung cấp cách tiếp cận chủ động để quản lý dữ liệu an toàn, như minh họa dưới đây.

Giao diện hạng mục hành động quản trị trên bảng điều khiển Unity Catalog (Ảnh chụp màn hình bởi tác giả)

Mỗi vấn đề được xác định đều đi kèm hành động khuyến nghị, hướng dẫn người dùng giải quyết các mối quan ngại về quản trị. Tính năng này đơn giản hóa và hợp nhất quá trình vốn phức tạp khi quản trị tài sản AI và dữ liệu trên toàn nền tảng.

Khi đã hiểu các tính năng và cách chúng kết hợp, hãy đi sâu vào ứng dụng của nền tảng cho phát triển machine learning đầu cuối.

Phát triển Machine Learning đầu cuối trên Databricks Lakehouse AI

Để ôn lại vòng đời phát triển machine learning, chúng tôi khuyến nghị bạn xem hướng dẫn chuyên sâu. Trong phần này, chúng ta sẽ hiểu cách các tính năng của Databricks Lakehouse AI khớp vào vòng đời đó.

Phát triển Machine Learning đầu cuối (Nguồn)

1. Chuẩn bị dữ liệu & kỹ thuật đặc trưng

Nền tảng của machine learning trong Databricks Lakehouse AI là khả năng huấn luyện và xây dựng mô hình hiệu quả.

Chúng ta có thể sử dụng ML runtime của Databricks đi kèm các gói phổ biến như pandas và PySpark để chuẩn bị và làm sạch dữ liệu. Databricks Feature Store là một kho tập trung trong Nền tảng Databricks Lakehouse AI — được thiết kế để lưu trữ, chia sẻ và quản lý các đặc trưng (feature) machine learning.

Feature Store đảm bảo các đặc trưng dùng để huấn luyện mô hình nhất quán với đặc trưng dùng khi suy luận trong môi trường sản xuất. Chúng ta cũng không phải lãng phí tài nguyên tính toán bằng cách tính lại đặc trưng lặp đi lặp lại cho các trường hợp sử dụng khác nhau.

Chức năng của feature store (Nguồn)

Bằng cách tập trung hóa định nghĩa và lưu trữ đặc trưng, nó loại bỏ vấn đề phổ biến “lệch giữa huấn luyện và phục vụ”, khi dữ liệu dùng để huấn luyện khác với dữ liệu mô hình gặp trong môi trường thực tế.

2. Kỹ thuật mô hình

Đối với phát triển mô hình, chúng ta có thể linh hoạt chọn từ các mô hình được tuyển chọn sẵn trong môi trường Databricks hoặc tự huấn luyện mô hình tùy chỉnh phù hợp với dữ liệu và yêu cầu kinh doanh cụ thể.

• Tận dụng mô hình sẵn có: Như đã thấy, chúng ta có thể chọn bất kỳ mô hình nào đã được huấn luyện trên tập dữ liệu lớn từ marketplace của Databricks. Các mô hình đi kèm notebook mẫu, nên chúng ta không phải băn khoăn cách sử dụng.
• Huấn luyện mô hình mới: Để xây dựng giải pháp riêng, chúng ta có thể dùng ML runtime đi kèm các framework và ngôn ngữ machine learning, gồm TensorFlow, PyTorch, và Scikit-learn, v.v. Quá trình huấn luyện được tăng cường nhờ notebook cộng tác của Databricks, cung cấp môi trường tương tác nơi nhà khoa học dữ liệu có thể viết mã, phân tích dữ liệu và chia sẻ kết quả.

Databricks cũng có các cụm GPU tối ưu, giúp việc huấn luyện (và suy luận) diễn ra nhanh hơn và ở quy mô lớn, điều này thường then chốt khi cần thông tin theo thời gian thực, dự đoán và gợi ý ở quy mô.

3. Đánh giá mô hình và thực nghiệm

Databricks đã phát triển công cụ nguồn mở MLflow, được tích hợp sẵn trong nền tảng Databricks, giúp đơn giản hóa quá trình theo dõi thí nghiệm, đóng gói mã thành các lần chạy có thể tái lập và chia sẻ phát hiện.

Ví dụ một thí nghiệm MLflow (Ảnh chụp màn hình bởi tác giả)

Các bước xây dựng khung thực nghiệm như sau:

• Cài đặt MLflow và thiết lập tracking URI
• Tạo một thí nghiệm (experiment)
• Bắt đầu một lần chạy MLflow, và log tham số, chỉ số và artifact
• Tạo nhiều lần chạy trong cùng thí nghiệm để tinh chỉnh siêu tham số và các cải tiến khác
• Xem lại kết quả các lần chạy trong thí nghiệm
• Chọn mô hình tốt nhất và chuyển sang sản xuất

Sau khi khung được thiết lập, chúng ta có thể lặp nhanh để sớm tìm ra mô hình tốt nhất.

4. Triển khai mô hình & MLOps

Model Serving, một tính năng khác trong Databricks Lakehouse AI, giúp đơn giản hóa việc chuyển mô hình machine learning từ giai đoạn phát triển sang trạng thái sẵn sàng sản xuất.

Tính năng này cho phép triển khai mô hình dưới dạng endpoint RESTful, có thể dễ dàng tích hợp vào nhiều ứng dụng và dịch vụ để dự đoán thời gian thực hoặc suy luận theo lô.

Model Serving endpoints (Nguồn)

Khi mô hình đã được huấn luyện, nhà khoa học dữ liệu có thể triển khai chỉ với vài cú nhấp chuột mà không cần nhiều thiết lập hay chuyên môn DevOps. Cách thực hiện như sau:

• Ghi log các mô hình đã phát triển vào model registry (một tính năng trong MLflow)
• Dùng Serving UI để tạo endpoint cho mô hình đã chọn
• Gửi truy vấn tới endpoint đã tạo

Chúng tôi khuyến nghị bạn xem các ví dụ hướng dẫn chi tiết từ Databricks để thực hiện các bước này dễ dàng. Sự tiện lợi khi triển khai là tối quan trọng trong các quy trình dữ liệu hiện đại, nơi khả năng lặp nhanh và triển khai mô hình có thể mang lại giá trị kinh doanh đáng kể.

5. Giám sát và đánh giá

Khi mô hình machine learning được triển khai vào sản xuất, giai đoạn cuối cùng nhưng quan trọng trong vòng đời AI là giám sát và đánh giá. Giai đoạn này bao gồm theo dõi liên tục hiệu năng của mô hình để đảm bảo nó luôn hiệu quả và chính xác theo thời gian.

Databricks Lakehouse AI hỗ trợ điều này thông qua Lakehouse Monitoring và Inference Tables, những công cụ thiết yếu để duy trì sức khỏe và hiệu lực của hệ thống AI. Vì chúng ta đã xem các tính năng của Lakehouse Monitoring trước đó, phần này sẽ tập trung vào inference table.

Nói đơn giản, Inference Table là một tính năng bổ sung, bạn cần bật bằng một ô chọn, cho phép ghi lại dữ liệu đầu vào và dự đoán tương ứng từ các Model Serving endpoint vào một bảng delta, vốn là một phần của Unity Catalog.

Cơ chế ghi log này mang lại nhiều lợi ích:

• Phát hiện độ trôi mô hình: Theo thời gian, dữ liệu mà mô hình gặp trong sản xuất có thể dần khác so với dữ liệu dùng để huấn luyện. Inference Table giúp phát hiện độ trôi này bằng cách cho phép nhóm liên tục theo dõi đặc điểm của dữ liệu đến và so sánh với tập huấn luyện. Điều này hoạt động cùng với bảng điều khiển Lakehouse Monitoring.
• Hỗ trợ gỡ lỗi và tìm nguyên nhân gốc: Khi dự đoán của mô hình không như mong đợi, Inference Table cung cấp dữ liệu chi tiết cần thiết để hiểu điều gì đã sai. Bằng cách xem xét đầu vào cụ thể dẫn đến kết quả kém hoặc bất thường, nhà khoa học dữ liệu có thể gỡ lỗi và tinh chỉnh mô hình hiệu quả hơn.
• Tuân thủ quy định và kiểm toán: Với các ngành cần tuân thủ chặt chẽ và quy trình kiểm toán, như tài chính hoặc y tế, Inference Table cung cấp bản ghi minh bạch về quá trình ra quyết định của mô hình. Điều này rất quan trọng để giải trình với các bên liên quan hoặc cơ quan quản lý.

Quy trình phát triển machine learning mang tính chu kỳ, nghĩa là chúng ta lấy phản hồi từ phiên bản triển khai đầu tiên để tinh chỉnh, huấn luyện lại và xây dựng các mô hình chính xác, hiệu quả hơn, quay trở lại bước đầu tiên.

Kết luận

Hướng dẫn này đã giới thiệu quá trình phát triển của Databricks Lakehouse AI và các tính năng cốt lõi. Chúng ta cũng đã xem cách các tính năng này kết hợp trong một mô hình quản trị hợp nhất. Tiếp đó, chúng ta phân tích và hiểu cách dẫn dắt qua vòng đời machine learning đầu cuối bằng nền tảng Databricks Lakehouse AI.

Để tìm hiểu thêm về Databricks Lakehouse và ứng dụng của nó trong kỹ thuật dữ liệu, phát triển machine learning, và xây dựng ứng dụng quy mô lớn theo cách thực hành, chúng tôi khuyến nghị bạn xem khóa học Giới thiệu về Databricks như bước tiếp theo.