Databricks Genie: Cách Hỏi-Đáp được hỗ trợ AI hoạt động trong Databricks

Databricks Genie hoạt động như một giao diện phân tích hội thoại không cần mã, chuyển các câu hỏi tiếng Anh đơn giản thành truy vấn phân tích, cung cấp insight, trực quan hóa và tóm tắt ngay lập tức.

Hãy hình dung như bạn đang trò chuyện với một chuyên gia dữ liệu, người đưa ra câu trả lời trong vài giây mà không cần viết các truy vấn SQL phức tạp. Trong bài viết này, tôi sẽ cho bạn thấy cách mọi thứ hoạt động.

Nếu bạn còn mới với Databricks, tôi khuyên bạn nên học các khóa Giới thiệu về Databricks và Các khái niệm về Databricks để tìm hiểu các tính năng cốt lõi và ứng dụng của Databricks cũng như có một lộ trình bài bản để bắt đầu học tập. 

Tìm hiểu Databricks Genie

Databricks Genie là một giao diện hội thoại được hỗ trợ bởi AI, đã thay đổi cách người dùng tương tác với dữ liệu trên Databricks Data Intelligence Platform. Ở giao điểm giữa AI, xử lý ngôn ngữ tự nhiên (NLP) và business intelligence (BI), Genie cho phép người dùng đặt câu hỏi bằng ngôn ngữ tự nhiên và nhận câu trả lời chính xác, dựa trên dữ liệu gần như ngay lập tức. Nó cũng thuộc nhóm công cụ ngày càng phát triển như Power BI Copilot, Tableau Ask Data, Amazon QuickSight Q và ThoughtSpot, tất cả đều cho phép bạn đặt câu hỏi bằng ngôn ngữ tự nhiên. Điểm khác biệt của Genie là nó nằm trong hệ sinh thái Databricks, cho phép tích hợp với dữ liệu quy mô lớn và quy trình phân tích với tối thiểu trục trặc.

Một tính năng khác biệt then chốt của Databricks Genie là kiến trúc đa thành phần tiên tiến, xếp chồng nhiều công cụ chuyên biệt để đảm bảo độ chính xác cao và hiểu biết ngữ cảnh. Không như các công cụ BI truyền thống dựa vào bộ dựng truy vấn cứng nhắc hoặc dashboard được định nghĩa sẵn, Genie tích hợp các mô hình xử lý mạnh mẽ trực tiếp với khung dữ liệu và quản trị thống nhất của Databricks. Cách tiếp cận này cho phép Genie diễn giải động các câu hỏi ngôn ngữ tự nhiên, ánh xạ chính xác tới cấu trúc dữ liệu cần thiết và tạo ra các truy vấn SQL chính xác, có thể thực thi trên mọi nguồn dữ liệu của bạn. Từ kinh nghiệm sâu rộng của tôi với SQL, tôi đánh giá cao điều này vì Genie có thể tạo các truy vấn SQL gọn gàng, dễ hiểu và dễ xử lý sự cố.

Các tính năng chính của Databricks Genie

Kiến trúc và công nghệ phía sau Genie

Trước khi xem Genie có thể làm gì, có lẽ bạn đang thắc mắc nó vận hành bên trong thế nào. Dưới đây là kiến trúc và công nghệ đằng sau Genie, được thiết kế cho hiệu năng, tính linh hoạt và độ chính xác.

Hệ thống AI tổng hợp và lợi ích

Genie là một Hệ thống AI tổng hợp, tức là một kiến trúc quản lý nhiều thành phần và công cụ AI chuyên biệt để giải quyết các vấn đề phức tạp. Tài liệu của Databricks mô tả ở mức cao: khi người dùng gửi câu hỏi, Genie phân tích yêu cầu, xác định nguồn dữ liệu liên quan và tạo câu trả lời phù hợp.

• Tác tử phân tích ý định / NLU: Hiểu người dùng đang hỏi gì, như chỉ số, bộ lọc, khoảng thời gian hoặc phép tổng hợp.
• Tác tử lập kế hoạch/điều phối: Chia các câu hỏi nhiều bước hoặc phức hợp thành một kế hoạch thực thi có thứ tự.
• Tác tử truy xuất/neo ngữ cảnh: Tìm các bảng, cột, dashboard và truy vấn trước đó phù hợp để neo yêu cầu.
• Tác tử tạo SQL: Dịch kế hoạch thành SQL đúng cú pháp, được tối ưu.
• Tác tử thực thi và bộ chuyển đổi: Chạy truy vấn trên nguồn dữ liệu đúng và định dạng kết quả thô.
• Tác tử kiểm chứng/giám sát an toàn: Kiểm tra quyền truy cập, phả hệ dữ liệu và đảm bảo kết quả tuân thủ quy tắc quản trị.
• Tác tử tóm tắt/trực quan hóa: Tạo bản tóm tắt thân thiện với người dùng, biểu đồ và bảng.

Hệ thống đa tác tử trong Genie AI rất quan trọng vì mỗi tác tử có thể được tinh chỉnh cho một trường hợp sử dụng riêng. Ngoài ra, có thể thêm các tác tử mới, chẳng hạn chuyên gia không gian địa lý hoặc chuỗi thời gian hay những tác tử khác, mà không cần đại tu toàn bộ hệ thống. Là nhà phát triển, bạn có thể kiểm toán và benchmark từng tác tử riêng biệt.

Kho tri thức ngữ nghĩa được quản trị

Kho tri thức cung cấp cho Genie ngữ cảnh trong nội bộ tổ chức của bạn. Kết quả là các phép dịch từ ngôn ngữ sang truy vấn chính xác hơn. Các thành phần gồm:

• Siêu dữ liệu ngữ nghĩa: Bao gồm tên cột thân thiện, chỉ số chuẩn và định nghĩa nghiệp vụ để hướng dẫn Genie về logic kinh doanh.
• Lấy mẫu giá trị: Các mẫu đại diện nhỏ của nội dung cột để hỗ trợ tác tử truy xuất và bộ tạo SQL chọn mặc định hợp lý và phát hiện bộ lọc phù hợp.
• Từ điển giá trị và danh sách thực thể: Đó là một từ điển ánh xạ các thuật ngữ người dùng sang các giá trị này, đảm bảo đồng nghĩa được ánh xạ chính xác.
• Embeddings/chỉ mục vector: Để khớp mờ và truy xuất ngữ nghĩa các tài liệu, notebook, dashboard và truy vấn trước đó có liên quan.
• Siêu dữ liệu phả hệ và quản trị: Kiểm soát ai có thể truy cập điều gì, nguồn đáng tin cậy và dấu thời gian của lần làm mới gần nhất.

Cách Genie tạo câu trả lời

Quy trình thông thường từ đầu vào người dùng đến phần trình bày cuối cùng trong Genie như sau:

Bước 1: Đầu vào của người dùng (ngôn ngữ tự nhiên)

Người dùng nhập câu hỏi hoặc tải lên tệp (CSV/Excel) và đặt câu hỏi về tệp đó.

Bước 2: Phân tích ý định và chuẩn hóa

Bộ điều phối và Tác tử Ý định phân tích truy vấn. Họ tham chiếu Unity Catalog để xem người dùng có quyền truy cập những bảng và cột nào.

Bước 3: Neo ngữ cảnh (kho tri thức + truy xuất)

Tác tử truy xuất tham chiếu siêu dữ liệu ngữ nghĩa, chỉ mục embedding và lịch sử truy vấn gần đây để ánh xạ các thuật ngữ của người dùng sang các bảng, cột và chỉ số chuẩn cụ thể.

Bước 4: Lập kế hoạch và phân rã

Nếu câu hỏi gồm nhiều bước, bộ lập kế hoạch sẽ chia nhiệm vụ thành các phân nhiệm có thứ tự.

Bước 5: Tạo SQL / truy vấn

Tác tử tạo SQL tạo SQL được tối ưu, có thể kiểm toán (hoặc các cuộc gọi API cho hệ thống khác). Tác tử có thể đề xuất nhiều dạng truy vấn, như tóm tắt so với chi tiết, và chọn phương án tốt nhất dựa trên ước tính chi phí và quyền truy cập.

Bước 6: Kiểm tra quyền và quản trị

Trước khi thực thi, bộ kiểm chứng kiểm tra quyền dựa trên vai trò, nhãn độ nhạy dữ liệu, quy tắc che giấu dữ liệu và yêu cầu kiểm toán để đảm bảo tuân thủ. Nếu người dùng thiếu quyền, hệ thống sẽ từ chối yêu cầu hoặc trả về phương án thay thế đã che giấu/an toàn.

Bước 7: Thực thi và lớp bộ chuyển đổi

Hệ thống thực thi các truy vấn trên nền tính toán phù hợp (kho Databricks SQL, bảng lakehouse, cơ sở dữ liệu bên ngoài hoặc bộ chuyển đổi tệp tải lên). Kết quả được truyền về và lấy mẫu để tăng độ phản hồi.

Bước 8: Hậu xử lý và xác thực

Kết quả được xác thực và nếu có gì đó có vẻ không chính xác, bộ kiểm chứng có thể kích hoạt chạy lại hoặc hỏi người dùng câu hỏi làm rõ.

Bước 9: Tóm tắt, trực quan hóa và giải thích

Bộ tóm tắt tạo các kết luận bằng ngôn ngữ tự nhiên và gợi ý trực quan hóa; tác tử trực quan hóa vẽ biểu đồ, bảng và chuẩn bị các thẻ insight có thể chia sẻ.

Bước 10: Vòng phản hồi và học

Phản hồi của người dùng và nhật ký truy vấn được đưa ngược lại để cải thiện kho tri thức, tinh chỉnh từ đồng nghĩa và huấn luyện lại các tác tử khi cần.

Genie Spaces là gì và cách thiết lập

Genie Spaces là các môi trường được tuyển chọn trong Databricks Genie, xác định dữ liệu, ngữ nghĩa và logic kinh doanh vận hành phân tích hội thoại. Hãy xem Genie Space như một lớp ngữ cảnh, nơi bạn cho Genie biết dùng dữ liệu nào, ý nghĩa của chúng và cách cần được diễn giải.

Tôi sẽ hướng dẫn bạn cách thiết lập Genie Spaces trong Databricks.

Yêu cầu kỹ thuật và thiết lập ban đầu

Trước khi tạo Genie Space, bạn cần đảm bảo các điều kiện tiên quyết về kỹ thuật và quản trị sau:

• Tài nguyên tính toán: Đảm bảo không gian làm việc Databricks của bạn có kho Databricks SQL hoặc cụm tính toán đang hoạt động để thực thi truy vấn.
• Quyền: Bạn sẽ cần các đặc quyền Unity Catalog phù hợp để truy cập và quản lý tập dữ liệu, cũng như quyền quản trị viên hoặc biên tập viên trong Genie.
• Thiết lập quản trị: Không gian làm việc nên đã có theo dõi phả hệ dữ liệu, thẻ phân loại và chính sách truy cập để đảm bảo tuân thủ.

Cho thiết lập ban đầu, bạn có thể dùng các bước này để tạo Genie Space mới qua giao diện Databricks hoặc qua REST API:

• Đi đến mục "Genie Spaces" trong SQL Persona.

• Nhấp "Create Space" và đặt tên, chẳng hạn "Finance Analytics".

• Chọn các bảng và view từ Unity Catalog sẽ thuộc phạm vi của Space này. 

• Lưu và xuất bản Space để các nhóm được cấp quyền sử dụng.

Cấu hình và tuyển chọn space

Sau khi tạo space, bước tiếp theo là tuyển chọn kho tri thức. Bước này sẽ tăng cường Genie Space với chi tiết ngữ nghĩa và ví dụ để cải thiện khả năng diễn giải và trải nghiệm người dùng. Bạn có thể làm như sau:

• Chỉnh sửa siêu dữ liệu cột: Thêm tên dễ hiểu, định nghĩa nghiệp vụ và ghi chú sử dụng để cải thiện khả năng Genie hiểu ý định người dùng.

• Định nghĩa biểu thức SQL: Tạo chỉ số tùy chỉnh, trường tính toán hoặc bí danh như “Net Revenue”.

• Thêm tài sản đáng tin cậy: Bạn cũng có thể liên kết các dashboard, notebook hoặc bảng tham chiếu liên quan làm nguồn dữ liệu đáng tin.
• Thêm truy vấn mẫu: Bao gồm câu hỏi và câu trả lời mẫu để giúp Genie học ngữ cảnh và hướng dẫn người dùng.

Xác định phạm vi và mời chuyên gia miền

Mỗi Genie Space nên có mục đích và đối tượng rõ ràng. Ví dụ, một Space Phân tích Bán hàng có thể tập trung vào pipeline, booking và doanh thu. Tương tự, một Space Insight Khách hàng có thể xoay quanh churn, mức độ gắn kết và dữ liệu NPS. Nếu bạn xác định rõ các space, sẽ tránh nhầm lẫn và cải thiện độ chính xác của câu trả lời.

Cũng quan trọng là mời các chuyên gia miền từ đơn vị kinh doanh đó. Nếu tạo Space Bán hàng, nhà phân tích dữ liệu thiết lập Space nên làm việc trực tiếp với Trưởng bộ phận Bán hàng. Các chuyên gia này cung cấp thuật ngữ nghiệp vụ chính xác, xác thực định nghĩa KPI và quen thuộc với các câu hỏi phổ biến mà đội ngũ của họ cần giải quyết.

Loại hướng dẫn và benchmark

Bạn có thể hướng dẫn Genie theo nhiều cách trong Kho tri thức, mỗi cách phục vụ một mục đích khác nhau:

• Biểu thức SQL: Dạy Genie cách tính các chỉ số hoặc KPI phức tạp.
• Truy vấn ví dụ: Cung cấp các ví dụ cụ thể cho thấy người dùng có thể đặt câu hỏi hiệu quả như thế nào.
• Câu hỏi mẫu: Đưa ra lời nhắc khởi động nhanh hiển thị trong cửa sổ chat của Genie để khuyến khích khám phá.

Để đảm bảo chất lượng nhất quán, hãy luôn kiểm thử và benchmark các câu trả lời của Genie bằng cách chạy tập câu hỏi đại diện trên tất cả các Space. Đồng thời xác thực kết quả về độ chính xác, tính đầy đủ và tuân thủ.

Tương tác người dùng và quản trị

Khi bạn đã cấu hình Genie Space, bạn có thể tương tác thông qua giao diện hội thoại. Tại đây, bạn có thể đặt câu hỏi bằng ngôn ngữ tự nhiên liên quan đến miền của Space. Bạn cũng có thể hỏi tiếp để tinh chỉnh kết quả và gửi phản hồi. Giao diện cho phép bạn xem kết quả ở nhiều định dạng, bao gồm tóm tắt, trực quan hóa và bảng dữ liệu.

Lưu ý rằng Genie tự động thực thi quản trị và quyền truy cập, chỉ hiển thị dữ liệu mà người dùng được phép xem. Quyền dựa trên vai trò, che giấu dữ liệu và khả năng xem phả hệ đảm bảo mọi tương tác đều an toàn và có thể kiểm toán.

Tích hợp, API và các trường hợp sử dụng nâng cao

Databricks Genie cung cấp các đầu cuối API linh hoạt và tùy chọn tích hợp để kết nối phân tích hội thoại với hệ sinh thái rộng hơn của ứng dụng doanh nghiệp, công cụ cộng tác và hệ thống AI. Hãy cùng xem một số tính năng này dưới đây.

Genie Conversation API và tích hợp

Genie Conversation API cho phép nhà phát triển kết nối NLP trực tiếp vào ứng dụng doanh nghiệp, chatbot và hệ thống dữ liệu bên ngoài. API này xử lý các bước cần thiết, gồm xác thực, khởi tạo cuộc hội thoại, kiểm tra trạng thái truy vấn và truy xuất kết quả ở định dạng JSON, giúp dữ liệu dễ phân tích và tích hợp vào nhiều nền tảng.

Genie cũng hỗ trợ tích hợp với các nền tảng cộng tác phổ biến, như tôi đã đề cập trước đó trong bài, bao gồm Slack, Microsoft Teams và sổ tay Databricks. Tôi chắc chắn sẽ sớm có thêm nhiều tích hợp nữa.

Khi triển khai tích hợp bằng Databricks API, hãy lưu ý các giới hạn như số yêu cầu truy vấn đồng thời, giới hạn token và bộ nhớ đệm phản hồi để duy trì độ tin cậy. Để tối ưu tích hợp, hãy dùng gom yêu cầu theo lô, bộ nhớ đệm truy vấn thường gặp và lên lịch khối lượng công việc ngoài giờ cao điểm.

Tính năng nâng cao và hệ thống đa tác tử

Kiến trúc của Genie sử dụng các hệ thống xử lý đa thành phần, cho phép quy trình phân tích phức tạp và tinh vi hơn. Các thiết lập nâng cao này cho phép Genie xử lý các nhiệm vụ phức tạp như trích xuất chủ đề, phân tích cảm xúc và tích hợp insight trên nhiều tập dữ liệu. Kho tri thức ngày càng mở rộng của hệ thống càng tăng cường các khả năng này bằng cách cung cấp định nghĩa phong phú hơn về thuật ngữ kinh doanh và ngữ cảnh dữ liệu rộng hơn nhiều.

Kho tri thức thế hệ tiếp theo và cập nhật sản phẩm

Các cập nhật sản phẩm gần đây tiếp tục mở rộng phạm vi và khả năng sử dụng của Genie. Bao gồm:

• Hỗ trợ tải tệp lên: Người dùng hiện có thể tải trực tiếp tệp CSV hoặc Excel vào cuộc trò chuyện của Genie để khám phá tức thời, linh hoạt.

• Siêu dữ liệu ngữ nghĩa được tăng cường: Genie hiểu và áp dụng ngữ nghĩa kinh doanh từ Unity Catalog và kho tri thức tốt hơn, cải thiện độ chính xác theo ngữ cảnh trong phản hồi.
• Khả năng truy cập đa nền tảng: Trải nghiệm Genie ngày càng nhất quán trên web, notebook và các tích hợp chat, giúp mọi người dùng có trải nghiệm phân tích thống nhất.
• Cải thiện hiệu năng và tối ưu hóa: Tạo SQL nhanh hơn, bộ nhớ đệm tốt hơn và lập kế hoạch truy vấn thông minh hơn giúp giảm độ trễ và tăng khả năng phản hồi.

Đánh giá và cải thiện câu trả lời của Genie

Sau khi bạn đã tạo Genie Space, theo thực hành tốt nhất, bạn nên tiếp tục đánh giá và cải thiện các câu trả lời của Databricks Genie. Dưới đây là một số ý tưởng:

Benchmark và phản hồi

Để kiểm thử độ chính xác, bạn thiết lập benchmark bằng cách dùng các câu hỏi kiểm thử và câu trả lời SQL chính xác, chuẩn. Hệ thống chấm điểm hiệu suất của Genie bằng cách so sánh đầu ra do Genie tạo với kết quả mong đợi của bạn. Các phản hồi sau đó được phân loại là "Tốt" hoặc gửi để "Rà soát thủ công." Quy trình này định lượng chất lượng và độ tin cậy của câu trả lời Genie trên nhiều truy vấn người dùng.

Huấn luyện lặp và đánh giá phản hồi

Genie cho phép người dùng đánh giá câu trả lời, gắn cờ vấn đề và cung cấp làm rõ để phục vụ huấn luyện và tinh chỉnh lặp. Vòng phản hồi này giúp tác giả tinh chỉnh hướng dẫn, truy vấn SQL mẫu và siêu dữ liệu để định hướng diễn giải của Genie tốt hơn. Theo thời gian, các điều chỉnh này cải thiện khả năng AI xử lý đa dạng truy vấn và giảm tỷ lệ lỗi.

Giám sát và công cụ cải tiến liên tục

Databricks cung cấp các công cụ và dashboard giám sát khác nhau để đánh giá sức khỏe vận hành và mức độ tương tác người dùng của Genie. Các công cụ này cho phép quản trị viên theo dõi tỷ lệ truy vấn thành công và thất bại trên các Space. Bạn cũng có thể dùng chúng để xác định các câu hỏi thường gặp và chủ đề nơi Genie gặp khó hoặc đưa ra kết quả thiếu nhất quán. Các công cụ sẽ giúp phân tích xu hướng phản hồi để tìm khu vực cần huấn luyện lại hoặc làm rõ, và rà soát nhật ký hệ thống và dấu vết kiểm toán cho mục đích tuân thủ và đảm bảo chất lượng.

Kết luận

Databricks Genie đã góp phần thúc đẩy dân chủ hóa dữ liệu bằng cách cho phép mọi người trong tổ chức có được insight có ý nghĩa thông qua các câu hỏi ngôn ngữ tự nhiên đơn giản. Trong công việc tập trung vào SQL của riêng tôi, tôi thường thấy ngay cả các câu hỏi cơ bản cũng có thể biến thành yêu cầu kỹ thuật, nên việc xóa bỏ rào cản đó thực sự thay đổi cách các nhóm tiếp cận thông tin.

Nhìn về phía trước, sự chuyển dịch này phản chiếu những gì đang diễn ra trong thế giới phân tích. Phân tích hội thoại đang dần trở nên tự nhiên và nhận thức ngữ cảnh hơn. Genie sẽ tiếp tục phát triển với hiểu biết ngữ nghĩa sâu hơn và trí tuệ chủ động hơn.

Nếu bạn muốn trở thành kỹ sư dữ liệu chuyên nghiệp, tôi khuyên bạn nên học các khóa Giới thiệu về dbt và Những điều căn bản về Dữ liệu Lớn với PySpark để học cách thực hiện pipeline ETL bằng SQL cho phân tích Dữ liệu Lớn. Tôi cũng khuyên bạn xem Big Data với PySpark skill track để học kỹ năng thực hành với PySpark API qua dự án thực tế. Bước tiếp theo, tôi khuyên bạn học Lộ trình Nghề nghiệp Associate Data Engineer với SQL để trở thành một kỹ sư dữ liệu thành thạo.