Xử lý văn bản với Snowflake Cortex AI

Dữ liệu văn bản chiếm một phần đáng kể trong các tác vụ phân tích dữ liệu hiện đại, từ đánh giá của khách hàng đến tài liệu doanh nghiệp. Khả năng trích xuất, tóm tắt, dịch và phân tích thông tin văn bản là yếu tố then chốt để đưa ra quyết định dựa trên dữ liệu. Snowflake Cortex AI giúp đơn giản hóa việc xử lý văn bản bằng cách cung cấp môi trường dùng AI với ít hoặc không cần viết mã. Bài viết này sẽ trình bày các chức năng nền tảng của Cortex AI và đưa ra một số mẹo thực tiễn khi triển khai.

Bản thân Snowflake Cortex AI là một bộ công cụ AI và học máy mạnh mẽ được tích hợp trong Snowflake Data Cloud. Nó có hỗ trợ sẵn cho các hàm của Mô hình ngôn ngữ lớn (LLM) như Meta Llama 3 và các mô hình Mistral Large.  

Snowflake Cortex AI là một cách tuyệt vời để các nhà thực hành dữ liệu ở mọi cấp độ bắt đầu với AI, vì nó cung cấp các hàm AI dựng sẵn trong SQL, không cần API bên ngoài và mở rộng theo hạ tầng dữ liệu của Snowflake. 

Nếu bạn mới làm quen với Snowflake, tôi khuyến nghị học khóa Introduction to Snowflake SQL.

Tìm hiểu các hàm xử lý văn bản của Snowflake Cortex AI

Snowflake Cortex AI cung cấp một bộ công cụ dựng sẵn nhằm giúp việc xử lý văn bản hiệu quả hơn. Từ tóm tắt và dịch thuật đến phân tích cảm xúc và phân tích cú pháp tài liệu, các chức năng này cho phép người dùng trích xuất thông tin chuyên sâu từ khối lượng lớn văn bản trực tiếp trong Snowflake. Hãy cùng khám phá các khả năng này và cách áp dụng chúng trong các tình huống thực tế.

Các hàm Mô hình ngôn ngữ lớn (LLM)

Snowflake Cortex AI cung cấp các hàm LLM để thực hiện hiệu quả nhiều tác vụ liên quan đến văn bản. 

Chẳng hạn, hàm COMPLETE cho phép người dùng cung cấp lời nhắc cho một mô hình cụ thể (như Llama3 hoặc Mistral) và nhận phản hồi, tương tự như cách bạn dùng ChatGPT trên web. 

Bạn cũng có thể dùng các hàm chuyên biệt như SUMMARIZE và TRANSLATE để nhanh chóng thực hiện các tác vụ cụ thể. Những hàm này giúp việc tóm tắt, dịch thuật và phân tích cảm xúc trở nên rất dễ dàng. Nếu muốn tìm hiểu thêm về LLM nói chung, hãy xem khóa LLMs Concepts.

Document AI

Document AI là tính năng trí tuệ nhân tạo độc quyền của Snowflake được thiết kế để trích xuất và cấu trúc thông tin từ tài liệu phi cấu trúc. Cốt lõi của nó tận dụng Arctic-TILT, mô hình AI chuyên biệt của Snowflake, để phân tích văn bản từ nhiều định dạng tài liệu và chuyển đổi thành dữ liệu có cấu trúc, sẵn sàng cho truy vấn.

Với Document AI, người dùng có thể:

• Tải tài liệu lên (ví dụ: PDF, báo cáo quét, hóa đơn).
• Đặt truy vấn do AI hỗ trợ để trích xuất thông tin liên quan.
• Tự động hóa các pipeline trích xuất dữ liệu để tối ưu quy trình làm việc.

Mặc dù rất mạnh mẽ, công cụ này hiện có một số hạn chế về loại tệp được hỗ trợ, kích thước tài liệu và độ dài xử lý. Tuy vậy, với các tổ chức xử lý khối lượng lớn văn bản phi cấu trúc—chẳng hạn tài liệu pháp lý, hợp đồng khách hàng hoặc báo cáo tài chính—Document AI mang đến cách hiệu quả để chuyển văn bản thô thành cơ sở dữ liệu có cấu trúc trong Snowflake, giúp việc phân tích tiếp theo dễ dàng hơn đáng kể.

Trích từ tài liệu Snowflake Document AI

Các tính năng xử lý văn bản chính trong Snowflake Cortex AI

Hãy điểm nhanh những tính năng chủ chốt của Snowflake Cortex AI và những gì chúng có thể làm. Phần tiếp theo sẽ đưa ra một vài bước (đơn giản) để sử dụng các tính năng này.

Tóm tắt văn bản

Tóm tắt văn bản được thực hiện bằng hàm SUMMARIZE. Nói ngắn gọn, nó nhận một tập văn bản và nhanh chóng tạo bản tóm tắt. Ví dụ, nếu bạn đưa vào một bài báo hay báo cáo dài, nó sẽ cung cấp những thông tin chính yếu cho văn bản đó.

Dịch văn bản

Hàm TRANSLATE cho phép dịch ngôn ngữ liền mạch. Nó có thể nhận phản hồi khách hàng hoặc phiếu hỗ trợ gửi bằng ngôn ngữ khác và dịch sang tiếng Anh. Hàm hỗ trợ nhiều ngôn ngữ đích như tiếng Anh, Pháp, Hà Lan, Đức, Nhật, Trung và nhiều ngôn ngữ khác.

Phân tích cảm xúc

Phân tích cảm xúc xác định cảm xúc hoặc sắc thái tổng thể của văn bản. Nó cho biết ngữ cảnh là tích cực, tiêu cực hay trung tính. Hàm SENTIMENT của Snowflake trả về một giá trị số trong khoảng từ -1 đến 1, với -1 là tiêu cực, 1 là tích cực và 0 là nhìn chung trung tính.

Phân tích cú pháp tài liệu

Phân tích cú pháp tài liệu có thể là chức năng phức tạp nhất ở đây. Nó nhận tệp tài liệu được lưu trữ ở đâu đó và trích xuất thông tin từ tài liệu đó. Chúng ta có thể dùng hàm PARSE_DOCUMENT cho tác vụ này.

Triển khai xử lý văn bản với Snowflake Cortex AI

Sau khi đã khám phá các khả năng xử lý văn bản của Cortex AI, hãy cùng đi qua cách đưa chúng vào thực tế, bắt đầu bằng việc thiết lập môi trường.

Thiết lập môi trường

Có một vài bước để sẵn sàng dùng Snowflake Cortex AI. Hãy đảm bảo bạn đã hoàn tất những điều sau:

1. Bạn sẽ cần vai trò người dùng cơ sở dữ liệu SNOWFLAKE.CORTEX_USER .
2. Dữ liệu của bạn phải được lưu trữ theo định dạng tương thích với Snowflake.
3. Bạn phải bật các hàm Cortex AI trong phiên bản Snowflake của mình.

Nếu bạn không có quyền cần thiết, hãy trao đổi với quản trị viên cơ sở dữ liệu của bạn (hoặc nếu bạn là quản trị viên, tự cấp các vai trò này) để được cấp quyền truy cập. Cũng lưu ý rằng do các thiết lập riêng của tổ chức, một số mô hình có thể không khả dụng với bạn.

Ví dụ thực tiễn

Hãy cùng xem một số ví dụ về các hàm chính là tóm tắt, dịch thuật và phân tích cảm xúc. Chúng ta sẽ dùng nhiều tên bảng và cột mẫu. Giả sử bảng chúng ta truy xuất là bất kỳ bảng nào trong cơ sở dữ liệu Snowflake của bạn, và cột chứa thông tin văn bản. Bạn sẽ nhanh chóng thấy việc chạy các hàm này trong Snowflake dễ như thế nào.

Tóm tắt dữ liệu văn bản

Bắt đầu với tác vụ rất phổ biến: tóm tắt nhiều bài báo.

-- Assume that the data is in the table ‘articles’
--We want to summarize all the text from all the articles we have in our database

SELECT SNOWFLAKE.CORTEX.SUMMARIZE(article_text) AS summary
FROM articles;Được hỗ trợ bởi

Dịch phiếu hỗ trợ

Một tác vụ phổ biến khác là dịch các phiếu hỗ trợ có thể không phải lúc nào cũng dùng ngôn ngữ địa phương của bạn. Cú pháp tổng quát là SNOWFLAKE.CORTEX.TRANSLATE(text, ‘source language’,’target language’) trong đó ’source language’ và ’target language’ được viết dưới dạng mã ngôn ngữ hai chữ cái. 

Nếu ngôn ngữ nguồn để trống ’’ thì ngôn ngữ sẽ được tự động phát hiện.

/* We select from the table support_tickets
 The column ticket_description has all the ticket text
We are going from ‘fr’ to ‘en’ */
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, 'fr', 'en') FROM support_tickets;

--If we leave the source language as just an empty string ‘’, it will automatically detect the language
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, '', 'en') FROM support_tickets;Được hỗ trợ bởi

Thực hiện phân tích cảm xúc trên bình luận của khách hàng

Cuối cùng, hãy xem cảm xúc của khách hàng trên mạng xã hội bằng SENTIMENT.

--Select from the social_media_comments table
--provide the text to the SENTIMENT function.
SELECT SNOWFLAKE.CORTEX.SENTIMENT(comment_text) FROM social_media_comments;Được hỗ trợ bởi

Thực hành tốt và lưu ý

Như với mọi thứ liên quan đến AI, chúng ta cần đảm bảo có bộ nguyên tắc và hướng dẫn thực hành tốt. Đảm bảo tuân thủ luật bảo mật dữ liệu và tối ưu truy vấn sẽ mang lại trải nghiệm tốt nhất khi dùng Snowflake Cortex AI.

Quyền riêng tư và bảo mật dữ liệu

Quyền riêng tư dữ liệu là một trong những thành phần quan trọng nhất, đặc biệt khi liên quan đến AI. May mắn là Snowflake tích hợp sẵn điều này vào môi trường của bạn. Bạn có thể sử dụng khung kiểm soát truy cập của Snowflake để giúp đảm bảo tuân thủ thực hành truy cập tốt và các quy định.

• Đảm bảo tuân thủ GDPR, CCPA và các quy định khác khi xử lý dữ liệu người dùng.
• Sử dụng kiểm soát truy cập dựa trên vai trò (RBAC) để hạn chế xử lý văn bản nhạy cảm.

Tối ưu hiệu năng

Dữ liệu phi cấu trúc có thể rất lớn. Xử lý dữ liệu một cách thông minh sẽ giúp giảm cả thời gian chạy và chi phí. Hãy thử các thực hành tốt sau để tối ưu hiệu năng:

• Xử lý theo lô: Xử lý văn bản theo lô thay vì từng hàng một.
• Lưu trữ hiệu quả: Lưu tài liệu lớn trong các bảng Snowflake được tối ưu.
• Đánh chỉ mục và bộ nhớ đệm: Dùng chỉ mục cho dữ liệu văn bản được truy cập thường xuyên.

Kết luận

Snowflake Cortex AI đơn giản hóa việc xử lý văn bản bằng cách cung cấp các hàm văn bản tích hợp, sử dụng AI ngay trong Snowflake SQL. Với các khả năng mạnh mẽ để tóm tắt, dịch thuật, phân tích cảm xúc và phân tích cú pháp tài liệu, các nhà thực hành dữ liệu ở mọi cấp độ có thể dễ dàng trích xuất thông tin có ý nghĩa từ văn bản. 

Bằng cách tận dụng các công cụ AI dựng sẵn, doanh nghiệp có thể khai mở thông tin giá trị và đưa ra quyết định dựa trên dữ liệu một cách dễ dàng. Nếu bạn muốn tìm hiểu thêm về Snowflake và công cụ của nó, hãy thử các tài nguyên sau:

• Cách học Snowflake trong năm 2025
• Giới thiệu về mô hình dữ liệu trong Snowflake
• Giới thiệu Snowflake cho người mới bắt đầu
• Snowflake Cortex AI với Python