Tokenization trong NLP: Cách hoạt động, thách thức và các trường hợp sử dụng

Tokenization là gì?

Hãy tưởng tượng bạn đang dạy một đứa trẻ học đọc. Thay vì đi thẳng vào những đoạn văn phức tạp, bạn sẽ bắt đầu với từng chữ cái, rồi đến âm tiết, và cuối cùng là từ hoàn chỉnh. Tương tự, tokenization chia các đoạn văn bản lớn thành những đơn vị dễ tiêu hóa và dễ hiểu hơn đối với máy.

Mục tiêu chính của tokenization là biểu diễn văn bản theo cách có ý nghĩa đối với máy mà không làm mất ngữ cảnh. Bằng cách chuyển văn bản thành các token, thuật toán có thể dễ dàng nhận diện mẫu. Khả năng nhận diện mẫu này rất quan trọng vì nó giúp máy hiểu và phản hồi đầu vào của con người. Chẳng hạn, khi máy gặp từ "running", nó không coi đó là một thực thể đơn lẻ mà là sự kết hợp của các token để có thể phân tích và rút ra ý nghĩa.

Để đi sâu vào cơ chế, hãy xét câu: "Chatbots are helpful." Khi chúng ta token hóa câu này theo từ, nó chuyển thành một mảng các từ riêng lẻ:

["Chatbots", "are", "helpful"].

Đây là cách tiếp cận trực tiếp, nơi khoảng trắng thường quyết định ranh giới token. Tuy nhiên, nếu token hóa theo ký tự, câu sẽ vỡ thành:

["C", "h", "a", "t", "b", "o", "t", "s", " ", "a", "r", "e", " ", "h", "e", "l", "p", "f", "u", "l"].

Phân tách ở mức ký tự chi tiết hơn và đặc biệt hữu ích cho một số ngôn ngữ hoặc các tác vụ NLP cụ thể.

Về bản chất, tokenization giống như mổ xẻ một câu để hiểu cấu trúc của nó. Cũng như bác sĩ nghiên cứu từng tế bào để hiểu một cơ quan, các nhà thực hành NLP dùng tokenization để mổ xẻ và hiểu cấu trúc cũng như ý nghĩa của văn bản.

Cũng cần lưu ý rằng dù thảo luận của chúng ta tập trung vào tokenization trong xử lý ngôn ngữ, thuật ngữ "tokenization" còn được dùng trong lĩnh vực bảo mật và quyền riêng tư, đặc biệt trong các thực hành bảo vệ dữ liệu như tokenization thẻ tín dụng. Ở những bối cảnh đó, dữ liệu nhạy cảm được thay thế bằng các giá trị không nhạy cảm, gọi là token. Sự phân biệt này rất quan trọng để tránh nhầm lẫn giữa hai ngữ cảnh.

Các loại tokenization

Phương pháp tokenization khác nhau tùy theo mức độ chi tiết của việc phân tách văn bản và yêu cầu cụ thể của tác vụ. Các phương pháp này có thể dao động từ tách văn bản thành từng từ đến tách theo ký tự hoặc thậm chí thành các đơn vị nhỏ hơn. Dưới đây là cái nhìn gần hơn về các loại:

• Tokenization theo từ. Phương pháp này tách văn bản thành các từ riêng lẻ. Đây là cách tiếp cận phổ biến nhất và đặc biệt hiệu quả cho các ngôn ngữ có ranh giới từ rõ ràng như tiếng Anh.
• Tokenization theo ký tự. Ở đây, văn bản được phân đoạn thành từng ký tự. Cách này có lợi cho các ngôn ngữ không có ranh giới từ rõ ràng hoặc cho các tác vụ cần phân tích chi tiết, như sửa lỗi chính tả.
• Tokenization theo phân từ (subword). Cân bằng giữa tokenization theo từ và ký tự, phương pháp này tách văn bản thành những đơn vị có thể lớn hơn một ký tự nhưng nhỏ hơn một từ hoàn chỉnh. Ví dụ, "Chatbots" có thể được tách thành "Chat" và "bots". Cách tiếp cận này đặc biệt hữu ích cho các ngôn ngữ tạo nghĩa bằng cách ghép các đơn vị nhỏ hơn hoặc khi xử lý từ ngoài vốn từ (out-of-vocabulary) trong các tác vụ NLP.

Đây là một bảng giải thích sự khác biệt: 

Các trường hợp sử dụng tokenization

Tokenization đóng vai trò xương sống cho vô số ứng dụng trong thế giới số, giúp máy xử lý và hiểu khối lượng lớn dữ liệu văn bản. Bằng cách chia văn bản thành các phần có thể quản lý, tokenization tạo điều kiện phân tích dữ liệu hiệu quả và chính xác hơn. Dưới đây là một số trường hợp sử dụng nổi bật cùng ứng dụng thực tế:

Công cụ tìm kiếm

Khi bạn nhập truy vấn vào công cụ tìm kiếm như Google, hệ thống sẽ dùng tokenization để phân tách đầu vào của bạn. Sự phân tách này giúp công cụ sàng lọc hàng tỷ tài liệu để đưa ra kết quả phù hợp nhất.

Dịch máy

Các công cụ như Google Dịch sử dụng tokenization để phân đoạn câu ở ngôn ngữ nguồn. Sau khi được tách, các đoạn này có thể được dịch và lắp ghép lại ở ngôn ngữ đích, đảm bảo bản dịch giữ nguyên ngữ cảnh ban đầu.

Nhận dạng giọng nói

Các trợ lý kích hoạt bằng giọng nói như Siri hoặc Alexa phụ thuộc nhiều vào tokenization. Khi bạn đặt câu hỏi hoặc lệnh, lời nói trước hết được chuyển thành văn bản. Văn bản này sau đó được token hóa, cho phép hệ thống xử lý và thực thi yêu cầu của bạn.

Phân tích cảm xúc trong đánh giá

Tokenization đóng vai trò quan trọng trong việc trích xuất thông tin từ nội dung do người dùng tạo, như đánh giá sản phẩm hoặc bài đăng mạng xã hội. Chẳng hạn, một hệ thống phân tích cảm xúc cho nền tảng thương mại điện tử có thể token hóa các đánh giá của người dùng để xác định khách hàng đang bày tỏ cảm xúc tích cực, trung tính hay tiêu cực. Ví dụ:

• Đánh giá: "This product is amazing, but the delivery was late."
• Sau khi token hóa: ["This", "product", "is", "amazing", ",", "but", "the", "delivery", "was", "late", "."]

Các token "amazing" và "late" sau đó có thể được mô hình cảm xúc xử lý để gán nhãn cảm xúc pha trộn, cung cấp thông tin hữu ích cho doanh nghiệp.

Chatbot và trợ lý ảo

Tokenization giúp chatbot hiểu và phản hồi hiệu quả các đầu vào của người dùng. Ví dụ, một chatbot hỗ trợ khách hàng có thể token hóa truy vấn:

"I need to reset my password but can't find the link."

Được token hóa thành: ["I", "need", "to", "reset", "my", "password", "but", "can't", "find", "the", "link"].

Sự phân tách này giúp chatbot nhận diện ý định của người dùng ("đặt lại mật khẩu") và phản hồi phù hợp, chẳng hạn cung cấp liên kết hoặc hướng dẫn.

Thách thức trong tokenization

Việc điều hướng những tinh tế và mơ hồ vốn có của ngôn ngữ tự nhiên đặt ra nhiều thách thức riêng cho tokenization. Dưới đây là cái nhìn sâu hơn về một số trở ngại này cùng những tiến bộ gần đây để giải quyết chúng:

Mơ hồ

Ngôn ngữ vốn dĩ mơ hồ. Hãy xem câu "Flying planes can be dangerous." Tùy vào cách token hóa và diễn giải, nó có thể mang nghĩa việc lái máy bay thì nguy hiểm hoặc máy bay đang bay gây nguy hiểm. Những mơ hồ như vậy có thể dẫn đến các cách hiểu rất khác nhau.

Ngôn ngữ không có ranh giới rõ ràng

Một số ngôn ngữ như tiếng Trung, Nhật hoặc Thái không có khoảng trắng giữa các từ, khiến tokenization phức tạp hơn. Xác định ranh giới giữa các từ là thách thức lớn ở các ngôn ngữ này.

Để giải quyết, các tiến bộ trong mô hình tokenization đa ngữ đã đạt được bước tiến đáng kể. Ví dụ:

• XLM-R (Cross-lingual Language Model - RoBERTa) dùng tokenization theo phân từ và huấn luyện quy mô lớn để xử lý hiệu quả hơn 100 ngôn ngữ, bao gồm cả các ngôn ngữ không có ranh giới từ rõ ràng.
• mBERT (Multilingual BERT) sử dụng WordPiece và cho thấy hiệu năng mạnh trên nhiều ngôn ngữ, xuất sắc trong việc hiểu cấu trúc cú pháp và ngữ nghĩa ngay cả ở các ngôn ngữ ít tài nguyên.

Những mô hình này không chỉ token hóa văn bản hiệu quả mà còn tận dụng vốn từ phân từ dùng chung giữa các ngôn ngữ, cải thiện tokenization cho các hệ chữ khó xử lý.

Xử lý ký tự đặc biệt

Văn bản thường chứa nhiều thứ hơn là từ. Địa chỉ email, URL hoặc ký hiệu đặc biệt có thể khó token hóa. Ví dụ, liệu "john.doe@email.com" nên được coi là một token duy nhất hay tách tại dấu chấm hoặc ký tự "@"? Các mô hình tokenization tiên tiến nay kết hợp quy tắc và mẫu học được để đảm bảo cách xử lý nhất quán cho các trường hợp như vậy.

Triển khai tokenization

Bối cảnh Xử lý ngôn ngữ tự nhiên cung cấp nhiều công cụ, mỗi công cụ phù hợp cho nhu cầu và độ phức tạp cụ thể. Dưới đây là hướng dẫn về một số công cụ và phương pháp nổi bật cho tokenization.

Hugging Face Transformers

Thư viện Hugging Face Transformers là tiêu chuẩn ngành cho các ứng dụng NLP hiện đại. Thư viện tích hợp liền mạch với PyTorch và các mô hình transformer tiên tiến, đồng thời xử lý tokenization tự động thông qua API AutoTokenizer. Các tính năng chính bao gồm:

• AutoTokenizer: Tự động tải tokenizer pretrained phù hợp cho bất kỳ mô hình nào.
• Fast tokenizers: Xây dựng bằng Rust, các tokenizer này mang lại cải thiện đáng kể về tốc độ, cho phép tiền xử lý nhanh hơn với bộ dữ liệu lớn.
• Tương thích với mô hình pretrained: Tokenizer khớp hoàn hảo với các mô hình cụ thể (BERT, GPT-2, Llama, Mistral, v.v.).
• Hỗ trợ tokenization theo phân từ: Thư viện hỗ trợ Byte-Pair Encoding (BPE), WordPiece và Unigram, đảm bảo xử lý hiệu quả từ ngoài vốn từ và các ngôn ngữ phức tạp.

spaCy

spaCy là một thư viện NLP Python hiện đại, hiệu quả, xuất sắc trong các hệ thống sản xuất đòi hỏi tốc độ và khả năng diễn giải. Khác với Hugging Face, spaCy dùng tokenization dựa trên luật, tối ưu cho độ chính xác ngôn ngữ học.

Khi nào nên dùng spaCy:

• Xây dựng pipeline NLP truyền thống (nhận dạng thực thể, phân tích phụ thuộc)
• Các dự án không dùng mô hình transformer
• Hệ thống hiệu năng cao yêu cầu tokenization nhanh

NLTK (Chỉ nên dùng cho mục đích học tập)

NLTK (Natural Language Toolkit) là thư viện Python nền tảng chủ yếu dùng cho học tập và nghiên cứu. Dù vẫn hoạt động, nó chậm đáng kể so với các lựa chọn hiện đại và không khuyến nghị cho hệ thống sản xuất.

Chỉ dùng NLTK cho:

• Học các khái niệm NLP
• Dự án giáo dục
• Nghiên cứu ngôn ngữ học

Với mọi ứng dụng sản xuất, ưu tiên spaCy hoặc Hugging Face Transformers.

Lưu ý kế thừa: Keras Tokenizer

keras.preprocessing.text.Tokenizer đã bị loại bỏ kể từ Keras 3.0 và không nên dùng trong các dự án mới. Các dự án Keras hiện đại nên dùng keras.layers.TextVectorization thay thế. Với các tác vụ NLP, Hugging Face Transformers là cách tiếp cận được khuyến nghị.

Các kỹ thuật tokenization nâng cao

Cho các trường hợp chuyên biệt hoặc khi xây dựng mô hình tùy chỉnh, các phương pháp này cung cấp khả năng kiểm soát chi tiết:

• Byte-Pair Encoding (BPE): Phương pháp tokenization thích ứng, gộp dần các cặp byte xuất hiện thường xuyên nhất trong văn bản. Đây là tokenization mặc định cho GPT-2, GPT-3 và hầu hết các mô hình ngôn ngữ lớn hiện đại. BPE đặc biệt hiệu quả khi xử lý từ lạ và nhiều hệ chữ khác nhau mà không cần tiền xử lý đặc thù ngôn ngữ.
• SentencePiece: Bộ tokenization không giám sát dành cho các tác vụ sinh văn bản bằng mạng nơ-ron. Khác với BPE, nó có thể coi khoảng trắng là token và xử lý đa ngôn ngữ với một mô hình duy nhất, lý tưởng cho dự án đa ngôn ngữ và tokenization phi ngôn ngữ cụ thể.

Cả hai phương pháp đều có sẵn qua Hugging Face Transformers hoặc dưới dạng thư viện độc lập.

Mô hình hóa không dùng tokenization

Dù tokenization hiện là thiết yếu để NLP hiệu quả, nghiên cứu mới đang khám phá các mô hình hoạt động trực tiếp trên byte hoặc ký tự mà không cần sơ đồ tokenization cố định.

Những phát triển gần đây:

• ByT5: Mô hình pretrained hoạt động trên byte UTF-8 thay vì phân từ, duy trì hiệu năng tương đương cách tiếp cận truyền thống và tăng khả năng chống chịu với biến thể ở mức ký tự.
• CharacterBERT: Học biểu diễn ở mức ký tự và dựng động embedding từ từ chuỗi ký tự, loại bỏ nhu cầu vốn từ cố định.
• Transformer phân cấp: Các đổi mới kiến trúc cho phép nhận byte thô với tổn thất hiệu quả tối thiểu nhờ chiến lược mã hóa phân cấp.

Những cách tiếp cận này hiện chưa sẵn sàng cho sản xuất ở quy mô lớn và chủ yếu là hướng nghiên cứu. Tuy nhiên, chúng hứa hẹn lợi thế về độ bền vững trên nhiều ngôn ngữ và hệ chữ.

Tại sao điều này quan trọng: Các mô hình không cần tokenization có thể giảm phụ thuộc vào tiền xử lý đặc thù ngôn ngữ và quản lý vốn từ, khiến hệ thống NLP có tính phổ quát hơn. Tuy vậy, với các ứng dụng hiện tại, tokenization truyền thống vẫn là tiêu chuẩn về hiệu quả và tính thực tiễn.

Kết luận

Tokenization là nền tảng của mọi ứng dụng NLP hiện đại, từ công cụ tìm kiếm đến các mô hình ngôn ngữ lớn.

Lựa chọn phương pháp và công cụ tokenization ảnh hưởng trực tiếp đến độ chính xác mô hình, tốc độ suy luận và chi phí API, vì vậy điều quan trọng là hiểu các đánh đổi giữa các cách tiếp cận. Bằng cách chọn chiến lược tokenization phù hợp cho trường hợp sử dụng cụ thể, bạn có thể cải thiện đáng kể hiệu năng và hiệu quả trong hệ thống sản xuất.

Tôi khuyến nghị học khóa Introduction to Natural Language Processing in Python để tìm hiểu thêm về các kỹ thuật tiền xử lý và đi sâu vào thế giới tokenizer.

Muốn tìm hiểu thêm về AI và machine learning? Hãy xem các tài nguyên sau:

• Hướng dẫn phân loại văn bản trong Python
• Hướng dẫn NLP
• Prompt engineering là gì?