Xử lý ngôn ngữ tự nhiên với BERT: Hướng dẫn thực hành

Xử lý ngôn ngữ tự nhiên (NLP) cải thiện cách con người và máy tính giao tiếp với nhau bằng cách dùng học máy để chỉ ra cấu trúc và ý nghĩa của văn bản. Với các ứng dụng NLP, tổ chức có thể tăng năng suất và giảm chi phí bằng cách phân tích văn bản và trích xuất thông tin có ý nghĩa hơn để cải thiện trải nghiệm khách hàng.

Xử lý ngôn ngữ tự nhiên (NLP) là gì?

Chúng ta hiếm khi nghĩ về những tinh tế trong ngôn ngữ của mình. Đó là một hành vi trực giác, dựa vào các dấu hiệu ngữ nghĩa như từ, ký hiệu hay hình ảnh để truyền tải thông tin và ý nghĩa. Đôi khi người ta nói rằng học ngôn ngữ dễ hơn ở tuổi thiếu niên vì đó là một hành vi có thể lặp lại và rèn luyện, giống như việc tập đi. Hơn nữa, ngôn ngữ không tuân theo các quy tắc nghiêm ngặt và có nhiều ngoại lệ.

Việc lĩnh hội ngôn ngữ, dù tự nhiên với con người, lại vô cùng phức tạp với máy tính vì có rất nhiều dữ liệu phi cấu trúc, thiếu quy tắc chặt chẽ và không có góc nhìn hay ngữ cảnh cụ thể. Tuy vậy, con người ngày càng dựa vào hệ thống máy tính để giao tiếp và thực hiện nhiệm vụ. Đây là lý do học máy (ML) và trí tuệ nhân tạo (AI) thu hút nhiều sự quan tâm và phổ biến. NLP đang theo sát sự phát triển của AI. Dù hai thuật ngữ này có thể gợi nhớ đến các robot viễn tưởng, đã có rất nhiều ứng dụng NLP đơn giản trong đời sống hằng ngày.

NLP là một thành phần của AI tập trung vào việc hiểu ngôn ngữ tự nhiên như con người viết và/hoặc nói. Để làm điều này, các chương trình máy tính chuyên biệt được phát triển; một máy tính điển hình cần chỉ dẫn được truyền đạt bằng ngôn ngữ lập trình rất chính xác, có cấu trúc và không mơ hồ. Đáng tiếc, ngôn ngữ tự nhiên của con người lại không chính xác, đa nghĩa và dễ gây nhầm lẫn. Để cho phép chương trình hiểu nghĩa của từ, cần dùng các thuật toán có khả năng phân tích ý nghĩa và cấu trúc để làm cho từ ngữ trở nên dễ hiểu, nhận diện một số tham chiếu, rồi từ đó sinh ngôn ngữ.

Các kỹ thuật khác nhau của Xử lý ngôn ngữ tự nhiên (NLP) là gì?

Các thuật toán NLP thực hiện nhiều phân tích cú pháp và ngữ nghĩa để đánh giá ý nghĩa của câu dựa trên quy tắc ngữ pháp. Chúng làm điều này bằng cách:

• Phân đoạn từ và cụm từ hoặc phân tích ngữ pháp của cả câu.
• So sánh văn bản theo thời gian thực với các cơ sở dữ liệu sẵn có để xác định ý nghĩa và ngữ cảnh.
• Sử dụng kỹ thuật học máy và học sâu để nhận diện các tương quan liên quan trong lượng lớn dữ liệu đã gán nhãn.

Các kỹ thuật NLP phổ biến gồm có:

• Nhận dạng thực thể có tên (NER): Xác định tên người, địa điểm, tổ chức, v.v.
• Phân tích cảm xúc: Xác định văn bản mang sắc thái tích cực, tiêu cực hay trung tính.
• Tóm tắt văn bản: Tạo bản tóm tắt ngắn gọn cho văn bản dài.
• Trích xuất phương diện: Xác định các khía cạnh chính hoặc ý định trong một đoạn văn bản.
• Mô hình chủ đề: Khám phá các chủ đề và cấu trúc ẩn trong tập dữ liệu văn bản lớn.

NLP có thể làm gì?

NLP được sử dụng trong nhiều ứng dụng khác nhau. Dưới đây là một số lĩnh vực phổ biến nhất.

Bộ lọc tin nhắn

Bộ lọc tin nhắn là một trong những ứng dụng NLP cơ bản trực tuyến đầu tiên. Kỹ thuật này ban đầu được dùng để tạo bộ lọc spam nhằm nhận diện thư rác dựa trên một số từ hoặc cụm từ. Khi NLP phát triển, các bộ lọc cũng vậy.

Một trong những ứng dụng phổ biến và gần đây của kỹ thuật này là phân loại email của Gmail. Hệ thống có thể phân loại email vào ba danh mục (Chính, Mạng xã hội, hoặc Quảng cáo) dựa trên nội dung. Điều này cho phép người dùng Gmail quản lý hộp thư tốt hơn để xem và phản hồi nhanh các email quan trọng.

Trợ lý thông minh

Các trợ lý thông minh như Siri (Apple) và Alexa (Amazon) sử dụng nhận dạng giọng nói để xác định mẫu lời nói, suy ra ý nghĩa và gợi ý phản hồi hữu ích. Ngày nay, việc hỏi Siri một câu và cô ấy hiểu rồi trả lời phù hợp đã trở nên bình thường. Tương tự, chúng ta đang quen với việc tương tác hằng ngày với Siri hoặc Alexa thông qua nhiệt kế, đèn, ô tô, v.v.

Giờ đây, chúng ta kỳ vọng các trợ lý như Alexa và Siri nắm bắt được tín hiệu ngữ cảnh để hỗ trợ cuộc sống hằng ngày và thực hiện một số tác vụ (ví dụ: đặt mua hàng). Chúng ta thậm chí còn thích những câu đáp hài hước hoặc khi chúng kể về chính mình. Tương tác của chúng ta trở nên cá nhân hơn khi chúng hiểu rõ ta hơn. Theo bài báo của New York Times “Why We May Soon Be Living in Alexa's World”, "Một sự chuyển dịch lớn đang đến. Alexa rất có thể sẽ trở thành nền tảng tiêu dùng lớn thứ ba của thập kỷ này."

Kết quả tìm kiếm

Công cụ tìm kiếm sử dụng NLP để hiển thị kết quả phù hợp dựa trên các hành vi tìm kiếm tương tự hoặc ý định của người dùng. Điều này cho phép mọi người tìm thấy điều mình cần mà không cần kỹ năng đặc biệt.

Ví dụ, khi bạn bắt đầu nhập truy vấn, Google sẽ hiển thị các tìm kiếm liên quan phổ biến, nhưng cũng có thể nhận diện ý nghĩa chung của truy vấn vượt ra ngoài cách diễn đạt chính xác. Nếu bạn nhập số hiệu chuyến bay vào Google, bạn sẽ biết trạng thái chuyến bay. Nếu nhập mã cổ phiếu, bạn sẽ nhận được báo cáo cổ phiếu. Nếu nhập phương trình toán, bạn sẽ có máy tính. Tìm kiếm của bạn có thể đưa ra nhiều kết quả vì kỹ thuật NLP mà nó sử dụng liên kết một truy vấn mơ hồ với một thực thể nhất định để cung cấp kết quả hữu ích.

Gõ văn bản thông minh

Các tính năng như tự động sửa lỗi, tự động hoàn thành và gợi ý nhập liệu nay phổ biến đến mức chúng ta coi là hiển nhiên trên điện thoại. Tự động gõ và gõ thông minh tương tự công cụ tìm kiếm ở chỗ dựa trên những gì bạn gõ để gợi ý phần cuối của từ hoặc cụm. Tự động sửa đôi khi còn thay đổi một số từ để cải thiện ý nghĩa tổng thể của thông điệp.

Ngoài ra, các chức năng này phát triển theo bạn. Ví dụ, gợi ý nhập liệu dần thích ứng với lối diễn đạt riêng của bạn theo thời gian. Điều này đôi khi tạo nên những cuộc trao đổi hài hước, với câu văn dựa hoàn toàn vào gợi ý. Kết quả có thể bất ngờ mang tính cá nhân và thú vị, thậm chí đôi khi còn thu hút sự chú ý của truyền thông.

Dịch thuật

Nếu bài tập ngoại ngữ của bạn đầy lỗi ngữ pháp, giáo viên có thể biết bạn đã gian lận bằng công nghệ NLP. Đáng tiếc, nhiều ngôn ngữ không thể dịch trực tiếp vì khác cấu trúc câu, điều mà đôi khi các dịch vụ dịch thuật đã bỏ qua. Tuy vậy, các hệ thống này đã tiến rất xa.

Nhờ NLP, các công cụ dịch trực tuyến cung cấp bản dịch chính xác và đúng ngữ pháp hơn. Do đó, chúng cực kỳ hữu ích nếu bạn cần giao tiếp với người không nói ngôn ngữ của bạn. Nếu cần dịch một văn bản ngoại ngữ, các công cụ này thậm chí có thể nhận diện ngôn ngữ của văn bản đầu vào.

Cuộc gọi điện thoại số

Khi gọi cho một số công ty, phần lớn chúng ta có lẽ đã nghe thông báo "cuộc gọi này có thể được ghi âm cho mục đích đào tạo". Dù các bản ghi này có thể dùng để đào tạo (ví dụ: phân tích cuộc trao đổi với khách hàng không hài lòng), chúng thường được lưu trong cơ sở dữ liệu để hệ thống NLP học và phát triển. Hệ thống tự động chuyển hướng cuộc gọi của khách hàng đến một tổng đài viên hoặc chatbot, nơi sẽ cung cấp thông tin phù hợp để trả lời yêu cầu. Kỹ thuật NLP này đã được nhiều công ty áp dụng, bao gồm các nhà mạng lớn.

Công nghệ cuộc gọi số cũng cho phép máy tính bắt chước giọng nói con người. Nhờ đó, có thể lên kế hoạch các cuộc gọi tự động để đặt lịch ở gara hoặc tiệm cắt tóc.

Phân tích dữ liệu

Khả năng ngôn ngữ tự nhiên nay được tích hợp vào quy trình phân tích. Thật vậy, ngày càng nhiều nhà cung cấp BI giới thiệu giao diện ngôn ngữ tự nhiên cho hình ảnh hóa dữ liệu của họ. Mã hóa trực quan thông minh hơn cho phép, ví dụ, đề xuất hình ảnh hóa phù hợp nhất cho một tác vụ cụ thể dựa trên ngữ nghĩa dữ liệu. Ai cũng có thể khám phá dữ liệu bằng các phát biểu ngôn ngữ tự nhiên hoặc mảnh câu hỏi với các từ khóa được diễn giải và hiểu.

Khám phá dữ liệu bằng ngôn ngữ giúp dữ liệu dễ tiếp cận hơn và mở rộng phân tích cho toàn doanh nghiệp vượt ra ngoài nhóm nhà phân tích và nhà phát triển CNTT thường thấy.

Phân tích văn bản

Phân tích văn bản chuyển đổi dữ liệu văn bản phi cấu trúc thành dữ liệu có thể phân tích bằng cách sử dụng nhiều kỹ thuật ngôn ngữ học, thống kê và học máy.

Phân tích cảm xúc có thể là thách thức lớn đối với thương hiệu (đặc biệt khi có tệp khách hàng lớn). Tuy nhiên, một công cụ dựa trên NLP thường có thể xem xét tương tác của khách hàng (như bình luận hoặc đánh giá trên mạng xã hội, hoặc thậm chí nhắc đến tên thương hiệu) để xem họ nói gì. Sau đó, thương hiệu có thể phân tích các tương tác này để đánh giá hiệu quả chiến dịch tiếp thị hoặc theo dõi sự tiến triển của các vấn đề khách hàng. Từ đó quyết định cách phản hồi hoặc cải thiện dịch vụ để mang lại trải nghiệm tốt hơn.

NLP cũng đóng góp cho phân tích văn bản bằng cách trích xuất từ khóa và xác định mẫu hoặc xu hướng trong dữ liệu văn bản phi cấu trúc. Các mô hình NLP chính là gì?

Dù NLP đã tồn tại một thời gian, những tiến bộ gần đây thật đáng kể, đặc biệt với sự trỗi dậy của các mô hình dựa trên transformer và các mô hình ngôn ngữ quy mô lớn do các công ty công nghệ hàng đầu phát triển. Một số mô hình tiên tiến nhất gồm:

• Các mô hình dựa trên Transformer:

  • BERT và ALBERT (Google AI)
  • RoBERTa (Meta/Facebook), StructBERT (Alibaba), DeBERTa (Microsoft), DistilBERT (Hugging Face)
  • XLNet (Carnegie Mellon University), UniLM (Microsoft), Reformer (Google)

• Các mô hình ngôn ngữ lớn (LLM):

  • GPT-3, GPT-4, và GPT-4 Turbo (OpenAI)
  • Claude 3 (Anthropic)
  • PaLM 2 và Gemini 1.5 (Google DeepMind)
  • LLaMA 2 (Meta)
  • Mistral và Mixtral (Mistral AI)

Trong hướng dẫn này, chúng ta sẽ xem xét kỹ hơn cách BERT được dùng cho NLP.

Google BERT hoạt động như thế nào? 

BERT, viết tắt của "Bidirectional Encoder Representations from Transformers", là một mô hình do Google AI phát hành. Kỹ thuật đổi mới này dựa trên NLP.

Về cơ bản, thuật toán sử dụng học máy và trí tuệ nhân tạo để hiểu các truy vấn do người dùng internet thực hiện. Nhờ đó, nó cố gắng diễn giải ý định tìm kiếm của họ, tức ngôn ngữ tự nhiên mà họ sử dụng.

Theo nghĩa này, BERT gắn với các trợ lý giọng nói cá nhân như Google Home. Công cụ không còn dựa vào từng từ được nhập, mà xem xét toàn bộ cụm và ngữ cảnh của nó. Mục đích là để tinh chỉnh kết quả. Nó hiệu quả hơn trong xử lý tìm kiếm phức tạp, bất kể phương tiện nào được dùng.

Cụ thể hơn, BERT cho phép công cụ tìm kiếm:

• Giải quyết mơ hồ trong biểu đạt, xét đến ý nghĩa theo ngữ cảnh của từ;
• Hiểu đại từ quy chiếu đến đối tượng nào, đặc biệt trong các đoạn dài;
• Giải quyết vấn đề đồng âm khác nghĩa;
• Hiểu câu liền sau;
• Đưa câu trả lời trực tiếp trên SERP (Trang Kết quả của Công cụ Tìm kiếm)...

Với các ứng dụng khác, BERT được dùng trong:

• Hỏi đáp;
• Phân tích quan điểm;
• Ghép câu và suy luận ngôn ngữ tự nhiên;
• Phát hiện tweet có nội dung xúc phạm.

Vì vậy, tác động của Google BERT ước khoảng 10% đối với các truy vấn dài hơn, được gõ theo cách tự nhiên.

NLP tập trung vào phân tích các từ mà người dùng nhập. Từ khóa, các từ đứng trước và sau nó đều được xem xét để hiểu rõ hơn truy vấn. Đây là nguyên lý phân tích mà "transformer" áp dụng.

Thuật toán đặc biệt hiệu quả với các tìm kiếm đuôi dài, nơi giới từ ảnh hưởng đến ý nghĩa. Mặt khác, tác động với truy vấn tổng quát ít hơn, vì chúng vốn đã được Google hiểu tốt. Do đó, các công cụ hiểu ngữ nghĩa khác vẫn hoạt động.

Dù truy vấn được diễn đạt lộn xộn hay chính xác, công cụ tìm kiếm vẫn có thể xử lý. Nhưng để hiệu quả hơn, tốt nhất nên dùng các thuật ngữ thích hợp hơn.

Ngữ cảnh đóng vai trò quan trọng trong phân tích do BERT thực hiện. Dịch máy và mô hình hóa ngôn ngữ được tối ưu. Cũng ghi nhận các cải thiện đáng kể trong việc tạo văn bản chất lượng.

Để sử dụng mô hình này, trước tiên hãy nhập các thư viện và gói cần thiết như dưới đây:

Tiếp theo, hãy tải xuống và giải nén Large Movie Review Dataset, rồi khám phá cấu trúc thư mục. 

Để tạo tf.data.Dataset có nhãn, chúng ta sẽ dùng text_dataset_from_directory như dưới đây. Sau đó, chúng ta sẽ tạo tập validation bằng cách chia 80:20 từ dữ liệu huấn luyện với tham số validation_split.

Quan trọng là chỉ định một seed ngẫu nhiên khi dùng validation_split để phần validation và huấn luyện không bị chồng lắp.

Bước tiếp theo là chọn mô hình BERT bạn muốn tải và fine-tune từ TensorFlow Hub, bạn có thể dùng hub.KerasLayer để cấu thành mô hình fine-tune. Sau đó, chúng ta sẽ thử mô hình tiền xử lý trên một số văn bản và xem đầu ra.

Tiếp theo, bạn sẽ xây dựng một mô hình đơn giản gồm mô hình tiền xử lý, mô hình BERT đã chọn ở bước trước, một lớp dense và một lớp Dropout.

Bây giờ, bạn có thể kiểm tra xem mô hình của mình chạy được với đầu ra của mô hình tiền xử lý hay không.

Hàm mất mát là bước cần thiết ở đây; chúng ta sẽ chọn losses.BinaryCrossentropy vì đang xử lý bài toán phân loại nhị phân.

Để fine-tune, hãy dùng cùng bộ tối ưu mà BERT được huấn luyện ban đầu: "Adaptive Moments" (Adam). Bộ tối ưu này tối thiểu hóa mất mát dự đoán và thực hiện regularization bằng weight decay, còn được gọi là AdamW.

Với classifier_model bạn đã tạo ở trên, bạn có thể biên dịch mô hình với hàm mất mát, chỉ số đo và bộ tối ưu.

Lưu ý rằng thời gian huấn luyện của mô hình có thể ngắn hoặc dài hơn tùy vào độ phức tạp của mô hình BERT bạn chọn.

Bây giờ, chúng ta sẽ đánh giá hiệu năng mô hình bằng cách kiểm tra mất mát và độ chính xác của mô hình.

Bạn có thể dùng đối tượng history nếu muốn vẽ đồ thị mất mát và độ chính xác cho tập huấn luyện và tập validation:

Tất cả các bước trên được trình bày chi tiết trong notebook này. Bạn có thể thực hành các bước trên và chạy mã để xem đầu ra cho từng mô hình BERT trong danh sách.

Kết luận 

NLP đã được ứng dụng rộng rãi trong thế giới số. Các ứng dụng của nó sẽ nhân lên khi doanh nghiệp và ngành công nghiệp nhận ra lợi ích và áp dụng. Dù sự can thiệp của con người vẫn thiết yếu cho những vấn đề giao tiếp phức tạp hơn, NLP sẽ là trợ thủ hằng ngày của chúng ta, trước hết quản lý và tự động hóa các tác vụ nhỏ, rồi dần xử lý những việc phức tạp hơn khi công nghệ tiến bộ.

Để tìm hiểu thêm về cách NLP hoạt động và cách sử dụng, hãy xem khóa học Deep Learning for NLP in Python của chúng tôi.