Nhận dạng Thực thể có Tên (NER) là gì? Phương pháp, Trường hợp sử dụng và Thách thức

Nhận dạng Thực thể có Tên (Named Entity Recognition - NER) là một tác vụ con của trích xuất thông tin trong Xử lý Ngôn ngữ Tự nhiên (NLP), phân loại các thực thể được đặt tên vào các danh mục định sẵn như tên người, tổ chức, địa điểm, mã y tế, biểu thức thời gian, số lượng, giá trị tiền tệ, v.v. Trong lĩnh vực NLP, việc hiểu các thực thể này là tối quan trọng cho nhiều ứng dụng, vì chúng thường chứa thông tin quan trọng nhất trong một văn bản.

Giải thích về Nhận dạng Thực thể có Tên

Nhận dạng Thực thể có Tên (NER) đóng vai trò cầu nối giữa văn bản phi cấu trúc và dữ liệu có cấu trúc, cho phép máy móc sàng lọc lượng thông tin văn bản khổng lồ và trích xuất những mẩu dữ liệu giá trị theo dạng đã phân loại. Bằng cách xác định các thực thể cụ thể giữa “biển chữ”, NER biến đổi cách chúng ta xử lý và khai thác dữ liệu văn bản.

Mục đích: Mục tiêu chính của NER là quét văn bản phi cấu trúc và nhận diện các đoạn cụ thể là thực thể có tên, sau đó phân loại chúng vào các danh mục định sẵn. Việc chuyển đổi văn bản thô thành thông tin có cấu trúc khiến dữ liệu trở nên hữu ích hơn, hỗ trợ các tác vụ như phân tích dữ liệu, truy hồi thông tin và xây dựng đồ thị tri thức.

Cách thức hoạt động: Sự tinh vi của NER có thể được chia thành một số bước:

1. Tách từ (Tokenization). Trước khi nhận diện thực thể, văn bản được tách thành các token, có thể là từ, cụm từ hoặc thậm chí là câu. Ví dụ, "Steve Jobs co-founded Apple" sẽ được tách thành các token như "Steve", "Jobs", "co-founded", "Apple".
2. Nhận diện thực thể. Sử dụng các quy tắc ngôn ngữ học hoặc phương pháp thống kê khác nhau để phát hiện những thực thể có thể có tên. Điều này bao gồm nhận diện các mẫu như viết hoa trong tên riêng ("Steve Jobs") hoặc các định dạng cụ thể (như ngày tháng).
3. Phân loại thực thể. Sau khi nhận diện, các thực thể được phân vào các lớp định sẵn như "Person" (Người), "Organization" (Tổ chức) hoặc "Location" (Địa điểm). Việc này thường được thực hiện bằng các mô hình học máy được huấn luyện trên bộ dữ liệu gán nhãn. Trong ví dụ trên, "Steve Jobs" sẽ được phân loại là "Person" và "Apple" là "Organization".
4. Phân tích ngữ cảnh. Các hệ thống NER thường xem xét ngữ cảnh xung quanh để cải thiện độ chính xác. Ví dụ, trong câu "Apple released a new iPhone", ngữ cảnh giúp hệ thống nhận ra "Apple" là một tổ chức chứ không phải trái cây.
5. Hậu xử lý. Sau bước nhận diện và phân loại ban đầu, có thể áp dụng hậu xử lý để tinh chỉnh kết quả. Điều này có thể bao gồm giải quyết mơ hồ, gộp các thực thể nhiều token, hoặc sử dụng cơ sở tri thức để làm giàu dữ liệu thực thể.

Điểm hay của NER nằm ở khả năng hiểu và diễn giải văn bản phi cấu trúc, vốn chiếm tỷ trọng lớn trong dữ liệu số, từ trang web và bài báo đến bài đăng mạng xã hội và các bài báo khoa học. Bằng cách nhận diện và phân loại thực thể có tên, NER bổ sung một lớp cấu trúc và ý nghĩa cho không gian văn bản rộng lớn này.

Các phương pháp Nhận dạng Thực thể có Tên

Nhận dạng Thực thể có Tên (NER) đã chứng kiến nhiều phương pháp phát triển qua các năm, mỗi phương pháp được thiết kế để giải quyết những thách thức riêng khi trích xuất và phân loại thực thể từ không gian văn bản rộng lớn.

Phương pháp dựa trên quy tắc

Phương pháp dựa trên quy tắc dựa vào các quy tắc được tạo thủ công. Chúng nhận diện và phân loại thực thể dựa trên các mẫu ngôn ngữ, biểu thức chính quy hoặc từ điển. Trong các miền cụ thể nơi thực thể được xác định rõ ràng, như trích xuất thuật ngữ y khoa tiêu chuẩn từ ghi chú lâm sàng, chúng hoạt động rất hiệu quả; nhưng khả năng mở rộng bị hạn chế. Với các bộ dữ liệu lớn hoặc đa dạng, chúng có thể gặp khó khăn do tính cứng nhắc của các quy tắc định sẵn.

Phương pháp thống kê

Rời xa quy tắc thủ công, phương pháp thống kê sử dụng các mô hình như Hidden Markov Models (HMM) hoặc Conditional Random Fields (CRF). Chúng dự đoán thực thể có tên dựa trên xác suất rút ra từ dữ liệu huấn luyện. Những phương pháp này phù hợp khi có sẵn nhiều bộ dữ liệu gán nhãn. Thế mạnh của chúng là khả năng khái quát trên các văn bản đa dạng, nhưng chất lượng phụ thuộc vào dữ liệu huấn luyện.

Phương pháp học máy

Phương pháp học máy tiến xa hơn bằng cách dùng các thuật toán như cây quyết định hoặc máy vectơ hỗ trợ. Chúng học từ dữ liệu gán nhãn để dự đoán thực thể có tên. Việc được áp dụng rộng rãi trong các hệ thống NER hiện đại đến từ khả năng xử lý bộ dữ liệu lớn và mẫu phức tạp. Tuy nhiên, chúng đòi hỏi lượng dữ liệu gán nhãn đáng kể và có thể tiêu tốn tài nguyên tính toán.

Phương pháp học sâu

Mới nhất là các phương pháp học sâu, khai thác sức mạnh của mạng nơ-ron. Mạng nơ-ron hồi quy (RNN) và transformer đã trở thành lựa chọn hàng đầu nhờ khả năng mô hình hóa các phụ thuộc dài hạn trong văn bản. Chúng lý tưởng cho các tác vụ quy mô lớn với dữ liệu huấn luyện dồi dào, nhưng yêu cầu năng lực tính toán đáng kể.

Phương pháp lai

Cuối cùng, không có giải pháp “một cỡ cho tất cả” trong NER, dẫn đến sự xuất hiện của các phương pháp lai. Những kỹ thuật này đan xen cách tiếp cận dựa trên quy tắc, thống kê và học máy, nhằm tận dụng ưu điểm của từng loại. Chúng đặc biệt hữu ích khi trích xuất thực thể từ các nguồn đa dạng, cung cấp tính linh hoạt của nhiều phương pháp. Tuy nhiên, bản chất kết hợp khiến chúng phức tạp khi triển khai và bảo trì.

Trường hợp sử dụng Nhận dạng Thực thể có Tên

NER đã được ứng dụng trong nhiều lĩnh vực, thay đổi cách chúng ta trích xuất và sử dụng thông tin. Dưới đây là một số ứng dụng then chốt:

• Tổng hợp tin tức. NER đóng vai trò quan trọng trong việc phân loại bài báo theo các thực thể chính được nhắc tới. Cách phân loại này giúp độc giả nhanh chóng tìm các câu chuyện về người, địa điểm hoặc tổ chức cụ thể, tinh gọn quá trình đọc tin.
• Hỗ trợ khách hàng. Phân tích câu hỏi của khách hàng trở nên hiệu quả hơn với NER. Doanh nghiệp có thể nhanh chóng xác định những vấn đề phổ biến liên quan đến sản phẩm hoặc dịch vụ cụ thể, đảm bảo mối quan tâm của khách hàng được xử lý kịp thời và hiệu quả.
• Nghiên cứu. Với giới học thuật và nhà nghiên cứu, NER là một lợi thế. Nó cho phép quét lượng văn bản khổng lồ, xác định các đề cập đến thực thể liên quan tới nghiên cứu. Việc trích xuất tự động này tăng tốc quá trình nghiên cứu và đảm bảo phân tích dữ liệu toàn diện.
• Phân tích tài liệu pháp lý. Trong lĩnh vực pháp lý, việc lọc qua tài liệu dài để tìm các thực thể liên quan như tên, ngày tháng, địa điểm có thể tẻ nhạt. NER tự động hóa công việc này, giúp nghiên cứu và phân tích pháp lý hiệu quả hơn.

Thách thức của Nhận dạng Thực thể có Tên

Dù hứa hẹn mang lại hiểu biết có cấu trúc từ dữ liệu phi cấu trúc, Nhận dạng Thực thể có Tên (NER) vẫn có những thách thức riêng. Dưới đây là một số trở ngại chính trong lĩnh vực này:

• Mơ hồ. Từ ngữ có thể đánh lừa. Một thuật ngữ như "Amazon" có thể chỉ con sông hoặc công ty, tùy vào ngữ cảnh, khiến nhận diện thực thể trở nên khó khăn.
• Phụ thuộc ngữ cảnh. Từ ngữ thường lấy nghĩa từ văn bản xung quanh. Từ "Apple" trong một bài viết công nghệ nhiều khả năng chỉ tập đoàn, còn trong công thức nấu ăn, có lẽ là trái táo. Hiểu những khác biệt tinh tế này là then chốt để nhận diện chính xác.
• Biến thể ngôn ngữ. Sự đa dạng của ngôn ngữ con người, với tiếng lóng, phương ngữ và khác biệt vùng miền, có thể gây thách thức. Điều thông dụng ở một nơi có thể xa lạ nơi khác, khiến quá trình NER phức tạp hơn.
• Độ khan hiếm dữ liệu. Với các phương pháp NER dựa trên học máy, sự sẵn có của dữ liệu gán nhãn toàn diện là rất quan trọng. Tuy nhiên, việc thu thập dữ liệu như vậy, đặc biệt cho ngôn ngữ ít phổ biến hoặc miền chuyên biệt, có thể khó khăn.
• Khả năng khái quát của mô hình. Một mô hình có thể xuất sắc trong việc nhận diện thực thể ở một miền, nhưng lại chùng xuống ở miền khác. Đảm bảo mô hình NER khái quát tốt trên nhiều miền luôn là thách thức dai dẳng.

Giải quyết các thách thức này đòi hỏi sự kết hợp giữa chuyên môn ngôn ngữ, thuật toán tiên tiến và dữ liệu chất lượng. Khi NER tiếp tục phát triển, việc tinh chỉnh kỹ thuật để vượt qua các trở ngại này sẽ là trọng tâm của nghiên cứu và phát triển.

Xây dựng Phân tích Hồ sơ Ứng viên bằng NER

Trong phần này, chúng ta sẽ học cách tạo một hệ thống phân tích hồ sơ ứng viên giúp nhà tuyển dụng lọc ứng viên dựa trên kỹ năng và thuộc tính của họ.

Nhập các gói cần thiết

• Để nhận diện thực thể, chúng ta sẽ dùng spaCy.
• Để trực quan hóa, chúng ta sẽ dùng pyLDAvis, wordcloud, plotly và matplotlib.pyplot.
• Để tải và xử lý dữ liệu, chúng ta sẽ dùng pandas và numpy.
• Để xử lý stopwords và lemmatizer, chúng ta sẽ dùng nltk.

Tải Dữ liệu và mô hình NER

Chúng ta sẽ bắt đầu bằng cách tải tệp CSV bao gồm ID duy nhất, văn bản hồ sơ và danh mục. Sau đó, chúng ta sẽ tải mô hình spacy "en_core_web_sm".

Entity Ruler

Trước tiên, cần thêm một pipeline entity ruler vào đối tượng mô hình. Sau đó, có thể tạo entity ruler bằng cách tải tệp JSON chứa các nhãn và mẫu như kỹ năng ".net", "cloud" và "aws".

Làm sạch văn bản

Trong phần này, chúng ta sẽ làm sạch bộ dữ liệu bằng thư viện NLTK qua vài bước:

1. Loại bỏ liên kết, ký tự đặc biệt hoặc dấu câu bằng regex.
2. Chuyển văn bản về chữ thường.
3. Tách văn bản thành mảng dựa trên khoảng trắng.
4. Lemmatize văn bản về dạng gốc để chuẩn hóa.
5. Loại bỏ stop words tiếng Anh.
6. Ghi kết quả vào một mảng.

Nhận diện thực thể

Sau khi thêm pipeline mới vào mô hình, chúng ta có thể trực quan hóa các thực thể có tên trong văn bản bằng hàm hiển thị của spaCy. Bằng cách đưa văn bản đầu vào qua mô hình ngôn ngữ, bạn có thể tô sáng các từ kèm nhãn của chúng bằng displacy.render(obj, style="ent", jupyter=True, options=options).

Điểm khớp

Hãy ghép hồ sơ ứng viên với yêu cầu của công ty. Hệ thống hiển thị các hồ sơ tương đồng nhất dựa trên điểm tương đồng. Ví dụ, nếu công ty tìm kỹ sư đám mây AWS, hệ thống sẽ hiển thị những hồ sơ phù hợp nhất.

Làm thế nào để có điểm tương đồng?

Chúng ta cần tạo một hàm Python trích xuất kỹ năng từ hồ sơ bằng entity ruler, đối sánh với kỹ năng yêu cầu và tạo điểm tương đồng. Ứng dụng này chỉ cần một vòng lặp đơn giản và câu lệnh if-else. Nhà tuyển dụng có thể dùng nó để lọc ứng viên theo kỹ năng thay vì phải đọc nhiều tệp PDF.

Bạn muốn tìm hiểu thêm về AI và học máy? Hãy xem các tài nguyên sau:

• Giới thiệu về NLP trong Python
• Hướng dẫn NLP
• Khóa học Tìm hiểu ChatGPT
• Prompt engineering là gì?
• Dự án NLP cho mọi trình độ