Zero-Shot Learning: Hướng Dẫn Kèm Ví Dụ

Zero-Shot Learning là gì?

Zero-shot learning (ZSL) là một kỹ thuật machine learning cho phép mô hình xử lý các tác vụ hoặc nhận diện những thứ mà nó chưa từng gặp trước đó. Nó làm được điều này bằng cách tận dụng kiến thức sẵn có và kết nối chúng với các tình huống mới, ngay cả khi không được huấn luyện cụ thể cho các tình huống đó.

Giả sử một mô hình được huấn luyện để nhận diện động vật nhưng chưa từng được dạy về ngựa vằn trong giai đoạn huấn luyện. Với ZSL, mô hình vẫn có thể suy ra ngựa vằn là gì bằng cách sử dụng mô tả. Nhưng bằng cách nào? Hãy để tôi đơn giản hóa một chút (chúng ta sẽ đi vào chi tiết kỹ thuật sau) và giải thích như sau:

• Mô hình biết về động vật và các đặc điểm của chúng, như "có bốn chân", "sống ở thảo nguyên", hoặc "có sọc".
• Mô hình nhận được một mô tả mới: "Một loài giống ngựa, có sọc đen trắng, sống ở đồng cỏ châu Phi."
• Dựa trên hiểu biết về thuộc tính động vật và mô tả được cung cấp, mô hình có thể suy luận rằng hình ảnh nhiều khả năng là ngựa vằn, dù trước đó chưa từng thấy.
• Mô hình đưa ra suy luận này bằng cách nối kết các đặc điểm động vật đã biết với mô tả mới.

Zero-Shot Learning hoạt động như thế nào?

Zero-shot learning gồm hai giai đoạn (huấn luyện và suy luận) và sử dụng ba thành phần chính: mô hình tiền huấn luyện, thông tin bổ trợ và chuyển giao tri thức.

Mô hình tiền huấn luyện

ZSL dựa vào các mô hình đã được tiền huấn luyện trên lượng dữ liệu lớn. Ví dụ, họ mô hình GPT (cho ngôn ngữ) hoặc CLIP (cho liên kết ảnh-văn bản). Những mô hình này cung cấp nền tảng kiến thức chung vững chắc.

Thông tin bổ trợ

Thông tin bổ trợ giúp mô hình hiểu những điều mới. Có thể bao gồm:

• Mô tả văn bản.
• Thuộc tính hoặc đặc trưng.
• Liên tưởng từ vựng hoặc vector.

Chuyển giao tri thức

ZSL ánh xạ cả các lớp đã biết và lớp mới vào một "không gian ngữ nghĩa" chung để có thể so sánh. Thường dùng các kỹ thuật như:

• Biểu diễn nhúng ngữ nghĩa (embeddings): Cách biểu diễn chung cho cả danh mục đã biết và chưa biết.
• Học chuyển giao: Tái sử dụng kiến thức từ các tác vụ tương tự để giải quyết tác vụ mới.
• Mô hình sinh: Tạo các ví dụ giả cho những lớp chưa thấy nhằm hỗ trợ mô hình học.

Huấn luyện và suy luận

ZSL có thể hình dung như một quy trình hai giai đoạn:

1. Huấn luyện: Mô hình tiếp thu kiến thức về các mẫu dữ liệu đã gán nhãn và thuộc tính của chúng.
2. Suy luận: Kiến thức đã có được mở rộng sang các lớp mới bằng thông tin bổ trợ. Quá trình gồm ba bước:
• Mô hình chuyển đổi đầu vào mới (như ảnh) thành biểu diễn ngữ nghĩa.
• So sánh biểu diễn này với các lớp hoặc mô tả đã biết.
• Chọn kết quả khớp gần nhất dựa trên độ tương đồng.

Cách tiếp cận này cho phép các mô hình ZSL nhận diện linh hoạt một tập khái niệm mới mở rộng theo thời gian, chỉ dựa vào mô tả hoặc thông tin ngữ nghĩa, mà không cần thêm dữ liệu huấn luyện đã gán nhãn.

Hãy quay lại ví dụ phân loại động vật của chúng ta.

Ví dụ: Phân loại động vật

Hãy hình dung chúng ta đang dùng mô hình CLIP, được tiền huấn luyện trên tập dữ liệu khổng lồ gồm các cặp ảnh-văn bản. Mô hình tiền huấn luyện này cung cấp nền tảng kiến thức chung về động vật, dù không được huấn luyện tường minh về ngựa vằn.

Trong ví dụ ngựa vằn, dữ liệu bổ trợ (thông tin thêm) gồm các mô tả văn bản như: “Một loài giống ngựa, có sọc đen trắng, sống ở đồng cỏ châu Phi.” và các thuộc tính như "có bốn chân", "có sọc", "sống ở thảo nguyên". Những mô tả và thuộc tính này kết nối những gì mô hình đã biết (đặc trưng chung của động vật) với lớp chưa thấy (ngựa vằn).

Sau đó, mô hình ánh xạ cả các lớp đã thấy (ví dụ: ngựa, hổ) và lớp chưa thấy (ngựa vằn) vào một không gian ngữ nghĩa chung. Mô hình mã hóa mô tả về ngựa vằn ("sọc đen trắng, giống ngựa") vào cùng không gian với các loài đã biết và dùng hiểu biết về các loài như ngựa, hổ để suy luận về ngựa vằn.

Mô hình so sánh vector nhúng của ngựa vằn với các vector nhúng của động vật đã biết và mô tả (ví dụ: ngựa, hổ, "sọc đen trắng"). Dựa trên điểm tương đồng, mô hình xác định ngựa vằn là khớp gần nhất với mô tả: "Một loài giống ngựa, có sọc đen trắng, sống ở đồng cỏ châu Phi."

Zero-Shot Learning so với Few-Shot Learning

Zero-shot learning (ZSL) và few-shot learning (FSL) là hai phương pháp giúp mô hình xử lý các tác vụ hoặc đối tượng mới ngay cả khi có rất ít hoặc không có dữ liệu. Tuy nhiên, chúng có một số khác biệt. Hãy xem tổng quan về cả hai kỹ thuật và các điểm khác nhau chính:

Nên chọn phương pháp nào?

ZSL phù hợp nhất khi bạn không có bất kỳ dữ liệu gán nhãn nào. Nó hữu ích trong các tình huống xuất hiện danh mục hoặc tác vụ mới mà mô hình chưa được huấn luyện, và không có thời gian hay nguồn lực để thu thập ví dụ gán nhãn.

Ví dụ, một cửa hàng trực tuyến có thể thêm danh mục sản phẩm mới, và mô hình có thể sắp xếp các mặt hàng này dựa trên mô tả mà không cần ví dụ gán nhãn.

ZSL rất phù hợp khi cần tính linh hoạt và việc thu thập dữ liệu gán nhãn quá tốn kém, chậm hoặc không khả thi.

Ngược lại, FSL hiệu quả khi bạn có thể cung cấp một số ít ví dụ gán nhãn (thường 1–5) và cần mô hình học nhanh với độ chính xác tốt hơn.

Ví dụ, nếu một chatbot nhận được loại câu hỏi mới như "Làm sao để tôi hủy đăng ký?", chỉ cần cho thấy vài ví dụ về truy vấn kiểu này có thể giúp nó phân loại chính xác các câu hỏi tương tự.

FSL rất hữu ích khi bạn có thể cung cấp vài ví dụ gán nhãn và cần hiệu năng tốt, đặc biệt trong các tác vụ yêu cầu độ chính xác cao như hỗ trợ khách hàng hoặc chẩn đoán hình ảnh y khoa.

Ứng dụng của Zero-Shot Learning

Có rất nhiều lĩnh vực ZSL tỏ ra hữu ích. Hãy điểm qua một vài ví dụ.

Xử lý văn bản & ngôn ngữ

ZSL được dùng rộng rãi trong phân loại văn bản, cho phép mô hình phân loại vào các nhãn mới mà không cần huấn luyện trước.

Ví dụ, nó có thể lọc email thành thư rác hay không dựa trên mô tả của các danh mục đó, mà không cần ví dụ gán nhãn. Khả năng này cũng giúp chatbot hiểu yêu cầu của người dùng mà không cần huấn luyện trên mọi truy vấn có thể xảy ra.

Trong phân tích cảm xúc, ZSL cho phép mô hình xác định bài đánh giá là tích cực hay tiêu cực chỉ bằng cách diễn giải ý nghĩa nhãn. Nó cũng góp phần vào kiểm duyệt mạng xã hội, nhận diện nội dung gây hại hoặc gây hiểu lầm dựa trên mô tả văn bản, chẳng hạn phát hiện thông tin sai lệch được gắn nhãn “lan truyền tuyên bố y tế sai sự thật”, ngay cả khi mô hình chưa từng gặp trường hợp đó trước đây.

Nhận diện hình ảnh & thị giác máy tính

Trong phân loại hình ảnh, ZSL cho phép mô hình nhận diện các đối tượng chưa từng thấy bằng cách liên kết ảnh với mô tả văn bản. Các công cụ như CLIP có thể nhận ra các đối tượng lạ, chẳng hạn “gấu trúc đỏ”, và căn chỉnh ảnh với văn bản, giúp công cụ tìm kiếm hình ảnh truy xuất theo mô tả người dùng hiệu quả hơn.

ZSL cũng hữu ích trong giám sát môi trường, nơi nó phát hiện thay đổi trong ảnh vệ tinh mà không cần dữ liệu gán nhãn. Ví dụ, có thể nhận diện khai thác gỗ trái phép bằng cách phát hiện khu vực được mô tả là “mất tán rừng đáng kể ở vùng rừng”, ngay cả khi mô hình không được huấn luyện tường minh về mẫu hình phá rừng.

Bán lẻ & gợi ý

Trong bán lẻ, ZSL giúp phân loại sản phẩm mới vào các danh mục tồn kho chỉ dựa vào mô tả văn bản. Mô hình có thể tự động gán các mặt hàng mới vào nhãn như “vật liệu thân thiện môi trường” ngay cả khi danh mục này không có trong giai đoạn huấn luyện.

ZSL cũng giải quyết bài toán khởi động lạnh trong hệ thống gợi ý bằng cách đề xuất sản phẩm hoặc nội dung khi chưa có dữ liệu người dùng trước đó. Các thuật toán như ZESRec có thể gợi ý mặt hàng từ một tập dữ liệu hoàn toàn mới không trùng lặp với dữ liệu đã thấy trước đó.

Thách thức của Zero-Shot Learning

Mặc dù ZSL linh hoạt và có thể khái quát hóa sang tác vụ mới, nó vẫn đối mặt với một số thách thức.

Biểu diễn tri thức

Các mô hình ZSL gặp khó khi biểu diễn những khác biệt chi tiết hoặc tinh vi. Ví dụ, mô hình có thể nhầm báo hoa mai và báo gêpa vì cả hai đều được mô tả là "mèo lớn có đốm", và mô tả không nêu bật các khác biệt nhỏ.

Khoảng cách miền

Mô hình ZSL có thể thất bại khi tác vụ hoặc dữ liệu mới quá khác so với những gì đã được huấn luyện. Ví dụ, mô hình huấn luyện để nhận diện đồ gia dụng có thể không nhận ra dụng cụ y tế vì chúng quá khác biệt.

Hiệu năng

ZSL thường kém chính xác hơn so với học có giám sát (khi mô hình được huấn luyện trên dữ liệu gán nhãn) đối với các tác vụ cụ thể. Một giải pháp là kết hợp ZSL với một chút tinh chỉnh trên dữ liệu cụ thể để cải thiện độ chính xác mà vẫn giữ được tính linh hoạt.

Thiên lệch

ZSL dựa vào dữ liệu tiền huấn luyện, vốn có thể chứa thiên lệch. Điều này có thể dẫn đến dự đoán thiếu công bằng. Hãy hình dung một mô hình tuyển dụng dùng ZSL: nó có thể ưu ái một số nhóm nhân khẩu nếu dữ liệu tiền huấn luyện chứa thiên lệch về giới hoặc chủng tộc. Một chiến lược giảm thiểu là phát hiện và giảm thiên lệch trong dữ liệu từ trước hoặc sử dụng các phương pháp như khử thiên lệch đối kháng để mô hình công bằng hơn.

Khả năng diễn giải

Có thể khó hiểu cách một mô hình ZSL đưa ra quyết định, đặc biệt khi nó sử dụng lập luận phức tạp. Chẳng hạn, trong chẩn đoán một bệnh hiếm, có thể không rõ vì sao mô hình lại chọn chẩn đoán đó khi không có ví dụ dữ liệu huấn luyện.

Khả năng mở rộng

Khi số lượng tác vụ hoặc danh mục mới tăng lên, các mô hình ZSL có thể trở nên chậm và kém hiệu quả. Một hệ thống gợi ý dựa trên ZSL có thể gặp khó khi xử lý hàng triệu sản phẩm mới trên nhiều danh mục khác nhau. Sử dụng các phương pháp tổ chức và truy xuất dữ liệu tốt hơn, như lập chỉ mục hiệu quả hoặc nhóm các tác vụ tương tự, có thể giải quyết phần nào vấn đề này.

Kết luận

Zero-shot learning tránh được nhu cầu về các bộ dữ liệu lớn đã gán nhãn, tiết kiệm thời gian và chi phí, và hoạt động tốt trong nhiều lĩnh vực như phân loại văn bản, nhận diện hình ảnh, chẩn đoán sức khỏe và gợi ý cá nhân hóa.

Dù ZSL không hoàn hảo — đôi khi gặp khó với khái niệm phức tạp hoặc độ chính xác — nhưng nó rất phù hợp khi tính linh hoạt là then chốt và dữ liệu quá đắt đỏ hoặc khan hiếm.