Dữ liệu không gán nhãn là gì?

Dữ liệu không gán nhãn đề cập đến các phần tử dữ liệu không có định danh hoặc phân loại rõ ràng. Những mẩu dữ liệu này không đi kèm các "thẻ" hay "nhãn" cho biết đặc điểm hay thuộc tính của chúng, khiến việc diễn giải trở nên thách thức hơn. Tuy vậy, giá trị của chúng là không thể phủ nhận trong những tình huống mà khám phá, chứ không phải định hướng, là mục tiêu chính.

Giải thích về dữ liệu không gán nhãn

Để hiểu sâu hơn, hãy hình dung dữ liệu không gán nhãn như một đống ảnh chưa được sắp xếp. Khác với một album có gán nhãn, nơi mỗi bức ảnh có thể có thông tin về người, địa điểm hoặc thời gian, đống ảnh này không cung cấp ngữ cảnh trực tiếp như vậy. Bạn vẫn có thể rút ra insight bằng cách xem xét các bức ảnh, nhưng quy trình sẽ ít trực quan hơn.

Trong thế giới học máy, dữ liệu không gán nhãn chủ yếu được dùng trong các mô hình học không giám sát. Ở đây, thuật toán sàng lọc loại dữ liệu này để khám phá các mẫu, tương quan hoặc cụm, mà không có chỉ dẫn trước về việc cần tìm gì. Điều này trái ngược với dữ liệu có gán nhãn dùng trong học có giám sát, nơi mỗi điểm dữ liệu được ghép với một nhãn để dẫn dắt quá trình học.

Lợi ích của việc sử dụng dữ liệu không gán nhãn là gì?

• Phong phú. Internet và các tương tác kỹ thuật số của chúng ta tạo ra một lượng lớn dữ liệu không gán nhãn. Khai thác kho báu này có thể mang lại những insight phong phú và đa dạng.
• Khám phá các mẫu ẩn. Dữ liệu không gán nhãn có thể hé lộ các tương quan hoặc cụm vốn có thể bị bỏ sót nếu chỉ dùng dữ liệu có gán nhãn, nơi trọng tâm thường hẹp và được xác định sẵn.
• Tiết kiệm chi phí. Tạo dữ liệu có gán nhãn có thể tốn kém và mất thời gian. Làm việc với dữ liệu không gán nhãn giúp tránh các chi phí này.

Hạn chế của việc sử dụng dữ liệu không gán nhãn là gì?

• Độ phức tạp cao hơn. Thuật toán học không giám sát thường cần một lượng dữ liệu lớn để nắm bắt chính xác các mẫu nền tảng. Khi lượng dữ liệu tăng, độ phức tạp tính toán và nhu cầu bộ nhớ của thuật toán cũng tăng, khiến khả năng mở rộng trở thành một thách thức tiềm ẩn.
• Lo ngại về chất lượng. Nếu dữ liệu nhiễu hoặc không liên quan, máy có thể học các mẫu sai, dẫn đến kết quả kém tối ưu, hoàn toàn sai hoặc không hữu ích. Các mô hình học không giám sát có thể dễ bị quá khớp, đặc biệt khi xử lý tập dữ liệu phức tạp. Quá khớp xảy ra khi mô hình học theo nhiễu hoặc biến thiên không liên quan trong dữ liệu thay vì cấu trúc nền tảng. Điều này có thể dẫn đến khả năng khái quát kém và hiệu suất thấp trên dữ liệu chưa thấy.
• Khó diễn giải. Vì dữ liệu không được phân loại sẵn, diễn giải đầu ra của mô hình học không giám sát có thể khó khăn. Các mô hình này thường trả về kết quả dưới dạng các cụm, liên kết hoặc mẫu. Việc diễn giải các kết quả này và hiểu ý nghĩa trong thực tế có thể phức tạp, đặc biệt khi xử lý dữ liệu nhiều chiều hoặc quan hệ phức tạp.
• Thiếu ground truth. Không có dữ liệu gán nhãn, không có cách xác quyết để đánh giá hiệu suất của mô hình học không giám sát. Điều này khiến khó đo lường độ chính xác hoặc hiệu quả của mô hình.

Dữ liệu không gán nhãn có thể được sử dụng như thế nào?

Dữ liệu không gán nhãn được ứng dụng phổ biến nhất trong học máy không giám sát. Các thuật toán như phân cụm K-means, phân cụm phân cấp và Phân tích Thành phần Chính (PCA) thường được dùng để nhận diện mẫu và rút trích insight hữu ích từ loại dữ liệu này. Chẳng hạn, PCA có thể dùng để đơn giản hóa dữ liệu mà không làm mất thông tin quan trọng, nhờ đó giúp việc phân tích tiếp theo nhẹ nhàng hơn.

Ví dụ về các trường hợp sử dụng trong thực tế của dữ liệu không gán nhãn

• Phân khúc khách hàng. Doanh nghiệp có thể phân tích lịch sử mua hàng và nhân khẩu học để xác định các nhóm khách hàng khác nhau và hiểu sở thích của họ.
• Phát hiện bất thường. Hệ thống phát hiện bất thường có thể phát hiện các cuộc tấn công Từ chối Dịch vụ Phân tán (DDoS) và cảnh báo đội ngũ an ninh mạng hành động ngay nhằm giảm thiểu tấn công và bảo vệ hạ tầng mạng.
• Phát hiện gian lận. Ngân hàng và tổ chức tài chính có thể phát hiện các mẫu chi tiêu và giao dịch bất thường có thể gợi ý hoạt động gian lận hoặc độc hại.
• Nhận dạng hình ảnh và video. Các mô hình học máy có thể được huấn luyện để nhận diện đối tượng, bối cảnh hoặc mẫu trong hình ảnh và video bằng dữ liệu không gán nhãn.

Gợi ý dự án: Dùng dữ liệu đồ uống có cồn không gán nhãn để xây dựng chiến lược tiếp thị

Tôi có kinh nghiệm làm việc với nhiều tập dữ liệu không gán nhãn, nhưng một dự án nổi bật là khi tôi phân tích dữ liệu về đồ uống có cồn để xây dựng chiến lược khuyến mãi. Dưới đây tôi đã tổng hợp danh sách các mẹo để hỗ trợ bạn xử lý và phân tích dữ liệu không gán nhãn. Bạn có thể tìm toàn bộ mã và phần giải thích dự án tại đây.

1. Nạp tập dữ liệu bằng pandas.
2. Kiểm tra giá trị null, tương quan giữa các cột và phân phối dữ liệu bằng pandas và Seaborn.
3. Điền giá trị khuyết bằng phương pháp nội suy theo trung bình, trung vị hoặc mode.
4. Tạo các cột kinh độ và vĩ độ bằng geopy để cho phép phân tích không gian địa lý.
5. Vẽ mức tiêu thụ đồ uống có cồn trên bản đồ bằng Plotly để trực quan hóa dữ liệu địa lý.
6. Tạo thêm hình trực quan bằng Seaborn để hiểu xu hướng theo thời gian.
7. Dùng Plotly Animation để tạo bảng điều khiển tương tác cho các bên liên quan.
8. Dùng phương pháp khuỷu tay để xác định số cụm tối ưu cho phân cụm K-Means.
9. Thực hiện phân cụm K-Means và trực quan hóa kết quả trên biểu đồ phân tán với các màu khác nhau cho từng cụm.
10. Phân tích các cụm để hiểu các mẫu.
11. Thực hiện phân cụm phân cấp và trực quan hóa kết quả bằng dendrogram.
12. Dựa trên phân tích cụm, xác định 8 thành phố phù hợp nhất cho chiến dịch tiếp thị.

Tôi rất thích dự án này và thu được nhiều insight giá trị về tập dữ liệu và công ty. Thông qua các kỹ thuật thống kê, chúng tôi đã khám phá các mẫu ẩn trong tập dữ liệu không gán nhãn có thể hỗ trợ bạn và đội ngũ xây dựng chiến lược tối ưu.

Bạn muốn tìm hiểu thêm về AI và học máy? Hãy xem các tài nguyên sau:

• Khóa học Hiểu về học máy
• Khóa học Hiểu về AI
• Khóa học Học ChatGPT
• Học máy là gì?