Lời nguyền về chiều trong Học máy: Thách thức, Tác động và Giải pháp

Lời nguyền về chiều đề cập đến nhiều thách thức và phức tạp nảy sinh khi phân tích và tổ chức dữ liệu trong không gian có số chiều cao (thường là hàng trăm hoặc hàng nghìn chiều). Trong lĩnh vực học máy, việc hiểu khái niệm này là rất quan trọng vì khi số lượng đặc trưng hoặc chiều trong một tập dữ liệu tăng lên, lượng dữ liệu cần có để mô hình hóa tổng quát chính xác sẽ tăng theo cấp số mũ.

Giải thích về Lời nguyền về chiều

Chiều là gì?

Trong bối cảnh phân tích dữ liệu và học máy, chiều đề cập đến các đặc trưng hoặc thuộc tính của dữ liệu. Chẳng hạn, nếu xét một tập dữ liệu về nhà ở, các chiều có thể bao gồm giá, diện tích, số phòng ngủ, vị trí, v.v.

Lời nguyền về chiều xảy ra như thế nào?

Khi chúng ta thêm nhiều chiều vào tập dữ liệu, thể tích không gian tăng theo cấp số mũ. Điều này có nghĩa là dữ liệu trở nên thưa thớt. Hãy hình dung: nếu bạn có một đường thẳng (1D), chỉ cần vài điểm là có thể “lấp đầy”. Nếu là một hình vuông (2D), bạn cần nhiều điểm hơn để phủ kín diện tích. Còn một khối lập phương (3D) thì cần nhiều điểm hơn nữa để lấp đầy thể tích. Khái niệm này mở rộng lên các chiều cao hơn, khiến dữ liệu cực kỳ thưa thớt.

Nó gây ra những vấn đề gì?

1. Tính thưa dữ liệu. Như đã đề cập, dữ liệu trở nên thưa, tức phần lớn không gian nhiều chiều là trống, khiến các tác vụ phân cụm và phân loại trở nên khó khăn.
2. Tăng chi phí tính toán. Nhiều chiều hơn đồng nghĩa cần nhiều tài nguyên và thời gian tính toán hơn để xử lý dữ liệu.
3. Quá khớp. Với số chiều cao, mô hình có thể trở nên quá phức tạp, khớp cả nhiễu thay vì khuôn mẫu ẩn, làm giảm khả năng tổng quát hóa lên dữ liệu mới.
4. Khoảng cách mất ý nghĩa. Ở không gian nhiều chiều, sự khác biệt giữa các khoảng cách có xu hướng trở nên không đáng kể, khiến các thước đo như khoảng cách Euclid kém ý nghĩa.
5. Suy giảm hiệu năng. Các thuật toán, đặc biệt là những thuật toán dựa vào đo khoảng cách như k-láng giềng gần nhất, có thể bị giảm hiệu suất.
6. Khó khăn khi trực quan hóa. Dữ liệu nhiều chiều khó trực quan hóa, khiến phân tích dữ liệu khám phá khó hơn.

Vì sao Lời nguyền về chiều xảy ra?

Chủ yếu vì khi thêm nhiều đặc trưng hay chiều, chúng ta đang tăng độ phức tạp của dữ liệu mà không nhất thiết tăng lượng thông tin hữu ích. Hơn nữa, trong không gian nhiều chiều, hầu hết các điểm dữ liệu nằm ở “rìa” hoặc “góc”, khiến dữ liệu thưa thớt.

Cách giải quyết Lời nguyền về chiều

Giải pháp chính là “giảm chiều”. Đây là quá trình giảm số lượng biến ngẫu nhiên được xem xét bằng cách thu được một tập biến chính. Bằng cách giảm số chiều, chúng ta có thể giữ lại phần thông tin quan trọng nhất trong dữ liệu đồng thời loại bỏ các đặc trưng dư thừa hoặc kém quan trọng.

Các phương pháp Giảm chiều

Phân tích Thành phần Chính (PCA)

PCA là một phương pháp thống kê biến đổi các biến gốc thành một tập biến mới là tổ hợp tuyến tính của các biến gốc. Những biến mới này được gọi là các thành phần chính.

Giả sử chúng ta có một tập dữ liệu chứa thông tin về nhiều khía cạnh của ô tô, như mã lực, mô-men xoắn, gia tốc và tốc độ tối đa. Chúng ta muốn giảm chiều của tập dữ liệu này bằng PCA.

Sử dụng PCA, chúng ta có thể tạo một tập biến mới gọi là các thành phần chính. Thành phần chính thứ nhất sẽ nắm bắt phương sai lớn nhất trong dữ liệu, có thể là sự kết hợp của mã lực và mô-men xoắn. Thành phần chính thứ hai có thể đại diện cho gia tốc và tốc độ tối đa. Bằng cách giảm chiều dữ liệu với PCA, chúng ta có thể trực quan hóa và phân tích tập dữ liệu hiệu quả hơn.

Phân tích Biệt thức Tuyến tính (LDA)

LDA nhằm xác định các thuộc tính giải thích phần lớn phương sai giữa các lớp. Nó đặc biệt hữu ích cho các tác vụ phân loại. Giả sử chúng ta có một tập dữ liệu với các đặc trưng của hoa, như chiều dài cánh, chiều rộng cánh, chiều dài đài và chiều rộng đài. Ngoài ra, mỗi bông hoa được gán nhãn là hồng hoặc loa kèn. Chúng ta có thể dùng LDA để xác định các thuộc tính giải thích phần lớn phương sai giữa hai lớp này.

LDA có thể phát hiện rằng chiều dài và chiều rộng cánh là các thuộc tính phân biệt mạnh nhất giữa hoa hồng và hoa loa kèn. Nó sẽ tạo một tổ hợp tuyến tính của các thuộc tính này để hình thành một biến mới, sau đó có thể dùng cho các tác vụ phân loại. Bằng cách giảm chiều với LDA, chúng ta có thể cải thiện độ chính xác của các mô hình phân loại hoa.

t-SNE (t-Distributed Stochastic Neighbor Embedding)

t-SNE là một kỹ thuật giảm chiều phi tuyến, đặc biệt hữu ích để trực quan hóa các tập dữ liệu nhiều chiều. Hãy xét một tập dữ liệu gồm ảnh của các loại động vật khác nhau như mèo, chó và chim. Mỗi ảnh được biểu diễn bằng một véc-tơ đặc trưng nhiều chiều trích xuất từ mạng nơ-ron sâu.

Sử dụng t-SNE, chúng ta có thể giảm chiều các véc-tơ đặc trưng này xuống hai chiều, cho phép trực quan hóa tập dữ liệu. Thuật toán t-SNE sẽ ánh xạ các động vật tương tự lại gần nhau hơn trong không gian giảm chiều, giúp chúng ta quan sát các cụm động vật tương tự. Trực quan hóa này giúp hiểu mối quan hệ và điểm tương đồng giữa các loại động vật một cách trực quan hơn.

Autoencoder

Đây là các mạng nơ-ron dùng để giảm chiều. Chúng hoạt động bằng cách nén đầu vào thành biểu diễn gọn và sau đó tái tạo lại đầu vào gốc từ biểu diễn đó. Giả sử chúng ta có một tập dữ liệu ảnh chữ số viết tay, như tập MNIST. Mỗi ảnh được biểu diễn bằng một véc-tơ điểm ảnh nhiều chiều.

Chúng ta có thể sử dụng một autoencoder, một dạng mạng nơ-ron, để giảm chiều. Autoencoder sẽ học cách nén các ảnh đầu vào vào một biểu diễn có số chiều thấp hơn, thường gọi là không gian tiềm ẩn (latent space). Không gian này sẽ nắm bắt những đặc trưng quan trọng nhất của ảnh. Sau đó, chúng ta có thể dùng autoencoder để tái tạo ảnh gốc từ biểu diễn trong không gian tiềm ẩn. Bằng cách giảm chiều với autoencoder, chúng ta có thể hiệu quả nắm bắt thông tin cốt lõi của ảnh đồng thời loại bỏ chi tiết không cần thiết.

Lời nguyền về chiều trong một dự án Khoa học dữ liệu

Trước khi xây dựng các mô hình học máy, chúng ta cần hiểu chiều trong dữ liệu dạng bảng là gì. Thông thường, chúng đề cập đến số cột hoặc số đặc trưng. Dù tôi đã làm việc với các tập dữ liệu một hoặc hai chiều, các tập dữ liệu thực tế có xu hướng có số chiều cao và phức tạp. Nếu chúng ta phân loại khách hàng, nhiều khả năng đang xử lý ít nhất 50 chiều.

Để sử dụng tập dữ liệu nhiều chiều, chúng ta có thể trích xuất đặc trưng (PCA, LDA) hoặc thực hiện chọn đặc trưng và chọn ra các đặc trưng có tác động cho mô hình. Ngoài ra, có nhiều mô hình hoạt động tốt trên dữ liệu nhiều chiều, như mạng nơ-ron và rừng ngẫu nhiên.

Khi xây dựng các mô hình phân loại ảnh, tôi không lo lắng về số chiều. Đôi khi, ảnh có thể có tới 7.500 chiều, điều này là nhiều đối với các thuật toán học máy thông thường nhưng lại dễ với mạng nơ-ron sâu. Chúng có thể hiểu các khuôn mẫu ẩn và học cách nhận diện nhiều loại ảnh khác nhau. Hầu hết các mô hình mạng nơ-ron hiện đại, như transformer, không bị ảnh hưởng bởi dữ liệu nhiều chiều. Những thuật toán bị ảnh hưởng chủ yếu là các thuật toán sử dụng đo khoảng cách, cụ thể là khoảng cách Euclid, cho phân loại và phân cụm.

Duyệt danh mục khóa học học máy phong phú của chúng tôi để nâng cao kỹ năng của bạn.