La maledizione della dimensionalità nel Machine Learning: sfide, impatti e soluzioni

La maledizione della dimensionalità si riferisce alle varie sfide e complicazioni che sorgono quando si analizzano e si organizzano dati in spazi ad alta dimensionalità (spesso centinaia o migliaia di dimensioni). Nel campo del machine learning è fondamentale comprendere questo concetto, perché all'aumentare del numero di caratteristiche o dimensioni in un dataset, la quantità di dati necessaria per generalizzare correttamente cresce in modo esponenziale.

La maledizione della dimensionalità spiegata

Che cosa sono le dimensioni?

Nel contesto dell'analisi dei dati e del machine learning, le dimensioni si riferiscono alle caratteristiche o agli attributi dei dati. Per esempio, se consideriamo un dataset di case, le dimensioni potrebbero includere il prezzo, la metratura, il numero di camere da letto, la posizione e così via.

Come si verifica la maledizione della dimensionalità?

Aggiungendo più dimensioni al nostro dataset, il volume dello spazio aumenta esponenzialmente. Questo significa che i dati diventano sparsi. Pensala così: se hai una linea (1D), è facile riempirla con pochi punti. Se hai un quadrato (2D), servono più punti per coprirne l'area. Ora immagina un cubo (3D): servirebbero ancora più punti per riempirne lo spazio. Questo concetto si estende a dimensioni superiori, rendendo i dati estremamente sparsi.

Quali problemi causa?

1. Sparsità dei dati. Come detto, i dati diventano sparsi, cioè la maggior parte dello spazio ad alta dimensionalità è vuota. Questo rende difficili i compiti di clustering e classificazione.
2. Maggiore computazione. Più dimensioni significano più risorse computazionali e tempo per elaborare i dati.
3. Overfitting. Con dimensioni più elevate, i modelli possono diventare eccessivamente complessi, adattandosi al rumore invece che al pattern sottostante. Questo riduce la capacità del modello di generalizzare su nuovi dati.
4. Le distanze perdono significato. In alte dimensioni, la differenza tra le distanze tra i punti tende a diventare trascurabile, rendendo misure come la distanza euclidea meno significative.
5. Degrado delle prestazioni. Gli algoritmi, soprattutto quelli che si basano sulle misure di distanza come i k-nearest neighbors, possono subire un calo di performance.
6. Problemi di visualizzazione. I dati ad alta dimensionalità sono difficili da visualizzare, complicando l'analisi esplorativa dei dati.

Perché si verifica la maledizione della dimensionalità?

Si verifica principalmente perché, aggiungendo più caratteristiche o dimensioni, aumentiamo la complessità dei dati senza necessariamente aumentare la quantità di informazione utile. Inoltre, negli spazi ad alta dimensionalità, la maggior parte dei punti dati si trova ai "bordi" o agli "angoli", rendendo i dati sparsi.

Come risolvere la maledizione della dimensionalità

La soluzione principale alla maledizione della dimensionalità è la "riduzione della dimensionalità". È un processo che riduce il numero di variabili aleatorie considerate ottenendo un insieme di variabili principali. Riducendo la dimensionalità, possiamo mantenere le informazioni più importanti nei dati scartando le caratteristiche ridondanti o meno rilevanti.

Metodi di riduzione della dimensionalità

Principal Component Analysis (PCA)

PCA è un metodo statistico che trasforma le variabili originali in un nuovo insieme di variabili, che sono combinazioni lineari delle variabili originali. Queste nuove variabili sono chiamate componenti principali.

Supponiamo di avere un dataset con informazioni su diversi aspetti delle auto, come potenza, coppia, accelerazione e velocità massima. Vogliamo ridurre la dimensionalità di questo dataset usando la PCA.

Con la PCA possiamo creare un nuovo insieme di variabili chiamate componenti principali. La prima componente principale catturerebbe la maggiore varianza nei dati, che potrebbe essere una combinazione di potenza e coppia. La seconda componente principale potrebbe rappresentare accelerazione e velocità massima. Riducendo la dimensionalità dei dati con la PCA, possiamo visualizzare e analizzare il dataset in modo più efficace.

Linear Discriminant Analysis (LDA)

LDA mira a identificare gli attributi che spiegano la maggiore varianza tra le classi. È particolarmente utile per i compiti di classificazione. Supponiamo di avere un dataset con varie caratteristiche dei fiori, come lunghezza e larghezza dei petali, lunghezza e larghezza dei sepali. Inoltre, ogni fiore nel dataset è etichettato come rosa o giglio. Possiamo usare LDA per identificare gli attributi che spiegano la maggiore varianza tra queste due classi.

LDA potrebbe scoprire che lunghezza e larghezza dei petali sono gli attributi più discriminanti tra rose e gigli. Creerebbe una combinazione lineare di questi attributi per formare una nuova variabile, da usare poi per i compiti di classificazione. Riducendo la dimensionalità con LDA, possiamo migliorare l'accuratezza dei modelli di classificazione dei fiori.

t-Distributed Stochastic Neighbor Embedding (t-SNE)

t-SNE è una tecnica non lineare di riduzione della dimensionalità particolarmente utile per visualizzare dataset ad alta dimensionalità. Consideriamo un dataset con immagini di diversi tipi di animali, come gatti, cani e uccelli. Ogni immagine è rappresentata da un vettore di caratteristiche ad alta dimensionalità estratto da una rete neurale profonda.

Con t-SNE possiamo ridurre la dimensionalità di questi vettori di caratteristiche a due dimensioni, così da poter visualizzare il dataset. L'algoritmo t-SNE mapperebbe gli animali simili più vicini tra loro nello spazio ridotto, permettendoci di osservare cluster di animali simili. Questa visualizzazione può aiutarci a comprendere in modo più intuitivo le relazioni e le somiglianze tra diversi tipi di animali.

Autoencoder

Sono reti neurali utilizzate per la riduzione della dimensionalità. Funzionano comprimendo l'input in una rappresentazione compatta e poi ricostruendo l'input originale a partire da tale rappresentazione. Supponiamo di avere un dataset di immagini di cifre scritte a mano, come il dataset MNIST. Ogni immagine è rappresentata da un vettore di pixel ad alta dimensionalità.

Possiamo usare un autoencoder, un tipo di rete neurale, per la riduzione della dimensionalità. L'autoencoder imparerebbe a comprimere le immagini di input in una rappresentazione a dimensionalità inferiore, spesso chiamata spazio latente. Questo spazio latente catturerebbe le caratteristiche più importanti delle immagini. Possiamo poi usare l'autoencoder per ricostruire le immagini originali dalla rappresentazione nello spazio latente. Riducendo la dimensionalità con gli autoencoder, possiamo catturare efficacemente le informazioni essenziali dalle immagini scartando i dettagli non necessari.

La maledizione della dimensionalità in un progetto di Data Science

Prima di costruire modelli di machine learning, dobbiamo capire cosa sono le dimensioni nei dati tabellari. In genere si riferiscono al numero di colonne o caratteristiche. Anche se ho lavorato con dataset a una o due dimensioni, i dataset reali tendono a essere ad alta dimensionalità e complessi. Se stiamo classificando i clienti, è probabile che stiamo gestendo almeno 50 dimensioni.

Per usare un dataset ad alta dimensionalità, possiamo effettuare estrazione di caratteristiche (PCA, LDA) oppure fare selezione delle caratteristiche e scegliere quelle più impattanti per i modelli. Inoltre, ci sono molti modelli che funzionano bene con dati ad alta dimensionalità, come le reti neurali e le random forest.

Quando costruisco modelli di classificazione di immagini, non mi preoccupo della dimensionalità. A volte l'immagine può avere fino a 7.500 dimensioni, che sono tante per i normali algoritmi di machine learning ma gestibili per le reti neurali profonde. Riescono a cogliere pattern nascosti e a imparare a identificare varie immagini. La maggior parte dei modelli neurali moderni, come i transformer, non sono influenzati dai dati ad alta dimensionalità. Gli unici algoritmi influenzati sono quelli che usano misure di distanza, in particolare la distanza euclidea, per classificazione e clustering.

Sfoglia il nostro ampio catalogo di corsi di machine learning e porta le tue competenze al livello successivo.