Estrazione di feature nel Machine Learning: guida completa

L'estrazione di feature nel machine learning trasforma i dati grezzi in un insieme di caratteristiche significative, catturando le informazioni essenziali e riducendo al contempo la ridondanza. Può includere tecniche di riduzione della dimensionalità e metodi che creano nuove feature a partire dai dati esistenti.

Immagina di dover identificare la frutta in un mercato. Potresti considerare innumerevoli attributi (peso, colore, texture, forma, odore, ecc.), ma potresti renderti conto che poche feature chiave come colore e dimensione bastano a distinguere tra mele e arance. È esattamente ciò che fa l'estrazione di feature: ti aiuta a concentrarti sulle caratteristiche più informative dei tuoi dati.

Durante l'estrazione di feature, i dati originali vengono trasformati matematicamente in un nuovo insieme di caratteristiche. Queste nuove feature sono progettate per catturare gli aspetti più importanti dei dati, riducendone potenzialmente la complessità. Le feature estratte spesso rappresentano pattern o strutture sottostanti che potrebbero non essere immediatamente evidenti nei dati originali.

Estrazione di feature

Nelle prossime sezioni vedremo perché l'estrazione di feature è così importante nel machine learning ed esploreremo vari metodi per estrarre feature da diversi tipi di dati, insieme al loro codice. Se vuoi esempi pratici, dai un'occhiata al nostro corso Dimensionality Reduction in Python, che dedica un capitolo all'estrazione di feature.

Perché l'estrazione di feature è importante nel Machine Learning?

L'estrazione di feature ha un ruolo fondamentale nel machine learning. Può fare la differenza tra un modello che fallisce e uno che ha successo. Vediamo perché è così essenziale per costruire modelli efficaci.

Migliorare accuratezza ed efficienza del modello

Quando lavori con dati grezzi, i modelli di machine learning spesso faticano a distinguere tra pattern significativi e rumore. L'estrazione di feature funge da passo di preprocessing che può migliorare sensibilmente l'apprendimento e le prestazioni dei tuoi modelli.

Prestazioni del modello rispetto al tempo di training

Per esempio, se un modello ottiene l'85% di accuratezza con dati grezzi, lo stesso modello potrebbe raggiungere il 95% di accuratezza se addestrato su feature estratte con cura. Questo miglioramento non deriva dal cambiare il modello, ma dal fornirgli dati di input di qualità migliore da cui imparare.

Gestire dataset ad alta dimensionalità

I dataset moderni spesso includono centinaia o migliaia di feature. Questo comporta diverse sfide che l'estrazione di feature aiuta ad affrontare.

• La maledizione della dimensionalità: all'aumentare del numero di feature, i dati diventano sempre più sparsi nello spazio delle feature. Questo rende più difficile per i modelli trovare pattern significativi. L'estrazione di feature crea una rappresentazione più compatta che preserva le relazioni importanti riducendo la dimensionalità.
• Alto uso di memoria: i dati ad alta dimensionalità richiedono più spazio di archiviazione e memoria durante l'elaborazione. Estraendo solo le feature più rilevanti, possiamo ridurre significativamente l'impronta in memoria dei nostri dataset mantenendone il valore informativo.
• Visualizzazione dei dati: è impossibile visualizzare direttamente dati con più di tre dimensioni. L'estrazione di feature può ridurre la dimensionalità a due o tre caratteristiche, rendendo possibile tracciare e comprendere visivamente la struttura dei dati.

L'estrazione di feature affronta queste sfide riducendo la dimensionalità e preservando le informazioni essenziali. Questa riduzione trasforma dati vasti e ad alta dimensionalità in una forma più compatta e gestibile, con conseguente aumento delle prestazioni del modello.

Ridurre la complessità computazionale e prevenire l'overfitting

L'estrazione di feature offre due benefici cruciali per i modelli di machine learning:

1. Minori requisiti computazionali
1. Meno feature significano tempi di training più rapidi
2. Uso di memoria ridotto durante il deployment del modello
3. Generazione di previsioni più efficiente
2. Migliore generalizzazione
1. Spazi di feature più semplici aiutano a prevenire l'overfitting
2. I modelli apprendono pattern più robusti
3. Prestazioni migliori su dati nuovi e mai visti

Con estrazione di feature vs senza estrazione di feature

La visualizzazione sopra mostra come l'estrazione di feature possa portare a modelli più semplici e robusti. Il grafico a sinistra mostra un modello complesso che cerca di adattarsi a dati rumorosi e ad alta dimensionalità, mentre quello a destra mostra come l'estrazione di feature possa rivelare un pattern più chiaro e generalizzabile.

Lavorare con feature estratte anziché con dati grezzi è come fornire al tuo modello una versione chiara e distillata delle informazioni da cui deve imparare. Questo rende non solo il processo di apprendimento più efficiente, ma porta anche a modelli più performanti nelle applicazioni reali.

Ora vediamo diversi metodi di estrazione di feature.

Metodi di estrazione di feature

I metodi di estrazione di feature si possono suddividere in due approcci principali: feature engineering manuale ed estrazione automatica di feature. Vediamo entrambi per capire come trasformano i dati grezzi in caratteristiche significative.

Feature engineering manuale

Il feature engineering manuale consiste nell'usare la conoscenza del dominio per identificare e creare feature rilevanti dai dati grezzi. Questo approccio pratico si basa sulla comprensione del problema e dei dati per costruire feature significative.

Nel processing di immagini, il feature engineering manuale può includere tecniche come il rilevamento dei bordi per identificare i contorni degli oggetti, gli istogrammi di colore per catturare la distribuzione cromatica, l'analisi della texture per quantificare i pattern e i descrittori di forma per caratterizzare la geometria degli oggetti.

Estrazione di feature da immagini

Per i dati tabellari, il feature engineering manuale include la creazione di termini di interazione tra feature esistenti, la trasformazione delle variabili con funzioni logaritmiche o polinomiali, l'aggregazione dei punti dati in statistiche significative e la codifica delle variabili categoriche. 

Estrazione di feature da dati tabellari

Queste tecniche, guidate dall'esperienza nel dominio, migliorano la qualità della rappresentazione dei dati e possono aumentare significativamente le prestazioni del modello.

Estrazione automatica di feature

L'estrazione automatica di feature utilizza algoritmi per scoprire e creare caratteristiche senza una guida esplicita umana. Questi metodi sono particolarmente utili con dataset complessi, dove il feature engineering manuale potrebbe essere poco pratico o inefficiente.

Approcci automatici comuni includono:

Principal Component Analysis (PCA): trasforma i dati in un insieme di componenti non correlati, ciascuno dei quali cattura la massima varianza residua. Questo approccio è particolarmente utile per la riduzione della dimensionalità, poiché preserva le informazioni essenziali semplificando la struttura dei dati.

Principal Component Analysis (PCA)

Autoencoder: reti neurali che apprendono rappresentazioni compresse dei dati, catturando relazioni non lineari. Sono particolarmente efficaci per dataset ad alta dimensionalità, dove i metodi lineari tradizionali possono non bastare.

Sono emersi vari strumenti e librerie per semplificare i compiti di feature engineering. Ad esempio, il modulo decomposition di Scikit-learn offre una gamma di metodi per la riduzione della dimensionalità, e PyCaret fornisce funzionalità di selezione automatica delle feature.

Sia gli approcci manuali sia quelli automatici hanno i loro punti di forza. Vediamo i punti di forza di ciascuno.

La scelta tra metodi manuali e automatici dipende spesso da fattori come la complessità del dataset, la disponibilità di expertise di dominio, i requisiti di interpretabilità, le risorse computazionali e i vincoli di tempo.

Per dataset altamente complessi o quando tempo e risorse sono limitati, i metodi automatici possono generare rapidamente feature utili. Al contrario, i metodi manuali possono essere preferibili quando è disponibile conoscenza del dominio e l'interpretabilità è una priorità, consentendo un feature engineering su misura e allineato al problema.

Nella pratica, molti progetti di machine learning di successo combinano entrambi gli approcci, usando l'expertise di dominio per guidare il feature engineering e sfruttando metodi automatici per scoprire pattern aggiuntivi che potrebbero non essere immediatamente evidenti agli esperti umani.

Nella prossima sezione, vedremo diverse tecniche di estrazione di feature in vari domini.

Tecniche di estrazione di feature

Ogni tipo di dato richiede tecniche di estrazione di feature specifiche, ottimizzate per le sue caratteristiche uniche. Vediamo le tecniche più comuni per diversi tipi di dati.

Tecniche di estrazione di feature

Estrazione di feature da immagini

L'estrazione di feature da immagini trasforma i dati di pixel grezzi in rappresentazioni significative che catturano informazioni visive essenziali. Le tecniche usate nella computer vision moderna rientrano in tre categorie principali: metodi tradizionali, metodi basati sul deep learning e metodi statistici.

Metodi di estrazione di feature da immagini

Vediamo ciascun metodo.

Metodi tradizionali di computer vision

Scale-Invariant Feature Transform (SIFT) è un metodo robusto che rileva feature locali distintive nelle immagini. Funziona identificando keypoint e generando descrittori che sono:

• Invarianti a scala e rotazione
• Parzialmente invarianti a cambiamenti di illuminazione
• Robusti a distorsioni geometriche locali

L'algoritmo SIFT elabora le immagini in diverse fasi. Inizia con la rilevazione di estremi nello spazio delle scale per identificare potenziali keypoint invarianti alla scala. Poi, la localizzazione dei keypoint affina questi candidati individuandone la posizione precisa ed eliminando i punti instabili.

Successivamente, l'assegnazione dell'orientamento determina un orientamento coerente per ogni keypoint, garantendo l'invarianza alla rotazione. Infine, la generazione dei descrittori dei keypoint crea descrittori distintivi basati sui gradienti locali dell'immagine, facilitando un matching robusto tra immagini.

Un altro metodo è l'Histogram of Oriented Gradients (HOG). Cattura informazioni sulla forma locale analizzando i pattern dei gradienti in tutta l'immagine. Il processo inizia calcolando i gradienti per evidenziare i dettagli dei bordi. 

L'immagine viene quindi suddivisa in piccole celle e, per ciascuna cella, si crea un istogramma delle orientazioni dei gradienti per riassumere la struttura locale. Infine, questi istogrammi vengono normalizzati su blocchi più grandi per garantire robustezza alle variazioni di illuminazione e contrasto, risultando in un descrittore di feature robusto per compiti come il rilevamento e il riconoscimento di oggetti.

Metodi di deep learning

Le Convolutional Neural Networks (CNN) hanno cambiato il modo in cui facciamo estrazione di feature imparando automaticamente rappresentazioni gerarchiche.

Estrazione di feature con CNN

Le CNN apprendono le feature attraverso la loro struttura gerarchica. Nei primi strati rilevano elementi visivi di base come bordi e colori. Gli strati intermedi combinano questi elementi per riconoscere pattern e forme, mentre gli strati più profondi catturano oggetti complessi e consentono la comprensione della scena.

Il transfer learning permette di usare queste feature preimparate da modelli addestrati su grandi dataset, risultando particolarmente prezioso quando si lavora con pochi dati.

Metodi statistici

I metodi statistici estraggono pattern sia globali sia locali dalle immagini, facilitando un'analisi e un'interpretazione robuste. 

Per esempio, gli istogrammi di colore rappresentano la distribuzione dei colori in un'immagine e forniscono feature invarianti a rotazione e scala, risultando particolarmente utili per compiti come classificazione e ricerca di immagini.

L'analisi della texture cattura pattern ripetuti e caratteristiche di superficie usando tecniche come le Gray Level Co-occurrence Matrices (GLCM), efficaci per applicazioni come il riconoscimento dei materiali e la classificazione di scene.

Inoltre, il rilevamento dei bordi individua confini e variazioni significative di intensità tramite metodi come gli operatori di Sobel, Canny e Laplaciano, giocando un ruolo cruciale nel rilevamento di oggetti e nell'analisi delle forme.

La scelta del metodo di estrazione delle feature dipende da diversi fattori. Dovrebbe allinearsi ai requisiti specifici del tuo task, considerare le risorse computazionali disponibili e tenere conto della necessità di interpretabilità. 

Inoltre, contano le caratteristiche del tuo dataset—come dimensione, livelli di rumore e complessità—così come le proprietà di invarianza richieste, ad esempio scala, rotazione e illuminazione.

Estrazione di feature dall'audio

Immagina di insegnare a un computer a comprendere il parlato come fanno gli esseri umani. È qui che entrano in gioco i Mel-Frequency Cepstral Coefficients (MFCC).

Gli MFCC sono feature audio speciali che scompongono il suono in modo simile a come lo elaborano le nostre orecchie. Sono particolarmente efficaci perché si concentrano sulle frequenze a cui siamo più sensibili. Pensali come una traduzione del suono in un formato significativo sia per i computer sia per l'udito umano.

Mel-Frequency Cepstral Coefficients

Il processo inizia suddividendo il segnale audio in brevi segmenti, tipicamente lunghi 20-40 millisecondi. Per ogni segmento, applichiamo una serie di trasformazioni matematiche che convertono le onde sonore grezze in componenti di frequenza. Qui entra in gioco la Mel scale.

Questa formula può sembrare complessa, ma serve semplicemente a mappare le frequenze in modo da rispecchiare come gli esseri umani percepiscono il suono. Le nostre orecchie rilevano meglio le differenze nelle frequenze basse rispetto a quelle alte, e la scala Mel tiene conto di questo bias naturale.

Nel riconoscimento vocale, gli MFCC sono la base per capire chi sta parlando e cosa sta dicendo. Quando parli con l'assistente virtuale del tuo telefono, probabilmente usa gli MFCC per elaborare la tua voce. Questi coefficienti aiutano a catturare le caratteristiche uniche della voce di ciascuno, rendendoli preziosi per i sistemi di identificazione del parlante.

Per l'analisi del sentiment nel parlato, gli MFCC aiutano a rilevare le sottili variazioni della voce che indicano emozioni. Possono catturare cambiamenti in pitch, tono e velocità del parlato che indicano se qualcuno è felice, triste, arrabbiato o neutro. Ad esempio, nell'analisi delle chiamate di assistenza clienti, gli MFCC possono aiutare a identificare il livello di soddisfazione in base a come si parla, non solo a ciò che si dice.

Estrazione di feature da serie temporali

Quando si lavora con i dati delle serie temporali, l'estrazione di feature significative ci aiuta a catturare pattern e trend che evolvono nel tempo. Vediamo alcune tecniche chiave per trasformare dati grezzi di serie temporali in feature utili.

Metodi di estrazione di feature per serie temporali

La Trasformata di Fourier scompone i dati di una serie temporale nelle sue componenti in frequenza, rivelando pattern periodici nascosti. La formula è:

I metodi statistici completano l'analisi in frequenza catturando le caratteristiche temporali. Le feature comuni includono medie mobili, deviazioni standard e componenti di trend. Queste tecniche sono particolarmente potenti nella previsione finanziaria, dove aiutano a identificare trend di mercato e anomalie.

Ad esempio, nell'analisi del mercato azionario, combinare feature di Fourier con misure statistiche può rivelare sia i trend di lungo periodo sia pattern ciclici. Allo stesso modo, nei contesti industriali, questi metodi aiutano a rilevare anomalie delle apparecchiature analizzando nel tempo i pattern dei dati dei sensori.

Strumenti e librerie per l'estrazione di feature

Vediamo alcuni strumenti essenziali che rendono l'implementazione di questi metodi di estrazione di feature semplice ed efficiente.

Strumenti e librerie per l'estrazione di feature

Per il processing di immagini, OpenCV e scikit-image offrono strumenti completi per implementare varie tecniche di estrazione di feature. Queste librerie forniscono implementazioni efficienti di SIFT, HOG e altri algoritmi di cui abbiamo parlato. Quando lavori con approcci di deep learning, framework come TensorFlow e PyTorch diventano preziosi. Puoi iniziare dal nostro tutorial su OpenCV per saperne di più.

Per l'audio, librerie come LibROSA semplificano i task di processing ed eccellono nell'estrazione di MFCC e altre feature acustiche. PyAudioAnalysis estende queste capacità con interfacce di alto livello per l'analisi audio.

Per i dati di serie temporali, tsfresh e Featuretools automatizzano il processo di estrazione. Queste librerie possono generare e selezionare automaticamente feature rilevanti dai tuoi dati temporali, permettendoti di concentrarti sullo sviluppo del modello piuttosto che sul feature engineering.

Esempio di estrazione di feature

Mettiamo in pratica quanto visto con alcuni esempi. Partiremo dall'estrazione di feature da immagini, una delle applicazioni più comuni nella computer vision.

Estrazione di feature da immagini con OpenCV 

Per prima cosa importiamo le librerie necessarie

# Import required libraries
import cv2
import numpy as np
import matplotlib.pyplot as pltOfferto da

Ora carichiamo un'immagine da cui estrarre le feature rilevanti. Per questo esempio useremo un'immagine di Godzilla scaricata da internet.

# Load the image
image = cv2.imread('godzilla.jpg')

# Convert BGR to RGB (OpenCV loads in BGR format)
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

# Display the original image
plt.imshow(image_rgb)
plt.title('Original Image')
plt.axis('off')
plt.show()Offerto da

Output:

Prima di applicare il rilevamento dei bordi, dobbiamo effettuare il preprocessing dell'immagine. Ecco come:

# Convert the image to grayscale
gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# Apply Gaussian blur to reduce noise
blurred = cv2.GaussianBlur(gray_image, (5, 5), 0)Offerto da

Infine applichiamo l'algoritmo di rilevamento dei bordi di Canny e visualizziamo i risultati:

# Apply Canny edge detection
edges = cv2.Canny(blurred, threshold1=100, threshold2=200)

# Display the results
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.imshow(image_rgb)
plt.title('Original Image')
plt.axis('off')

plt.subplot(1, 2, 2)
plt.imshow(edges, cmap='gray')
plt.title('Edge Detection')
plt.axis('off')

plt.tight_layout()
plt.show()Offerto da

Output:

Il detector di Canny ci aiuta a identificare confini e feature importanti nell'immagine, utili per analisi successive o come input per modelli di machine learning.

Estrazione degli MFCC dall'audio con LibROSA

Prima di elaborare file audio, dobbiamo installare le librerie richieste. Poiché LibROSA non è incluso nella libreria standard di Python, useremo pip per installarlo:

# Install required libraries
# Run these commands in your terminal or command prompt
pip install librosa
pip install numpy
pip install matplotlibOfferto da

LibROSA è una potente libreria per l'analisi di musica e audio, quindi iniziamo importandola insieme alle altre librerie necessarie:

# Import required libraries
import librosa
import librosa.display
import numpy as np
import matplotlib.pyplot as pltOfferto da

I file audio contengono molte informazioni in forma di waveform. Per lavorare con questi dati, dobbiamo prima caricarli nel programma. LibROSA ci aiuta convertendo il file audio in un formato analizzabile:

# Load the audio file
# Duration is limited to 10 seconds for this example
audio_path = 'audio_sample.wav'
y, sr = librosa.load(audio_path, duration=10)

# Display the waveform
plt.figure(figsize=(10, 4))
plt.plot(y)
plt.title('Audio Waveform')
plt.show()Offerto da

Output:

Ora che l'audio è caricato, dobbiamo estrarne feature significative. Le nostre orecchie scompongono naturalmente il suono in diverse componenti di frequenza e gli MFCC imitano questo processo. Usiamo la funzione di estrazione di feature di librosa per calcolare questi coefficienti:

# Extract MFCC features
mfccs = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13)

# Display the MFCC
plt.figure(figsize=(10, 4))
librosa.display.specshow(mfccs, x_axis='time')
plt.colorbar(format='%+2.0f dB')
plt.title('MFCC')
plt.show()Offerto da

Output:

Qui impostiamo n_mfcc=13 perché i primi 13 coefficienti catturano tipicamente gli aspetti più importanti del suono utili in task come il riconoscimento vocale. La visualizzazione risultante mostra come queste feature cambiano nel tempo, dove i colori più chiari rappresentano valori più alti.

Estrazione di feature da serie temporali con tsfresh

Per prima cosa installiamo le librerie richieste. Useremo yfinance per ottenere dati finanziari, insieme a tsfresh per l'estrazione di feature:

# Install required libraries
# Run these commands in your terminal or command prompt
pip install tsfresh
pip install pandas
pip install numpy
pip install matplotlib
pip install yfinanceOfferto da

Ora importiamo le librerie e scarichiamo alcuni dati finanziari reali:

# Import required libraries
import pandas as pd
import numpy as np
from tsfresh import extract_features
from tsfresh.feature_extraction import MinimalFCParameters
import matplotlib.pyplot as plt
import yfinance as yfOfferto da

Recuperiamo alcuni dati reali di borsa. Useremo come esempio i dati delle azioni Apple:

# Download Apple's stock data for the last 2 years
aapl = yf.Ticker("AAPL")
df = aapl.history(period="2y")

# Prepare the data in the format tsfresh expects
df_tsfresh = pd.DataFrame({
    'id': [0] * len(df),  # Each time series needs an ID
    'time': range(len(df)),
    'closing_price': df['Close']  # We'll use closing prices
})

# Display first few rows of our data
print("Original stock data shape:", df_tsfresh.shape)
print("\nFirst few rows:")
print(df_tsfresh.head())Offerto da

Output:

Ora estraiamo feature dai nostri dati finanziari di serie temporali:

# Set up the feature extraction parameters
extraction_settings = MinimalFCParameters()

# Extract features automatically
extracted_features = extract_features(df_tsfresh, 
                                   column_id='id', 
                                   column_sort='time',
                                   column_value='values',
                                   default_fc_parameters=extraction_settings)

# Display the extracted features
print("\nExtracted features shape:", extracted_features.shape)
print("\nExtracted features:")
print(extracted_features.head())Offerto da

Output:

Qui usiamo MinimalFCParameters() per specificare quali feature estrarre. Otteniamo così un set di base di feature significative per serie temporali, come media, varianza e caratteristiche di trend, essenziali per comprendere i pattern nei nostri dati.

Sfide nell'estrazione di feature

Nel lavorare con l'estrazione di feature si incontrano spesso delle sfide.

Alta dimensionalità e vincoli computazionali emergono spesso con dataset di grandi dimensioni. Per esempio, estrarre feature da immagini ad alta risoluzione o file audio lunghi può consumare molta memoria e potenza di calcolo.

Un'altra sfida comune è l'overfitting dovuto a feature irrilevanti o ridondanti. Quando si estraggono troppe feature, i modelli potrebbero imparare il rumore invece di pattern significativi. Questo accade spesso nell'elaborazione di immagini e audio, dove si possono generare migliaia di feature.

Per superare queste sfide, considera queste strategie:

• Usa la conoscenza del dominio per selezionare feature rilevanti
• Applica metodi di selezione delle feature per ridurre la dimensionalità
• Implementa tecniche di feature engineering adeguate al tuo tipo di dati

Queste sfide richiedono una valutazione attenta e un bilanciamento tra ricchezza di feature ed efficienza computazionale.

Conclusione

L'estrazione di feature è una competenza fondamentale nel machine learning che trasforma i dati grezzi in rappresentazioni significative. Attraverso gli esempi pratici con OpenCV, LibROSA e tsfresh, abbiamo visto come estrarre feature da diversi tipi di dati. Comprendendo queste tecniche e le relative sfide, possiamo costruire modelli di machine learning efficaci.

Pronto a fare un passo in più? Dai un'occhiata a queste risorse:

• Tutorial sulla selezione delle feature in Python
• Feature Engineering per l'NLP in Python
• Riduzione della dimensionalità in Python
• Feature Engineering per il Machine Learning in Python