Sono passati più di settant’anni da quando il celebre matematico statunitense Samuel S. Wilks affermò: "Il pensiero statistico un giorno sarà necessario per una cittadinanza efficiente quanto saper leggere e scrivere", parafrasando il libro di HG Wells, Mankind in the Making. Anche se questa affermazione può sembrare un po’ esagerata, il messaggio di fondo sull’importanza della statistica resta attualissimo nell’era dell’informazione.
Fonte immagine: The American Statistical Association
Con il rapido avanzare della tecnologia e un’innovazione senza precedenti, il machine learning e la Generative AI sono passati in primo piano. Questi progressi hanno influenzato profondamente la nostra vita quotidiana e reso possibili decisioni basate sui dati su larga scala.
Nel mezzo del clamore attorno a queste tecnologie all’avanguardia, la statistica resta il fondamento di numerose innovazioni nel machine learning. È inseparabile dalla stessa essenza dei dati, che sono la base di tutte le nuove tecnologie entusiasmanti che ci circondano.
Che cos’è il Machine Learning Statistico?
Come suggerisce il nome, il machine learning statistico consiste nell’utilizzare tecniche statistiche per sviluppare modelli in grado di apprendere dai dati e formulare previsioni o decisioni.
In sostanza, il machine learning statistico unisce l’efficienza computazionale e l’adattabilità degli algoritmi di machine learning con le capacità di inferenza e modellazione della statistica. Avrai sentito parlare di termini tecnici come apprendimento supervisionato, non supervisionato e semi-supervisionato: tutti poggiano su basi statistiche solide.
Applicando metodi statistici, possiamo estrarre pattern, relazioni e insight significativi da dataset complessi, migliorando così l’efficacia degli algoritmi di machine learning.
Il ruolo della statistica nel Machine Learning
Dicevo che, in sostanza, la statistica fornisce il quadro teorico su cui sono costruiti gli algoritmi di machine learning. Ora voglio guardare più da vicino le differenze e come si integrano.
La statistica è la scienza che ci consente di raccogliere, analizzare, interpretare, presentare e organizzare i dati. Fornisce strumenti per comprendere pattern e trend e per fare inferenze e previsioni basate sui dati. Quando lavoriamo con grandi dataset, la statistica ci aiuta a comprendere e riassumere i dati, permettendoci di dare senso a pattern complessi.
Il machine learning, d’altra parte, è uno strumento potente che consente ai computer di apprendere dai dati e prendere decisioni o formulare previsioni. L’obiettivo finale è creare modelli che possano adattarsi e migliorare nel tempo, e generalizzare da esempi specifici a casi più ampi.
Qui emerge la bellezza della fusione tra statistica e machine learning. I principi della statistica sono i pilastri che sorreggono la struttura del machine learning.
- Costruzione di modelli di machine learning: La statistica fornisce metodologie e principi per creare modelli nel machine learning. Per esempio, il modello di regressione lineare sfrutta il metodo statistico dei minimi quadrati per stimare i coefficienti.
- Interpretazione dei risultati: I concetti statistici ci permettono di interpretare i risultati generati dai modelli di machine learning. Misure come p-value, intervalli di confidenza, R-quadrato e altre offrono una prospettiva statistica sulle prestazioni del modello.
- Validazione dei modelli: Tecniche statistiche sono essenziali per validare e perfezionare i modelli di machine learning. Ad esempio, test d’ipotesi, cross-validation e bootstrapping ci aiutano a quantificare le prestazioni dei modelli ed evitare problemi come l’overfitting.
- Fondamento di tecniche avanzate: Anche alcuni algoritmi più complessi, come le reti neurali, hanno principi statistici al loro nucleo. Le tecniche di ottimizzazione, come la discesa del gradiente, usate per addestrare questi modelli, si basano sulla teoria statistica.
Di conseguenza, una solida conoscenza della statistica non solo ci permette di costruire e validare meglio i modelli di machine learning, ma ci consente anche di interpretarne gli output in modo significativo e utile.
Vediamo ora alcuni concetti statistici chiave strettamente legati al machine learning. Puoi approfondirli nel nostro percorso Statistics Fundamentals with Python per fare pratica.
Probabilità
La teoria della probabilità è fondamentale nel machine learning perché fornisce le basi per modellare l’incertezza e formulare previsioni probabilistiche. Come possiamo quantificare la probabilità di esiti, eventi o semplici valori numerici diversi? La probabilità serve proprio a questo! Inoltre, le distribuzioni di probabilità sono particolarmente importanti nel machine learning e fanno avvenire tutta la magia.
Tra le distribuzioni più usate troviamo la gaussiana (normale), la Bernoulliana, la Poissoniana e l’esponenziale. Abbiamo anche una comoda cheat sheet sulla probabilità come riferimento rapido alle regole di probabilità.
Statistica descrittiva
La statistica descrittiva ci permette di comprendere le caratteristiche e le proprietà dei dataset. Aiuta a riassumere e visualizzare i dati, identificare pattern, rilevare outlier e ottenere insight iniziali che guidano la modellazione e l’analisi successive.
La nostra cheat sheet di statistica descrittiva può aiutarti a imparare questi concetti
Misure di tendenza centrale
Media, mediana e moda forniscono indicazioni preziose sui valori centrali o rappresentativi di un dataset. Nel machine learning, aiutano nel preprocessing dei dati per imputare valori mancanti e identificare potenziali outlier.
Durante la feature engineering, tornano utili per catturare i valori tipici o più frequenti che influenzano le prestazioni del modello.
Varianza e deviazione standard
Varianza e deviazione standard quantificano la dispersione dei punti dati attorno alla tendenza centrale. Sono indicatori della coerenza e variabilità dei dati nel machine learning.
Queste misure sono utili per la selezione delle feature o la riduzione della dimensionalità, aiutando a individuare caratteristiche con limitato potere predittivo.
Inoltre, aiutano a valutare le prestazioni del modello analizzando la variabilità delle previsioni o dei residui, facilitando la valutazione e il confronto tra algoritmi diversi.
Misure di dispersione
Range, intervallo interquartile e percentili sono misure di dispersione che offrono insight sulla distribuzione dei valori. Sono particolarmente utili per il rilevamento degli outlier, poiché aiutano a identificare e gestire valori anomali che possono influenzare notevolmente l’addestramento e le previsioni del modello. Quando occorre trasformare o normalizzare i dati per migliorare le prestazioni degli algoritmi, queste misure possono fornire indicazioni.
Campionamento
I modelli di machine learning vengono addestrati su dati campionati. Se i campioni non sono selezionati con cura, l’affidabilità dei nostri modelli diventa incerta. Idealmente, puntiamo a scegliere sottoinsiemi rappresentativi di dati da popolazioni più ampie.
L’uso di tecniche di campionamento adeguate garantisce anche che i modelli di machine learning siano addestrati su dati diversificati e non distorti, promuovendo un uso etico e responsabile della tecnologia.
Dai un’occhiata al nostro corso Sampling in Python per saperne di più su questa potente competenza.
Stima
Le tecniche di stima sono cruciali nel machine learning per determinare parametri incogniti della popolazione a partire dai dati campionati. Consentono di stimare i parametri del modello, valutarne le prestazioni e fare previsioni su dati non visti.
Il metodo di stima più comune nel machine learning è la Massima Verosimiglianza (ML), che trova lo stimatore di un parametro incognito massimizzando la funzione di verosimiglianza.
Test d’ipotesi
I test d’ipotesi offrono un approccio sistematico per valutare la significatività di relazioni o differenze nei compiti di machine learning. Permettono di verificare la validità delle assunzioni, confrontare modelli e prendere decisioni statisticamente significative sulla base delle evidenze disponibili.
Cross-validation
La Cross-Validation (CV) è una tecnica statistica usata nel machine learning per valutare le prestazioni e l’errore di generalizzazione di un algoritmo. Il suo scopo principale è prevenire l’overfitting, un fenomeno per cui il modello va bene sui dati di training ma non riesce a generalizzare a dati non visti.
Suddividendo il dataset in più sottoinsiemi e addestrando e valutando iterativamente il modello su combinazioni diverse, la CV fornisce una stima più affidabile delle prestazioni dell’algoritmo su dati non visti.
Tecniche popolari di Machine Learning Statistico
Questi concetti statistici complessi sono i primi passi verso algoritmi di machine learning efficaci. Esploriamo ora alcuni dei modelli più diffusi e vediamo come la statistica ne ha reso possibili le straordinarie capacità.
Regressione lineare
La regressione lineare è un termine comune nella letteratura statistica, ma è anche un algoritmo di apprendimento supervisionato che cattura la relazione tra una variabile dipendente e una o più variabili indipendenti.
La statistica aiuta a stimare i coefficienti, condurre test d’ipotesi e valutare la significatività delle relazioni, offrendo insight preziosi e una comprensione più profonda dei dati. Approfondisci l’argomento con il nostro tutorial Essentials of linear regression in Python o con il corso Introduction to Regression in R.
Regressione logistica
Come la regressione lineare, la regressione logistica è un algoritmo statistico di classificazione che stima la probabilità di esiti categoriali in base a variabili indipendenti. Applicando una funzione logistica, prevede l’appartenenza a una determinata classe.
Regressione logistica e lineare
Alberi decisionali
Gli alberi decisionali sono algoritmi versatili che usano la statistica per suddividere i dati in base alle feature, creando una struttura ad albero per classificazione o regressione. Sono intuitivi, interpretabili e gestiscono sia dati categorici che numerici.
Misure basate sulla statistica, come l’impurità di Gini o l’Information Gain, vengono spesso utilizzate per guidare gli split durante la costruzione dell’albero.
Puoi approfondire la Decision Tree Classification in Python in un tutorial dedicato o esplorare gli alberi decisionali nel Machine Learning con R.
Random forest
La Random Forest è un metodo di ensemble che migliora l’accuratezza predittiva combinando più alberi decisionali. Utilizza il campionamento per selezionare casualmente sottoinsiemi di feature e dati con cui costruire gli alberi. Le previsioni dei singoli alberi vengono poi aggregate per ottenere la previsione finale.
Questo algoritmo è una scelta potente perché introduce diversità e riduce l’overfitting. La diversità consente un modello più robusto e completo, capace di catturare un’ampia gamma di pattern nei dati, mentre la riduzione dell’overfitting assicura una buona generalizzazione su dati non visti, rendendolo uno strumento affidabile e accurato per l’analisi predittiva.
Abbiamo un tutorial dedicato alla classificazione con Random Forest, che spiega come e quando usare questa tecnica statistica nel machine learning.
Un esempio di classificazione con random forest
Support Vector Machines (SVM)
Le SVM sono algoritmi potenti utilizzabili per compiti di classificazione e regressione. Usano principi statistici per creare un confine tra gruppi di punti dati diversi, rendendo più semplice distinguerli. Ottimizzando questo confine, le SVM riducono le probabilità di errore e migliorano l’accuratezza complessiva.
Abbiamo tutorial su support vector machines con scikit-learn in Python e sulle SVM in R.
K-Nearest Neighbors (KNN)
Il KNN è un algoritmo semplice ma efficace usato per classificare i punti dati in base al voto di maggioranza dei vicini più prossimi. È adatto sia a problemi di classificazione sia di regressione e non richiede un addestramento vero e proprio.
Nel KNN si utilizzano misure statistiche per determinare la prossimità tra punti dati, aiutando a identificare i vicini più prossimi. Il voto di maggioranza dei vicini viene poi usato per classificare o prevedere la variabile target.
Anche in questo caso, puoi approfondire il concetto di KNN con il nostro tutorial K-Nearest Neighbors Classification con scikit-learn.
Considerazioni finali
Mentre attraversiamo questa entusiasmante era di progresso tecnologico e decisioni guidate dai dati, acquisire una solida comprensione della statistica diventa prezioso per potenziare le nostre competenze di machine learning. Approfondendo i fondamenti della statistica, apriamo la porta per liberare il vero potenziale del machine learning.
Che tu sia alle prime armi o già esperto, inizia oggi il tuo percorso con i track Statistics Fundamentals with Python e Machine Learning Fundamentals with Python per saperne di più sull’affascinante campo del machine learning statistico!
Fonti
- All of Statistics (A Concise Course in Statistical Inference) di Larry Wasserman
- The Elements of Statistical Learning di Jerome H. Friedman, Robert Tibshirani e Trevor Hastie
