Test di ipotesi nel Machine Learning

Il test di ipotesi serve a trarre inferenze o conclusioni sulla popolazione complessiva o sui dati eseguendo alcuni test statistici su un campione. Le stesse inferenze si traggono per diversi modelli di machine learning tramite il test t, di cui parlerò in questo tutorial.

Per trarre delle inferenze, dobbiamo fare delle assunzioni che portano a due termini usati nel test di ipotesi.

• Ipotesi nulla: è l'assunzione che non ci sia alcun pattern anomalo, o la credenza in linea con l'assunzione fatta.

• Ipotesi alternativa: in contrasto con l'ipotesi nulla, indica che l'osservazione è il risultato di un effetto reale.

Valore p

Può essere considerato come l'evidenza o il livello di significatività per l'ipotesi nulla o negli algoritmi di machine learning. È l'importanza dei predittori rispetto al target.

In genere, si seleziona un livello di significatività del 5%, ma in alcuni casi è un tema di discussione. Se hai una forte conoscenza a priori del funzionamento dei tuoi dati, puoi decidere il livello di significatività.

Al contrario, se il valore p è inferiore a 0,05 in un modello di machine learning rispetto a una variabile indipendente, allora la variabile è considerata rilevante, il che significa che presenta un comportamento eterogeneo rispetto al target, utile e apprendibile dagli algoritmi di machine learning.

I passaggi coinvolti nel test di ipotesi sono i seguenti:

• Assumi un'ipotesi nulla; di solito, negli algoritmi di machine learning consideriamo che non ci sia anomalia tra il target e la variabile indipendente.

• Raccogli un campione

• Calcola le statistiche del test

• Decidi se accettare o rifiutare l'ipotesi nulla

Calcolo delle statistiche del test o t

Per calcolare le statistiche t, creiamo uno scenario.

Supponiamo che ci sia un'azienda che produce container per spedizioni e affermi che ogni container pesa 1000 kg, né meno né più. Un'affermazione del genere sembra sospetta, quindi procediamo a raccogliere dati e creare un campione.

Dopo aver raccolto un campione di 30 container, abbiamo riscontrato che il peso medio del container è 990 kg con una deviazione standard di 12,5 kg.

Quindi, calcolo delle statistiche del test:

T = (Media - Affermazione)/ (Deviazione standard / Dimensione del campione^(1/2))

Che risulta -4,3818 dopo aver inserito tutti i numeri.

Ora calcoliamo il valore t per una significatività di 0,05 e i gradi di libertà.

Nota: Gradi di libertà = Dimensione del campione - 1

Dalla tabella t il valore sarà -1,699.

Dopo il confronto, possiamo vedere che le statistiche generate sono inferiori alle statistiche del livello di significatività desiderato. Quindi possiamo rifiutare l'affermazione fatta.

Puoi calcolare il valore t usando la funzione stats.t.ppf() della classe stats della libreria scipy.

Errori

Poiché il test di ipotesi viene eseguito su un campione di dati anziché sull'intera popolazione a causa della mancanza di risorse in termini di dati, il fatto di trarre inferenze su dati campionari può portare a errori, che possono essere classificati in due parti:

• Errore di tipo I: in questo errore, rifiutiamo l'ipotesi nulla quando è vera.

• Errore di tipo II: in questo errore, accettiamo l'ipotesi nulla quando è falsa.

Altri approcci

Esistono molti approcci diversi per testare le ipotesi di due modelli, ad esempio creando due modelli sulle caratteristiche a nostra disposizione. Un modello comprende tutte le caratteristiche e l'altro ne ha una in meno. In questo modo possiamo testare la significatività delle singole caratteristiche. Tuttavia, l'interdipendenza tra le feature influisce su metodi così semplici.

Nei problemi di regressione, in genere seguiamo la regola del valore p: le feature che violano il livello di significatività vengono rimosse, migliorando così iterativamente il modello.

Sono presenti approcci diversi per ciascun algoritmo per testare l'ipotesi su feature differenti.

Se vuoi approfondire le basi delle inferenze bayesiane, segui il corso di DataCamp Fundamentals of Bayesian Data Analysis in R.

Dai un'occhiata al nostro tutorial Machine Learning Basics.