Immagina di voler prevedere i prezzi delle case in base ai metri quadrati. Hai dei punti dati da vendite recenti, ma non formano un modello perfetto. Alcune case si vendono a più del previsto e altre a meno. Come trovi la migliore linea di tendenza che rifletta la relazione complessiva tra dimensione e prezzo senza lasciare che le singole case mandino fuori strada la tua previsione?
Il metodo dei minimi quadrati potrebbe essere proprio la soluzione che ti serve. In questo articolo esploreremo i concetti fondamentali del metodo dei minimi quadrati, le sue varianti e le sue applicazioni. Alla fine avrai una solida comprensione di come usare questo metodo e applicarlo a problemi reali.
Che cos'è il metodo dei minimi quadrati?
Il metodo dei minimi quadrati è una tecnica statistica utilizzata per determinare la migliore retta o curva di adattamento per un insieme di punti dati. Funziona minimizzando le differenze al quadrato tra i valori osservati e quelli previsti in un dataset. La differenza tra i punti dati effettivi e i valori previsti dal modello si chiama residuo. L'obiettivo è trovare un modello che minimizzi la somma di questi residui al quadrato, portando alle previsioni più accurate possibili.
Il diagramma sopra offre una breve spiegazione dei passaggi del metodo dei minimi quadrati.
Questo metodo fu derivato dal diciottenne Carl Friedrich Gauss nel 1795 (forse riconosci il suo nome dalla distribuzione gaussiana). Adrien-Marie Legendre in seguito formalizzò la tecnica nel 1805 e fu il primo a scrivere un articolo usando il metodo dei minimi quadrati per ricostruire l'orbita di un asteroide.
Come funziona il metodo dei minimi quadrati
Il metodo dei minimi quadrati trova la retta che si adatta meglio a un insieme di punti minimizzando la somma delle differenze al quadrato tra i valori osservati e quelli previsti. Questo si usa per trovare i parametri del modello con l'adattamento più vicino possibile.
Proviamolo con un dataset estremamente piccolo: solo 10 punti. Per prima cosa, dobbiamo scegliere un modello da adattare ai nostri dati. Per questo esempio semplice, sceglieremo una regressione lineare semplice, il che significa che stiamo eseguendo una regressione con esattamente una variabile indipendente e una dipendente.
Il grafico sopra mostra il nostro piccolo dataset, con una regressione lineare sovrapposta. Le linee gialle tratteggiate che collegano i punti dati alla retta prevista sono i residui. L'obiettivo è trovare il modello di regressione lineare che minimizza queste linee tratteggiate gialle dei residui.
Per ogni punto nel nostro dataset, dobbiamo trovare la differenza nelle coordinate y tra il punto e la retta. Questi saranno i nostri residui. Quindi eleviamo al quadrato ogni residuo per eliminare eventuali valori negativi e prendiamo la somma totale. Questo ci darà un'idea di quanto bene la nostra retta si adatti ai dati. Dai un'occhiata alla tabella qui sotto per il dettaglio relativo al nostro grafico specifico.
|
Coordinata X
|
Coordinata Y osservata (Punto dato)
|
Coordinata Y prevista (Retta)
|
Residui (Osservata - Prevista)
|
Residui al quadrato
|
|
0
|
2.5
|
2.0
|
0.5
|
0.25
|
|
1
|
3.1
|
2.3
|
0.8
|
0.64
|
|
2
|
1.8
|
2.6
|
-0.8
|
0.64
|
|
3
|
3.5
|
2.9
|
0.6
|
0.36
|
|
4
|
2.2
|
3.2
|
-1.0
|
1.0
|
|
5
|
4.0
|
3.5
|
0.5
|
0.25
|
|
6
|
3.8
|
3.8
|
0.0
|
0.0
|
|
7
|
5.0
|
4.1
|
0.9
|
0.81
|
|
8
|
4.5
|
4.4
|
0.1
|
0.01
|
|
9
|
5.2
|
4.7
|
0.5
|
0.25
|
|
Somma dei residui al quadrato
| | | |
4.21
|
Ora che abbiamo un'idea di quanto bene questa retta si adatti ai nostri dati, possiamo modificare i parametri della retta, cioè la pendenza o l'intercetta, e rieseguire i calcoli. La retta che ha la somma più bassa dei residui al quadrato è quella che si adatta meglio ai nostri dati. Di conseguenza, quella retta ci darà le previsioni migliori.
Usare il metodo dei minimi quadrati per trovare la retta migliore
Nell'esempio sopra non abbiamo trovato la retta di miglior adattamento. Abbiamo solo calcolato quanto bene quella retta si adattasse ai dati. Ora potremmo iterare su un mucchio di possibili rette ed eseguire lo stesso calcolo per trovare quelle che si adattano meglio. Oppure potremmo usare un po' di algebra per trovare più rapidamente la retta migliore. Proviamoci.
Partiremo dall'equazione della regressione lineare: y=mx+b, dove b è l'intercetta sull'asse y e m è la pendenza. Ora inventiamo qualche dato.
|
Coordinata X
|
Coordinata Y
|
|
0
|
2.5
|
|
1
|
3.1
|
|
2
|
1.8
|
|
3
|
3.5
|
|
4
|
2.2
|
|
5
|
4.0
|
|
6
|
3.8
|
|
7
|
5.0
|
|
8
|
4.5
|
|
9
|
5.2
|
Per prima cosa, dobbiamo calcolare la media dei valori X e Y. Queste fungeranno da valori previsti:
Successivamente possiamo usare la somma dei quadrati dei nostri residui tra ciascun punto dato e il nostro valore previsto (la media) per trovare la pendenza. Ecco l'equazione che useremo:
Dato che è un'equazione piuttosto impegnativa da fare a mano, calcoleremo separatamente il numeratore e il denominatore. Iniziamo dal numeratore:
|
xi
|
yi
|
xi - xmean
|
yi - ymean
|
(xi - xmean)(yi -ymean)
|
|
0
|
2.5
|
-4.5
|
-1.06
|
4.77
|
|
1
|
3.1
|
-3.5
|
-0.46
|
1.61
|
|
2
|
1.8
|
-2.5
|
-1.76
|
4.40
|
|
3
|
3.5
|
-1.5
|
-0.06
|
0.09
|
|
4
|
2.2
|
-0.5
|
-1.36
|
0.68
|
|
5
|
4.0
|
0.5
|
0.44
|
0.22
|
|
6
|
3.8
|
1.5
|
0.24
|
0.36
|
|
7
|
5.0
|
2.5
|
1.44
|
3.60
|
|
8
|
4.5
|
3.5
|
0.94
|
3.29
|
|
9
|
5.2
|
4.5
|
1.64
|
7.38
|
|
Somma di (xi - xmean)(yi - ymean)
| | | |
26.4
|
Ora facciamo lo stesso per il denominatore:
|
xi
|
xi - xmean
|
(xi - xmean)2
|
|
0
|
-4.5
|
20.25
|
|
1
|
-3.5
|
12.25
|
|
2
|
-2.5
|
6.25
|
|
3
|
-1.5
|
2.25
|
|
4
|
-0.5
|
0.25
|
|
5
|
0.5
|
0.25
|
|
6
|
1.5
|
2.25
|
|
7
|
2.5
|
6.25
|
|
8
|
3.5
|
12.25
|
|
9
|
4.5
|
20.25
|
|
Somma di (xi - xmean)2
| |
82.50
|
Ora possiamo calcolare la pendenza della nostra retta di miglior adattamento.
Ora conosciamo la pendenza della retta che si adatterà meglio ai nostri dati. Successivamente dobbiamo trovare la nostra intercetta sull'asse y. La formula per l'intercetta b è facile da ottenere con un po' di rimaneggiamento algebrico:
Poiché conosciamo già la pendenza, possiamo semplicemente inserire le nostre medie di x e y e risolvere per b.
Ora che abbiamo sia m che b, possiamo scrivere l'equazione della retta di miglior adattamento:
Il metodo dei minimi quadrati ci ha permesso di derivare in modo rapido e semplice la migliore retta di regressione lineare, persino a mano! Ovviamente, più dati hai, più sarà difficile farlo a mano. Fortunatamente, dato che la matematica è abbastanza lineare, è molto semplice implementare questo metodo in Python o R. Per spiegazioni dettagliate su come farlo, consulta Essentials of Linear Regression in Python e How to Do Linear Regression in R.
Fondamenti matematici del metodo dei minimi quadrati
Sopra abbiamo usato un esempio con regressione lineare semplice e abbiamo trovato pendenza e intercetta usando comode equazioni in forma chiusa, e abbiamo modellato la variabile dipendente come funzione della variabile indipendente: y=mx+b.
Tuttavia, le equazioni mostrate sopra funzionano solo quando hai una variabile indipendente. Un altro modo per trovare i coefficienti per una regressione è usare quella che è nota come equazione normale, che fornisce una soluzione al problema dei minimi quadrati basata su matrici. L'equazione normale si riferisce all'equazione matriciale che risulta dalla minimizzazione della somma dei residui al quadrato usando il metodo dei minimi quadrati. Geometricamente, e usando il linguaggio dell'algebra lineare, la soluzione ai minimi quadrati può essere visualizzata come la proiezione ortogonale del vettore dei dati osservati sullo spazio delle colonne della matrice del modello. In parole povere, questo significa semplicemente che gli errori sono minimizzati in modo da garantire che i valori previsti si trovino il più vicino possibile ai dati osservati, date le limitazioni del modello.
Nei casi in cui la matrice non è invertibile (il che significa che il sistema di equazioni non ha una soluzione unica), la pseudoinversa di Moore-Penrose fornisce un modo per calcolare una soluzione ai minimi quadrati. Questo ci dà la flessibilità di gestire situazioni in cui il sistema è sottodeterminato (cioè ci sono più incognite che equazioni) o sovradeterminato (cioè ci sono più equazioni che incognite).
Se ti serve un ripasso di algebra delle matrici, ti consiglio il corso Linear Algebra for Data Science in R.
Tipi di metodi dei minimi quadrati
Finora abbiamo parlato di usare il metodo dei minimi quadrati con un estimatore dei minimi quadrati ordinari. Tuttavia, è uno strumento versatile che può essere adattato a molti scenari a seconda della natura del problema che stai affrontando. Esploriamo alcuni tipi di metodi dei minimi quadrati, cosa li rende unici e i loro usi pratici.
Minimi quadrati lineari
A questo punto dovresti essere piuttosto familiare con i minimi quadrati lineari (noti anche come minimi quadrati ordinari). Si usa con modelli che hanno coefficienti lineari, come nelle regressioni semplici o multiple. L'obiettivo è trovare la retta (o l'iperpiano, nel caso di regressioni lineari multiple) che minimizza la somma dei residui al quadrato.
Questo tipo di minimi quadrati assume che i residui abbiano varianza costante e che non ci siano outlier significativi nei dati. Si può applicare alla maggior parte dei casi con una relazione lineare. Ad esempio, potresti usarlo per le relazioni tra durata della gestazione e peso alla nascita o tra spesa pubblicitaria e ricavi di vendita. È il tipo di minimi quadrati che uso più spesso e di cui sento più spesso parlare.
Minimi quadrati ponderati
I minimi quadrati ponderati sono un'estensione di questo metodo che funziona quando la varianza dei residui non è costante. Assegnando pesi a ciascun punto dato, i minimi quadrati ponderati danno più importanza alle osservazioni con varianza più bassa. L'equazione per questo è simile alla precedente somma dei quadrati, ma con un peso (wi) applicato a ciascun residuo:
Questo metodo è utile per dataset in cui l'errore di misurazione varia tra le osservazioni, ad esempio nella calibrazione dei sensori. I pesi sono tipicamente l'inverso della varianza per ciascuna osservazione.
Minimi quadrati robusti
I minimi quadrati robusti sono progettati per gestire dataset con outlier che possono influenzare in modo sproporzionato i risultati dei minimi quadrati ordinari. Usano tecniche di ripesatura iterativa per ridurre l'impatto degli outlier.
Nei minimi quadrati robusti puoi usare metodi come le deviazioni assolute minime (LAR) o i pesi bisquare per regolare iterativamente i pesi e attenuare l'influenza degli outlier.
Un esempio di utilizzo è nella modellizzazione finanziaria, dove vuoi tener conto di crolli di mercato estremi. Se hai un dataset in cui non vuoi rimuovere gli outlier ma vuoi comunque considerarli, i minimi quadrati robusti possono essere la strada giusta.
Minimi quadrati non lineari
I minimi quadrati non sono riservati solo alle regressioni lineari. I minimi quadrati non lineari si usano quando il modello che stai applicando è non lineare nei suoi coefficienti. Questo è più complicato dei minimi quadrati lineari e può richiedere tecniche di ottimizzazione iterative (come Gauss–Newton o Levenberg–Marquardt) per trovare il miglior adattamento.
Bisogna fare attenzione con i minimi quadrati non lineari. Il calcolo può essere sensibile alle stime iniziali dei parametri e a problemi di convergenza. Esempi d'uso includono la modellizzazione della crescita esponenziale di virus in un organismo durante un'infezione o la modellizzazione dei tassi di reazione chimica in laboratorio.
Minimi quadrati totali
Finora abbiamo parlato soprattutto di casi in cui solo la variabile dipendente presenta errori. E abbiamo minimizzato le distanze verticali tra il nostro modello e i dati. Ma se avessi errori anche nelle misure delle variabili indipendenti?
I minimi quadrati totali sono utili quando sia le variabili indipendenti che quelle dipendenti presentano errori di misurazione. Questo metodo tiene conto degli errori in tutte le variabili. Può essere particolarmente utile in campi come l'astronomia e la geodesia (la disciplina che misura la forma della Terra e il campo gravitazionale), dove sono presenti errori di misurazione in tutte le dimensioni a causa dell'alto livello di precisione necessario. I minimi quadrati totali vengono spesso usati insieme alla decomposizione ai valori singolari.
Minimi quadrati generalizzati
I minimi quadrati generalizzati sono un'estensione del metodo dei minimi quadrati che affronta le sfide poste dai residui correlati. Con i minimi quadrati generalizzati trasformiamo i dati in una forma in cui si possono applicare i minimi quadrati ordinari. Questa trasformazione comporta l'uso della matrice di covarianza dei residui per tenere conto della loro struttura di correlazione, consentendo stime dei parametri più accurate.
Può essere particolarmente utile in situazioni come le analisi di serie temporali, in cui i residui possono mostrare autocorrelazione.
Applicazioni del metodo dei minimi quadrati
Il metodo dei minimi quadrati è una tecnica statistica ampiamente utilizzata con applicazioni in numerosi campi.
In statistica e data science, i minimi quadrati si usano per costruire modelli di regressione lineare e non lineare per fare previsioni basate su input noti. È utile anche nell'analisi delle tendenze, in particolare nei dati di serie temporali.
In finanza, i minimi quadrati si usano nell'analisi delle performance azionarie, aiutando a determinare la relazione tra l'andamento di un titolo e gli indici di mercato. Ad esempio, si può usare per calcolare la sensibilità di un titolo ai movimenti del mercato. Aiuta anche nella modellizzazione del rischio adattando modelli a dati finanziari storici per stimare rischio e rendimento.
Gli ingegneri usano i minimi quadrati nella calibrazione dei sensori per adattare modelli ai dati osservati e minimizzare gli errori di misurazione. Si applica anche nell'elaborazione dei segnali per filtraggio e riduzione del rumore, consentendo un'interpretazione dei dati più chiara.
Naturalmente, i minimi quadrati hanno avuto origine in astronomia; il primo utilizzo fu da parte di Carl Friedrich Gauss per prevedere l'orbita dell'asteroide Cerere. Si usano anche in geodesia per modellare la forma della Terra sulla base di dati osservativi, fondamentale per misurazioni geografiche accurate.
Se hai sperimentato con il machine learning, riconoscerai il metodo dei minimi quadrati come metodo per minimizzare la funzione di perdita durante l'addestramento di modelli di regressione lineare. Potresti averlo usato anche durante la selezione delle caratteristiche per identificare le variabili più importanti che contribuiscono al modello.
Ha un ruolo anche in molte altre scienze dure, come fisica e chimica. Si può usare per adattare curve a dati sperimentali, come tassi di reazione o misurazioni fisiche, e aiutare a minimizzare gli errori negli allestimenti sperimentali.
Il metodo dei minimi quadrati è uno strumento statistico versatile. Personalmente, l'ho usato per calibrare sensori di pressione, fare previsioni basate sui miei dati sperimentali e durante l'addestramento di modelli di machine learning. La capacità di modellare in modo affidabile le relazioni e minimizzare gli errori è una caratteristica che offre valore a molte discipline diverse.
Assunzioni e diagnostica
Il metodo dei minimi quadrati fa alcune ipotesi chiave sui tuoi dati e sul modello utilizzato. È importante comprendere queste assunzioni, perché violarle può portare a risultati distorti o inaffidabili. Quindi, discutiamo queste assunzioni e come diagnosticare e affrontare eventuali problemi.
Un'assunzione è l'indipendenza degli errori, il che significa che i residui non dovrebbero essere correlati. Se gli errori sono correlati tra loro, in particolare in dati sequenziali o spaziali, le stime possono risultare distorte. Il test di Durbin-Watson può rilevare l'autocorrelazione nei residui, soprattutto per i dataset dipendenti dal tempo. Se trovi una correlazione, puoi usare i minimi quadrati generalizzati per tenerne conto.
Un'altra assunzione è che la varianza dei residui rimanga costante a tutti i livelli della variabile indipendente. Se i residui mostrano una dispersione a imbuto quando sono tracciati rispetto ai valori adattati, questa assunzione è probabilmente violata. Per affrontare questo problema, puoi usare i minimi quadrati ponderati per assegnare pesi appropriati alle tue osservazioni. In alternativa, puoi usare trasformazioni come aggiustamenti logaritmici o radice quadrata per stabilizzare la varianza diseguale e risolvere eventuali problemi di eteroscedasticità.
Come per tutta la modellizzazione, è importante che la struttura rifletta la relazione sottostante tra le variabili. Se non lo fa, non importa quanto sia ottimizzato l'adattamento: i risultati saranno comunque fuorvianti. I grafici dei residui e le metriche di bontà di adattamento come R² possono aiutarti a determinare se il modello scelto cattura i pattern nei dati.
Il metodo dei minimi quadrati standard presume che le variabili indipendenti siano misurate senza errore. Quindi è importante conoscere la precisione della tua misura indipendente. Dovresti avere un'idea della precisione di questa misura guardando ai metodi di raccolta. Se esistono errori di misurazione nel tuo predittore, assicurati di usare i minimi quadrati totali per mitigare le imprecisioni nella tua modellizzazione.
Infine, la distribuzione degli errori residui gioca un ruolo significativo, in particolare nei test d'ipotesi e nella stima degli intervalli di confidenza. I minimi quadrati presumono che gli errori seguano una distribuzione normale (gaussiana), e deviazioni dalla normalità possono influenzare l'inferenza. Istogrammi e grafici Q-Q aiutano a valutare se i residui si allineano con le distribuzioni attese. Se hai deviazioni significative dalla normalità, tecniche di regressione robusta o metodi di bootstrapping possono fornire stime più affidabili e meno sensibili agli outlier.
Vantaggi e svantaggi dei minimi quadrati
Il metodo dei minimi quadrati è uno strumento ampiamente utilizzato nell'analisi dei dati. Ma questo non significa che vada usato per ogni dataset.
Il metodo dei minimi quadrati offre diversi vantaggi. È abbastanza semplice da calcolare, soprattutto per i modelli lineari. È facilmente interpretabile sia da pubblici tecnici che non tecnici. Inoltre, esistono diversi stili, come regressione ponderata, robusta e non lineare, che lo rendono altamente versatile. E, cosa importante, ha una solida base teorica fornita dal teorema di Gauss-Markov. Tutto ciò rende i minimi quadrati ampiamente applicabili e usati in campi che vanno dall'economia all'ingegneria.
Tuttavia, il metodo è sensibile agli outlier, che possono influenzare in modo sproporzionato i risultati del modello. Presume anche che non ci siano errori nei predittori, cosa che potrebbe non essere vera nei dati del mondo reale. Inoltre, i minimi quadrati possono essere limitati dalla multicollinearità, il che significa che predittori altamente correlati possono portare a coefficienti instabili e quindi a stime inaffidabili. Richiede anche varianza costante dei residui, una condizione che potrebbe non essere sempre soddisfatta.
È importante esaminare attentamente il tuo dataset e il tuo obiettivo prima di decidere che il metodo dei minimi quadrati sia lo strumento migliore per la tua situazione.
|
Vantaggi
|
Svantaggi
|
|
Facilità di calcolo
|
Sensibilità agli outlier
|
|
Interpretabilità
|
Presuppone assenza di errori nei predittori
|
|
Ampia applicabilità
|
Limitazioni con multicollinearità
|
|
Solida base teorica
|
Assunzione di varianza costante
|
Conclusione
Il metodo dei minimi quadrati è uno strumento fondamentale per qualsiasi data analyst. Trovando il miglior adattamento per i nostri dati, possiamo fare previsioni più accurate e individuare tendenze più significative.
Per approfondire la misurazione delle linee rette nello spazio euclideo, ti consiglio il nostro tutorial Understanding Euclidean Distance: From Theory to Practice. Inoltre, assicurati di iscriverti ai nostri corsi sulla regressione per diventare davvero esperto.
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23EFEBE4%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23F7F3EB%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23D87300%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
Immagina di voler prevedere i prezzi delle case in base ai metri quadrati. Hai dei punti dati da vendite recenti, ma non formano un modello perfetto. Alcune case si vendono a più del previsto e altre a meno. Come trovi la migliore linea di tendenza che rifletta la relazione complessiva tra dimensione e prezzo senza lasciare che le singole case mandino fuori strada la tua previsione?
Il metodo dei minimi quadrati potrebbe essere proprio la soluzione che ti serve. In questo articolo esploreremo i concetti fondamentali del metodo dei minimi quadrati, le sue varianti e le sue applicazioni. Alla fine avrai una solida comprensione di come usare questo metodo e applicarlo a problemi reali.
Che cos'è il metodo dei minimi quadrati?
Il metodo dei minimi quadrati è una tecnica statistica utilizzata per determinare la migliore retta o curva di adattamento per un insieme di punti dati. Funziona minimizzando le differenze al quadrato tra i valori osservati e quelli previsti in un dataset. La differenza tra i punti dati effettivi e i valori previsti dal modello si chiama residuo. L'obiettivo è trovare un modello che minimizzi la somma di questi residui al quadrato, portando alle previsioni più accurate possibili.
Il diagramma sopra offre una breve spiegazione dei passaggi del metodo dei minimi quadrati.
Questo metodo fu derivato dal diciottenne Carl Friedrich Gauss nel 1795 (forse riconosci il suo nome dalla distribuzione gaussiana). Adrien-Marie Legendre in seguito formalizzò la tecnica nel 1805 e fu il primo a scrivere un articolo usando il metodo dei minimi quadrati per ricostruire l'orbita di un asteroide.
Come funziona il metodo dei minimi quadrati
Il metodo dei minimi quadrati trova la retta che si adatta meglio a un insieme di punti minimizzando la somma delle differenze al quadrato tra i valori osservati e quelli previsti. Questo si usa per trovare i parametri del modello con l'adattamento più vicino possibile.
Proviamolo con un dataset estremamente piccolo: solo 10 punti. Per prima cosa, dobbiamo scegliere un modello da adattare ai nostri dati. Per questo esempio semplice, sceglieremo una regressione lineare semplice, il che significa che stiamo eseguendo una regressione con esattamente una variabile indipendente e una dipendente.
Il grafico sopra mostra il nostro piccolo dataset, con una regressione lineare sovrapposta. Le linee gialle tratteggiate che collegano i punti dati alla retta prevista sono i residui. L'obiettivo è trovare il modello di regressione lineare che minimizza queste linee tratteggiate gialle dei residui.
Per ogni punto nel nostro dataset, dobbiamo trovare la differenza nelle coordinate y tra il punto e la retta. Questi saranno i nostri residui. Quindi eleviamo al quadrato ogni residuo per eliminare eventuali valori negativi e prendiamo la somma totale. Questo ci darà un'idea di quanto bene la nostra retta si adatti ai dati. Dai un'occhiata alla tabella qui sotto per il dettaglio relativo al nostro grafico specifico.
Coordinata X
Coordinata Y osservata (Punto dato)
Coordinata Y prevista (Retta)
Residui (Osservata - Prevista)
Residui al quadrato
0
2.5
2.0
0.5
0.25
1
3.1
2.3
0.8
0.64
2
1.8
2.6
-0.8
0.64
3
3.5
2.9
0.6
0.36
4
2.2
3.2
-1.0
1.0
5
4.0
3.5
0.5
0.25
6
3.8
3.8
0.0
0.0
7
5.0
4.1
0.9
0.81
8
4.5
4.4
0.1
0.01
9
5.2
4.7
0.5
0.25
Somma dei residui al quadrato
4.21
Ora che abbiamo un'idea di quanto bene questa retta si adatti ai nostri dati, possiamo modificare i parametri della retta, cioè la pendenza o l'intercetta, e rieseguire i calcoli. La retta che ha la somma più bassa dei residui al quadrato è quella che si adatta meglio ai nostri dati. Di conseguenza, quella retta ci darà le previsioni migliori.
Usare il metodo dei minimi quadrati per trovare la retta migliore
Nell'esempio sopra non abbiamo trovato la retta di miglior adattamento. Abbiamo solo calcolato quanto bene quella retta si adattasse ai dati. Ora potremmo iterare su un mucchio di possibili rette ed eseguire lo stesso calcolo per trovare quelle che si adattano meglio. Oppure potremmo usare un po' di algebra per trovare più rapidamente la retta migliore. Proviamoci.
Partiremo dall'equazione della regressione lineare: y=mx+b, dove b è l'intercetta sull'asse y e m è la pendenza. Ora inventiamo qualche dato.
Coordinata X
Coordinata Y
0
2.5
1
3.1
2
1.8
3
3.5
4
2.2
5
4.0
6
3.8
7
5.0
8
4.5
9
5.2
Per prima cosa, dobbiamo calcolare la media dei valori X e Y. Queste fungeranno da valori previsti:
Successivamente possiamo usare la somma dei quadrati dei nostri residui tra ciascun punto dato e il nostro valore previsto (la media) per trovare la pendenza. Ecco l'equazione che useremo:
Dato che è un'equazione piuttosto impegnativa da fare a mano, calcoleremo separatamente il numeratore e il denominatore. Iniziamo dal numeratore:
xi
yi
xi - xmean
yi - ymean
(xi - xmean)(yi -ymean)
0
2.5
-4.5
-1.06
4.77
1
3.1
-3.5
-0.46
1.61
2
1.8
-2.5
-1.76
4.40
3
3.5
-1.5
-0.06
0.09
4
2.2
-0.5
-1.36
0.68
5
4.0
0.5
0.44
0.22
6
3.8
1.5
0.24
0.36
7
5.0
2.5
1.44
3.60
8
4.5
3.5
0.94
3.29
9
5.2
4.5
1.64
7.38
Somma di (xi - xmean)(yi - ymean)
26.4
Ora facciamo lo stesso per il denominatore:
xi
xi - xmean
(xi - xmean)2
0
-4.5
20.25
1
-3.5
12.25
2
-2.5
6.25
3
-1.5
2.25
4
-0.5
0.25
5
0.5
0.25
6
1.5
2.25
7
2.5
6.25
8
3.5
12.25
9
4.5
20.25
Somma di (xi - xmean)2
82.50
Ora possiamo calcolare la pendenza della nostra retta di miglior adattamento.
Ora conosciamo la pendenza della retta che si adatterà meglio ai nostri dati. Successivamente dobbiamo trovare la nostra intercetta sull'asse y. La formula per l'intercetta b è facile da ottenere con un po' di rimaneggiamento algebrico:
Poiché conosciamo già la pendenza, possiamo semplicemente inserire le nostre medie di x e y e risolvere per b.
Ora che abbiamo sia m che b, possiamo scrivere l'equazione della retta di miglior adattamento:
Il metodo dei minimi quadrati ci ha permesso di derivare in modo rapido e semplice la migliore retta di regressione lineare, persino a mano! Ovviamente, più dati hai, più sarà difficile farlo a mano. Fortunatamente, dato che la matematica è abbastanza lineare, è molto semplice implementare questo metodo in Python o R. Per spiegazioni dettagliate su come farlo, consulta Essentials of Linear Regression in Python e How to Do Linear Regression in R.
Fondamenti matematici del metodo dei minimi quadrati
Sopra abbiamo usato un esempio con regressione lineare semplice e abbiamo trovato pendenza e intercetta usando comode equazioni in forma chiusa, e abbiamo modellato la variabile dipendente come funzione della variabile indipendente: y=mx+b.
Tuttavia, le equazioni mostrate sopra funzionano solo quando hai una variabile indipendente. Un altro modo per trovare i coefficienti per una regressione è usare quella che è nota come equazione normale, che fornisce una soluzione al problema dei minimi quadrati basata su matrici. L'equazione normale si riferisce all'equazione matriciale che risulta dalla minimizzazione della somma dei residui al quadrato usando il metodo dei minimi quadrati. Geometricamente, e usando il linguaggio dell'algebra lineare, la soluzione ai minimi quadrati può essere visualizzata come la proiezione ortogonale del vettore dei dati osservati sullo spazio delle colonne della matrice del modello. In parole povere, questo significa semplicemente che gli errori sono minimizzati in modo da garantire che i valori previsti si trovino il più vicino possibile ai dati osservati, date le limitazioni del modello.
Nei casi in cui la matrice non è invertibile (il che significa che il sistema di equazioni non ha una soluzione unica), la pseudoinversa di Moore-Penrose fornisce un modo per calcolare una soluzione ai minimi quadrati. Questo ci dà la flessibilità di gestire situazioni in cui il sistema è sottodeterminato (cioè ci sono più incognite che equazioni) o sovradeterminato (cioè ci sono più equazioni che incognite).
Se ti serve un ripasso di algebra delle matrici, ti consiglio il corso Linear Algebra for Data Science in R.
Tipi di metodi dei minimi quadrati
Finora abbiamo parlato di usare il metodo dei minimi quadrati con un estimatore dei minimi quadrati ordinari. Tuttavia, è uno strumento versatile che può essere adattato a molti scenari a seconda della natura del problema che stai affrontando. Esploriamo alcuni tipi di metodi dei minimi quadrati, cosa li rende unici e i loro usi pratici.
Minimi quadrati lineari
A questo punto dovresti essere piuttosto familiare con i minimi quadrati lineari (noti anche come minimi quadrati ordinari). Si usa con modelli che hanno coefficienti lineari, come nelle regressioni semplici o multiple. L'obiettivo è trovare la retta (o l'iperpiano, nel caso di regressioni lineari multiple) che minimizza la somma dei residui al quadrato.
Questo tipo di minimi quadrati assume che i residui abbiano varianza costante e che non ci siano outlier significativi nei dati. Si può applicare alla maggior parte dei casi con una relazione lineare. Ad esempio, potresti usarlo per le relazioni tra durata della gestazione e peso alla nascita o tra spesa pubblicitaria e ricavi di vendita. È il tipo di minimi quadrati che uso più spesso e di cui sento più spesso parlare.
Minimi quadrati ponderati
I minimi quadrati ponderati sono un'estensione di questo metodo che funziona quando la varianza dei residui non è costante. Assegnando pesi a ciascun punto dato, i minimi quadrati ponderati danno più importanza alle osservazioni con varianza più bassa. L'equazione per questo è simile alla precedente somma dei quadrati, ma con un peso (wi) applicato a ciascun residuo:
Questo metodo è utile per dataset in cui l'errore di misurazione varia tra le osservazioni, ad esempio nella calibrazione dei sensori. I pesi sono tipicamente l'inverso della varianza per ciascuna osservazione.
Minimi quadrati robusti
I minimi quadrati robusti sono progettati per gestire dataset con outlier che possono influenzare in modo sproporzionato i risultati dei minimi quadrati ordinari. Usano tecniche di ripesatura iterativa per ridurre l'impatto degli outlier.
Nei minimi quadrati robusti puoi usare metodi come le deviazioni assolute minime (LAR) o i pesi bisquare per regolare iterativamente i pesi e attenuare l'influenza degli outlier.
Un esempio di utilizzo è nella modellizzazione finanziaria, dove vuoi tener conto di crolli di mercato estremi. Se hai un dataset in cui non vuoi rimuovere gli outlier ma vuoi comunque considerarli, i minimi quadrati robusti possono essere la strada giusta.
Minimi quadrati non lineari
I minimi quadrati non sono riservati solo alle regressioni lineari. I minimi quadrati non lineari si usano quando il modello che stai applicando è non lineare nei suoi coefficienti. Questo è più complicato dei minimi quadrati lineari e può richiedere tecniche di ottimizzazione iterative (come Gauss–Newton o Levenberg–Marquardt) per trovare il miglior adattamento.
Bisogna fare attenzione con i minimi quadrati non lineari. Il calcolo può essere sensibile alle stime iniziali dei parametri e a problemi di convergenza. Esempi d'uso includono la modellizzazione della crescita esponenziale di virus in un organismo durante un'infezione o la modellizzazione dei tassi di reazione chimica in laboratorio.
Minimi quadrati totali
Finora abbiamo parlato soprattutto di casi in cui solo la variabile dipendente presenta errori. E abbiamo minimizzato le distanze verticali tra il nostro modello e i dati. Ma se avessi errori anche nelle misure delle variabili indipendenti?
I minimi quadrati totali sono utili quando sia le variabili indipendenti che quelle dipendenti presentano errori di misurazione. Questo metodo tiene conto degli errori in tutte le variabili. Può essere particolarmente utile in campi come l'astronomia e la geodesia (la disciplina che misura la forma della Terra e il campo gravitazionale), dove sono presenti errori di misurazione in tutte le dimensioni a causa dell'alto livello di precisione necessario. I minimi quadrati totali vengono spesso usati insieme alla decomposizione ai valori singolari.
Minimi quadrati generalizzati
I minimi quadrati generalizzati sono un'estensione del metodo dei minimi quadrati che affronta le sfide poste dai residui correlati. Con i minimi quadrati generalizzati trasformiamo i dati in una forma in cui si possono applicare i minimi quadrati ordinari. Questa trasformazione comporta l'uso della matrice di covarianza dei residui per tenere conto della loro struttura di correlazione, consentendo stime dei parametri più accurate.
Può essere particolarmente utile in situazioni come le analisi di serie temporali, in cui i residui possono mostrare autocorrelazione.
Applicazioni del metodo dei minimi quadrati
Il metodo dei minimi quadrati è una tecnica statistica ampiamente utilizzata con applicazioni in numerosi campi.
In statistica e data science, i minimi quadrati si usano per costruire modelli di regressione lineare e non lineare per fare previsioni basate su input noti. È utile anche nell'analisi delle tendenze, in particolare nei dati di serie temporali.
In finanza, i minimi quadrati si usano nell'analisi delle performance azionarie, aiutando a determinare la relazione tra l'andamento di un titolo e gli indici di mercato. Ad esempio, si può usare per calcolare la sensibilità di un titolo ai movimenti del mercato. Aiuta anche nella modellizzazione del rischio adattando modelli a dati finanziari storici per stimare rischio e rendimento.
Gli ingegneri usano i minimi quadrati nella calibrazione dei sensori per adattare modelli ai dati osservati e minimizzare gli errori di misurazione. Si applica anche nell'elaborazione dei segnali per filtraggio e riduzione del rumore, consentendo un'interpretazione dei dati più chiara.
Naturalmente, i minimi quadrati hanno avuto origine in astronomia; il primo utilizzo fu da parte di Carl Friedrich Gauss per prevedere l'orbita dell'asteroide Cerere. Si usano anche in geodesia per modellare la forma della Terra sulla base di dati osservativi, fondamentale per misurazioni geografiche accurate.
Se hai sperimentato con il machine learning, riconoscerai il metodo dei minimi quadrati come metodo per minimizzare la funzione di perdita durante l'addestramento di modelli di regressione lineare. Potresti averlo usato anche durante la selezione delle caratteristiche per identificare le variabili più importanti che contribuiscono al modello.
Ha un ruolo anche in molte altre scienze dure, come fisica e chimica. Si può usare per adattare curve a dati sperimentali, come tassi di reazione o misurazioni fisiche, e aiutare a minimizzare gli errori negli allestimenti sperimentali.
Il metodo dei minimi quadrati è uno strumento statistico versatile. Personalmente, l'ho usato per calibrare sensori di pressione, fare previsioni basate sui miei dati sperimentali e durante l'addestramento di modelli di machine learning. La capacità di modellare in modo affidabile le relazioni e minimizzare gli errori è una caratteristica che offre valore a molte discipline diverse.
Assunzioni e diagnostica
Il metodo dei minimi quadrati fa alcune ipotesi chiave sui tuoi dati e sul modello utilizzato. È importante comprendere queste assunzioni, perché violarle può portare a risultati distorti o inaffidabili. Quindi, discutiamo queste assunzioni e come diagnosticare e affrontare eventuali problemi.
Un'assunzione è l'indipendenza degli errori, il che significa che i residui non dovrebbero essere correlati. Se gli errori sono correlati tra loro, in particolare in dati sequenziali o spaziali, le stime possono risultare distorte. Il test di Durbin-Watson può rilevare l'autocorrelazione nei residui, soprattutto per i dataset dipendenti dal tempo. Se trovi una correlazione, puoi usare i minimi quadrati generalizzati per tenerne conto.
Un'altra assunzione è che la varianza dei residui rimanga costante a tutti i livelli della variabile indipendente. Se i residui mostrano una dispersione a imbuto quando sono tracciati rispetto ai valori adattati, questa assunzione è probabilmente violata. Per affrontare questo problema, puoi usare i minimi quadrati ponderati per assegnare pesi appropriati alle tue osservazioni. In alternativa, puoi usare trasformazioni come aggiustamenti logaritmici o radice quadrata per stabilizzare la varianza diseguale e risolvere eventuali problemi di eteroscedasticità.
Come per tutta la modellizzazione, è importante che la struttura rifletta la relazione sottostante tra le variabili. Se non lo fa, non importa quanto sia ottimizzato l'adattamento: i risultati saranno comunque fuorvianti. I grafici dei residui e le metriche di bontà di adattamento come R² possono aiutarti a determinare se il modello scelto cattura i pattern nei dati.
Il metodo dei minimi quadrati standard presume che le variabili indipendenti siano misurate senza errore. Quindi è importante conoscere la precisione della tua misura indipendente. Dovresti avere un'idea della precisione di questa misura guardando ai metodi di raccolta. Se esistono errori di misurazione nel tuo predittore, assicurati di usare i minimi quadrati totali per mitigare le imprecisioni nella tua modellizzazione.
Infine, la distribuzione degli errori residui gioca un ruolo significativo, in particolare nei test d'ipotesi e nella stima degli intervalli di confidenza. I minimi quadrati presumono che gli errori seguano una distribuzione normale (gaussiana), e deviazioni dalla normalità possono influenzare l'inferenza. Istogrammi e grafici Q-Q aiutano a valutare se i residui si allineano con le distribuzioni attese. Se hai deviazioni significative dalla normalità, tecniche di regressione robusta o metodi di bootstrapping possono fornire stime più affidabili e meno sensibili agli outlier.
Vantaggi e svantaggi dei minimi quadrati
Il metodo dei minimi quadrati è uno strumento ampiamente utilizzato nell'analisi dei dati. Ma questo non significa che vada usato per ogni dataset.
Il metodo dei minimi quadrati offre diversi vantaggi. È abbastanza semplice da calcolare, soprattutto per i modelli lineari. È facilmente interpretabile sia da pubblici tecnici che non tecnici. Inoltre, esistono diversi stili, come regressione ponderata, robusta e non lineare, che lo rendono altamente versatile. E, cosa importante, ha una solida base teorica fornita dal teorema di Gauss-Markov. Tutto ciò rende i minimi quadrati ampiamente applicabili e usati in campi che vanno dall'economia all'ingegneria.
Tuttavia, il metodo è sensibile agli outlier, che possono influenzare in modo sproporzionato i risultati del modello. Presume anche che non ci siano errori nei predittori, cosa che potrebbe non essere vera nei dati del mondo reale. Inoltre, i minimi quadrati possono essere limitati dalla multicollinearità, il che significa che predittori altamente correlati possono portare a coefficienti instabili e quindi a stime inaffidabili. Richiede anche varianza costante dei residui, una condizione che potrebbe non essere sempre soddisfatta.
È importante esaminare attentamente il tuo dataset e il tuo obiettivo prima di decidere che il metodo dei minimi quadrati sia lo strumento migliore per la tua situazione.
Vantaggi
Svantaggi
Facilità di calcolo
Sensibilità agli outlier
Interpretabilità
Presuppone assenza di errori nei predittori
Ampia applicabilità
Limitazioni con multicollinearità
Solida base teorica
Assunzione di varianza costante
Conclusione
Il metodo dei minimi quadrati è uno strumento fondamentale per qualsiasi data analyst. Trovando il miglior adattamento per i nostri dati, possiamo fare previsioni più accurate e individuare tendenze più significative.
Per approfondire la misurazione delle linee rette nello spazio euclideo, ti consiglio il nostro tutorial Understanding Euclidean Distance: From Theory to Practice. Inoltre, assicurati di iscriverti ai nostri corsi sulla regressione per diventare davvero esperto.