Funzioni di costo: guida completa

Mean Absolute Error (MAE)

La mean absolute error è definita come la media del valore assoluto dei residui.

La MAE tratta tutti gli scostamenti allo stesso modo, quindi è meno influenzata dagli outlier rispetto ad altri metodi che vedremo, come la MSE. Tuttavia, l'errore assoluto è scomodo matematicamente e rende più difficile l'ottimizzazione basata sul gradiente.

Una nota sul parametro della funzione. θ rappresenta i parametri del modello. L'ottimizzatore controlla il costo in base a questi parametri, non direttamente sui valori previsti che ne derivano. Pertanto, scriviamo il costo come funzione di θ, non di Ŷi.

MSE

La mean squared error (MSE) è data dalla seguente formula.

Elevare al quadrato i residui enfatizza gli errori grandi, il che rende la MSE sensibile agli outlier. Tuttavia, questa forma di errore è derivabile e convessa, quindi adatta all'ottimizzazione.

RMSE

Uno svantaggio della MSE è che le sue unità sono al quadrato. Per esempio, in un modello di regressione dei prezzi delle case, la loss è in dollari al quadrato, che è poco intuitivo. La RMSE corregge questo problema prendendo la radice quadrata della MSE.

La RMSE si comporta in modo simile alla MSE ma le unità sono nelle stesse unità del problema (dollari, non dollari al quadrato). 

Huber

La Huber loss è meno sensibile agli outlier nei dati rispetto alla MSE (o alla RMSE). Combina MAE e MSE e controlla la transizione con un parametro δ.

dove

Questa formula impedisce a pochi grandi residui di dominare la loss. La Huber loss è una buona scelta per dati reali rumorosi in cui ti aspetti osservazioni occasionalmente estreme.

Loss per classificazione 

La classificazione prevede categorie discrete. Queste funzioni di costo confrontano distribuzioni di probabilità con le etichette vere, penalizzando previsioni errate o troppo sicure.

Cross-entropy loss

La cross-entropy loss (log loss) premia un modello quando è correttamente sicuro e lo punisce quando è sicuro ma sbaglia. 

Per un classificatore che produce probabilità pure Ŷ, la verosimiglianza dell'etichetta osservata Y è 

La stima di massima verosimiglianza (MLE) massimizza questa verosimiglianza su tutti i campioni. 

Trasformiamo questa idea nel minimizzare il costo. Minimizzare equivale a massimizzare il negativo, quindi invertiamo il segno. Prendiamo anche i logaritmi.

Possiamo scriverlo più sinteticamente come una singola somma. 

Perché il logaritmo? Il log ha diversi vantaggi

• Trasforma il prodotto in somma. Invece di moltiplicare numeri piccoli rischiando underflow, sommiamo le probabilità,
• Rende la funzione concava. Il log trasforma la verosimiglianza in una funzione concava con un unico massimo globale.
• Fornisce una curva di penalità significativa. 
• p = 1.0 comporta una loss di 0, 
• p = 0.9 comporta una loss di 0.1 (piccola)
• p = 0.2 comporta una loss di 2.3 (grande)
• p = 0.01 comporta una loss di 4.6 (enorme)
• Evita esponenziali annidati. Nella regressione logistica e nelle reti neurali, il log "disincarta" esponenziali annidati, rendendo le derivate semplici e stabili.

Supponiamo che un modello predica probabilità per due scelte: "dog" (scelta 0) o "cat" (scelta 1). Se la risposta reale è 1 ("cat") e il modello è sicuro al 90% che sia un gatto, la loss è piccola perché il modello era sicuro e corretto. Se il modello dice di essere sicuro al 10% che sia un gatto, la loss è grande, perché il modello era sicuro ma sbagliava.

Cross-entropy per classificazione multi-classe

Quando ci sono più di due classi ("cat", "dog", "bird"), il modello produce un punteggio grezzo ("logit") per ciascuna classe, indicato con Zi. I logit possono essere qualsiasi numero reale, quindi sono convertiti in probabilità che sommano a uno tramite la funzione softmax. 

Le previsioni del modello sono quindi confrontate con le etichette reali usando la cross-entropy.

Esempio 

Supponiamo che l'etichetta vera sia "cat" e che il modello preveda probabilità: cat: 80%, dog: 15%, bird: 5%. La loss è 

Se la probabilità prevista per "cat" fosse solo del 30%, allora la loss sarebbe molto più alta: 

Il log punisce gli errori sicuri e premia le previsioni ad alta confidenza.

Hinge loss

La hinge loss è usata principalmente per la classificazione a margine massimo, come nelle support vector machines (SVM). L'obiettivo è classificare con sicurezza mantenendo le previsioni lontane dalla frontiera decisionale. 

Per la classificazione binaria, la hinge loss è data dalla seguente formula.

dove

La funzione di costo totale è 

Il termine YiŶi misura quanto bene è classificato il campione. 

• Quando è maggiore di 1, il campione si trova dal lato corretto della frontiera senza loss.
• Quando è tra 0 e 1, il punto è entro il margine, quindi si applica una piccola penalità.
• Quando è inferiore a 0, il modello ha classificato erroneamente. La loss cresce linearmente con la distanza dalla frontiera. 

Generato da ChatGPT 5

Kullback-Leibler (KL)

La divergenza di Kullback-Leibler (KL) è una misura di quanto una distribuzione di probabilità approssimante Q differisca da una data distribuzione di probabilità P. È definita come 

Wikipedia

La divergenza KL può essere interpretata come la differenza media nel numero di bit per codificare campioni di P usando un codice ottimizzato per Q. 

Regolarizzazione 

Le tecniche di regolarizzazione impediscono ai modelli di adattarsi al rumore nei dati di training aggiungendo alla funzione di costo un termine che penalizza soluzioni eccessivamente complesse.

Senza regolarizzazione, il modello minimizza la loss:

Con la regolarizzazione, il modello aggiunge un termine di penalità 

dove

• L è la loss usuale (ad es., RMSE, cross-entropy)
• R(θ) misura la complessità del modello
• λ controlla il trade-off tra aderenza e semplicità

Tipi comuni di regolarizzazione sono L1, L2 ed elastic net.

La regolarizzazione L1 (nota anche come lasso) aggiunge alla funzione di costo il valore assoluto di ciascun peso del modello.

Quando questo costo viene minimizzato, molti pesi vengono spinti a zero. Questo rende la L1 una forma di selezione automatica delle feature. Le feature che non contribuiscono vengono spinte a zero.

La regolarizzazione L2 (nota anche come ridge regression) penalizza il quadrato di ciascun peso del modello.

A differenza della L1 non porta i pesi esattamente a zero, ma li riduce in modo graduale. Questo mantiene tutte le feature nel modello ma ne riduce l'influenza per stabilizzare le previsioni.

Elastic net aggiunge sia L1 che L2. 

λ controlla l'intensità complessiva della regolarizzazione. α è un numero tra 0 e 1 che controlla le percentuali di L1 rispetto a L2, dove 1 è L1 pura e 0 è ridge pura.

Trade-off 

Le diverse strategie di loss per classificazione presentano dei trade-off.

La cross-entropy massimizza la probabilità corretta penalizzando le risposte errate e sicure. I trade-off sono che è sensibile agli outlier e ai dati etichettati male. Funziona meglio quando ti interessa la qualità della confidenza (ad es., modelli di rischio).

La hinge loss impone un margine affinché le classificazioni corrette non siano solo corrette, ma anche sicure. Ignora i campioni sufficientemente oltre il margine e dà una penalità lineare per le violazioni. È meno sensibile agli outlier rispetto alla cross-entropy, ma più difficile da ottimizzare in modo fluido, poiché non è derivabile nel punto di cerniera.

La divergenza di Kullback-Leibler (KL) fa corrispondere una distribuzione di probabilità a un'altra. È equivalente alla cross-entropy meno l'entropia della distribuzione vera. 

Per ulteriori informazioni, consulta questi link. 

• Cross-Entropy Loss Function in Machine Learning: Enhancing Model Accuracy
• From Data to Dollars - Predicting Insurance Charges
• Optimize Pricing Predictions with Feature Engineering
• Data Quality Dimensions Cheat Sheet
• R Correlation Tutorial

Implementazione e pratica delle funzioni di costo nel machine learning 

Finora abbiamo discusso le funzioni di costo in teoria. In pratica, il successo di un modello di ML dipende da quanto efficientemente le minimizza. In questa sezione introduciamo dettagli pratici dei principali algoritmi di ottimizzazione e delle strategie di tuning. 

Algoritmi di ottimizzazione e tuning dei parametri

L'ottimizzazione è il processo di trovare i valori ottimali dei parametri del modello che minimizzano una funzione di costo. In ML, significa scoprire i parametri che rendono le previsioni il più possibile vicine ai valori reali.

Discesa del gradiente 

La discesa del gradiente è l'algoritmo standard per ottimizzare le funzioni di costo. Aggiorna iterativamente i parametri del modello nella direzione che riduce maggiormente il costo, cioè il gradiente negativo. Concettualmente, misura la pendenza multivariata della funzione di costo e scende lungo il pendio.

La regola di aggiornamento è

dove θ sono i parametri del modello, n è il learning rate, e è il gradiente della funzione di costo rispetto ai parametri.

La scelta del learning rate è critica. Se è troppo grande, gli aggiornamenti oltrepassano il minimo e oscillano o divergono. Se è troppo piccolo, la convergenza diventa lenta e può bloccarsi in minimi locali.

Le principali varianti sono batch, stocastica e mini-batch.

• Batch gradient descent. Calcola il gradiente usando l'intero set di training. È stabile ma lento e intensivo in memoria per dataset grandi o per l'apprendimento online.
• Stochastic gradient descent (SGD). Aggiorna i parametri dopo ogni esempio di training. È veloce ed efficiente in memoria, ma rumoroso nel senso che ogni passo può deviare leggermente dal percorso ottimale. Tuttavia, la casualità può aiutare a sfuggire ai minimi locali.
• Mini-batch gradient descent. Un compromesso pratico. Calcola i gradienti su piccoli batch per bilanciare velocità e stabilità. Consente anche il parallelismo su GPU.

Ottimizzatori adattivi 

La discesa del gradiente standard applica un learning rate fisso a tutti i parametri. Nei modelli complessi, parametri diversi possono richiedere passi di dimensione diversa. Gli ottimizzatori adattivi regolano i learning rate in base alla storia delle ampiezze dei gradienti. 

• RMSProp utilizza una media in decadimento esponenziale dei gradienti al quadrato recenti. 

L'apprendimento di ciascun parametro è scalato inversamente a questa media. Ciò previene l'oscillazione e consente progressi stabili anche quando alcuni parametri hanno gradienti ripidi. RMSProp è ampiamente usato per reti ricorrenti e dati rumorosi.

• Adaptive Moment Estimation (Adam) traccia sia la media sia la varianza dei gradienti passati e adatta dinamicamente le dimensioni dei passi. 

Converge velocemente, è robusto ai dati rumorosi ed è l'ottimizzatore predefinito per i framework di reti profonde.

Scaling delle feature e inizializzazione

Prima di ottimizzare con la discesa del gradiente, scala le feature in modo che operino su intervalli comparabili. Uno scaling corretto migliora la stabilità e l'efficienza dell'ottimizzazione. 

Senza scaling, le feature con intervalli numerici ampi dominano il gradiente. La discesa del gradiente allora zigzaga invece di compiere passi diretti verso il minimo.

Ci sono due approcci comuni.

• Standardizzazione. Centra ogni feature a zero e la riscalibra a varianza unitaria.

dove u è la media e ơ è la deviazione standard. La standardizzazione preserva la struttura dei dati.

• Normalizzazione. Riscalare ogni feature a un intervallo fisso, tipicamente [0, 1]. 

La normalizzazione è comune nelle reti neurali, dove le funzioni di attivazione rendono meglio con input limitati.

Strategie di inizializzazione dei parametri

L'inizializzazione dei parametri influenza fortemente l'addestramento del modello. Una cattiva inizializzazione può causare convergenza lenta, gradienti esplosivi o vanescenti, o modelli che non imparano. Una buona inizializzazione colloca i parametri in una regione della superficie di costo in cui i gradienti sono stabili.

• Inizializzazione casuale. Assegna piccoli valori casuali, tipicamente estratti da una distribuzione uniforme o normale. La randomizzazione rompe la simmetria così che i parametri imparino feature distinte. Tuttavia, se la varianza è troppo alta o troppo bassa, i gradienti possono esplodere o svanire.
• Inizializzazione Xavier (Glorot). Progettata per funzioni di attivazione non lineari come tanh o sigmoid, Xavier scala la varianza dei pesi in base al numero di connessioni in ingresso e in uscita.

Questo mantiene attivazioni e gradienti approssimativamente costanti tra i layer.

• Inizializzazione He. Regola la varianza per le attivazioni ReLU, che azzerano i valori negativi. I pesi sono estratti da una distribuzione normale con una varianza specifica:

Questo evita che i gradienti svaniscano troppo velocemente durante il backpropagation. 

Monitoraggio, diagnostica e visualizzazione

Una curva di training loss traccia l'errore del modello sul dataset di training nel tempo. Mostra quanto bene il modello aggiorna i parametri per minimizzare l'errore. Una curva che diminuisce costantemente indica che il modello sta imparando i pattern dai dati.

La curva di validation loss mostra la capacità del modello di generalizzare su dati non visti, come un set di hold-out o di validazione. Indica la capacità del modello di prevedere su dati mai visti prima.

Idealmente, entrambe le curve diminuiscono all'inizio e poi si appiattiscono. Questo dimostra che il modello sta sia imparando in modo efficace sia generalizzando efficacemente.

Overfitting si verifica quando il modello apprende il rumore come se fosse segnale e non generalizza bene. Questo appare in un grafico con curve di training e validation quando la training loss diminuisce ma la validation loss aumenta. Le soluzioni includono usare un dataset più grande o applicare regolarizzazione nel modello.

Underfitting si verifica quando il modello non riesce a catturare i pattern sottostanti nei dati. Sia le curve di training che di validation restano alte. In questo caso, prova con più dati, un modello più complesso o riduci la regolarizzazione.

Convergenza è il punto in cui la curva si appiattisce e ulteriore training offre pochi miglioramenti. Questo è il punto di equilibrio tra overfitting e underfitting. 

Ottimizzazione delle funzioni di costo e teoria delle decisioni 

Abbiamo visto come economia e machine learning si affidino all'ottimizzazione per guidare il processo decisionale e l'addestramento. Entrambi i campi mirano a prendere le decisioni migliori in base a una metrica di costo o loss. Approfondiamo più in generale la teoria dell'ottimizzazione.

Funzioni obiettivo

Una funzione obiettivo è una funzione matematica che definisce ciò che vogliamo minimizzare o massimizzare. Nei casi visti finora, abbiamo minimizzato costo o errore. In economia abbiamo considerato le curve di costo, e in ML abbiamo visto le loss di regressione (MAE, RMSE, Huber) e le loss di classificazione (cross-entropy, hinge loss, KL loss). Sono entrambi esempi di ottimizzazione di una funzione obiettivo.

Ottimizzazione multi-obiettivo 

Spesso vogliamo ottimizzare obiettivi multipli, spesso in conflitto tra loro. Un'azienda potrebbe voler massimizzare il profitto minimizzando al contempo il rischio. Un data scientist potrebbe voler migliorare l'accuratezza del modello senza sacrificare interpretabilità o equità. Questi obiettivi in competizione definiscono un problema di ottimizzazione multi-obiettivo in cui migliorare un obiettivo può peggiorarne un altro.

Frontiera di Pareto

Una soluzione è ottimale in senso paretiano se nessun obiettivo può essere migliorato senza peggiorarne almeno un altro. L'insieme delle soluzioni pareto-ottimali forma la frontiera di Pareto, una curva che consiste nei migliori trade-off ottenibili. Ogni punto su questa curva rappresenta un diverso equilibrio di priorità.

Per esempio, aumentare la complessità di un modello può migliorare l'accuratezza ma ridurre l'interpretabilità. I modelli più semplici sono più facili da spiegare ma possono performare peggio. La frontiera di Pareto include i "migliori trade-off" ed esclude soluzioni dominate da altre variabili.

La scelta del punto giusto dipende dal contesto e dal giudizio. Puoi assegnare pesi a ciascun obiettivo o usare vincoli di policy.

Loss attesa

Quando gli esiti sono incerti, l'ottimizzazione minimizza la loss attesa, la perdita media su tutti gli scenari possibili. In ML, questa idea compare nella funzione di rischio.

dove L(Y,f(x)) è la loss per una data previsione, e l'aspettazione fa la media sulla distribuzione dei dati. L'obiettivo è trovare il modello f che minimizza questa loss attesa. Questo modello performa meglio in media, non solo sui singoli campioni.

Rischio di Bayes

Il rischio di Bayes è il limite inferiore teorico della loss attesa. Formalmente, è dato dalla seguente formula.

Intuitivamente, è il "punteggio perfetto", cioè il valore più piccolo ottenibile con informazioni perfette sulla distribuzione dei dati. Quanto più le prestazioni di un modello si avvicinano al rischio di Bayes, tanto più è ottimale.

Applicazioni interdisciplinari 

Le funzioni di costo sono utilizzate in qualsiasi settore che prenda decisioni basate sui dati. Aiutano a bilanciare obiettivi in competizione e a formalizzare cosa significa "meglio". Queste funzioni bilanciano obiettivi in competizione e guidano l'ottimizzazione. La stessa logica usata per addestrare i modelli di ML è usata per ottimizzare i processi reali.

Applicazioni di settore e casi d'uso di dominio

Nella manifattura, per esempio, le funzioni di costo quantificano le perdite, come la perdita di inventario. Una funzione di costo dell'inventario bilancia la spesa di scorte in eccesso contro le penalità per le carenze. Quadri simili sono usati per la schedulazione della produzione o l'uso di energia per minimizzare il costo totale atteso sotto incertezza.

In sanità, i modelli predittivi usano funzioni di costo per bilanciare accuratezza e allocazione delle risorse. Per esempio, un modello di rischio di riammissione identifica precocemente i pazienti ad alto rischio così che i clinici possano intervenire con chiamate di follow-up o visite domiciliari. Perdere un paziente ad alto rischio è più costoso che segnalarne uno a basso rischio, quindi la funzione penalizza diversamente questi errori. 

La finanza usa anch'essa funzioni obiettivo. Per esempio, i modelli di credit scoring prevedono la probabilità che un mutuatario vada in default entro un periodo stabilito, diciamo dodici mesi. Approvare un mutuatario rischioso comporta una potenziale perdita finanziaria, mentre rifiutare un mutuatario sicuro comporta una potenziale perdita di ricavi. Il modello minimizza il costo atteso.

In tutti questi domini, le funzioni di costo bilanciano i trade-off in quantità misurabili che i decisori possono usare e con cui possono ragionare.

Conclusione 

Le funzioni di costo forniscono un metodo per valutare le decisioni. In economia, modellano il trade-off tra output ed efficienza. Nel machine learning, misurano il divario tra previsioni e verità. 

In ML, le funzioni di costo sono le fondamenta della progettazione dei modelli. La scelta delle funzioni di loss determina cosa il modello considera "successo". La mean squared error premia l'accuratezza complessiva, la cross-entropy premia probabilità calibrate e la hinge loss premia la separazione sicura.

In tutti i domini e i settori, la logica di base è la stessa: definire un obiettivo e ottimizzarlo. Le funzioni di costo traducono obiettivi vaghi in numeri concreti che guidano l'ottimizzazione.

Le funzioni di costo sono utili in economia, machine learning, manifattura, finanza, sanità e ovunque si voglia quantificare i trade-off.

Per ulteriori informazioni, ti consiglio queste risorse DataCamp.

• Introduction to Writing Functions in R
• Quantitative Analyst in R
• R c Function(): Creating Vectors the Easy Way
• Building Financial Reports
• Calculations in Tableau 
• Aggregate Functions in SQL
• Conditional Functions in Spreadsheets