Zero-Shot Classification: come funziona e quando usarla

Cosa succede quando devi classificare un testo in una nuova categoria, ma non hai nemmeno un esempio etichettato su cui addestrarti?

Beh, non puoi seguire la strada dei classificatori tradizionali. Si aspettano esempi etichettati per ogni categoria che vuoi prevedere, il che significa settimane di annotazione prima ancora di iniziare l'addestramento. E appena compare una nuova categoria, devi tornare a etichettare.

La zero-shot classification è ciò su cui dovresti puntare. Salta l'intero passaggio di etichettatura permettendo a un modello di assegnare etichette che non ha mai visto durante l'addestramento. In pratica, significa che puoi smistare il feedback dei clienti in categorie come "reclamo sulla fatturazione" o "richiesta di funzionalità" senza preparare nemmeno un esempio di training per nessuna delle due.

In questo articolo ti spiegherò come funziona la zero-shot classification, come si confronta con gli approcci tradizionali e few-shot, e come applicarla a reali task di NLP usando Hugging Face Transformers.

Cos'è esattamente Hugging Face? Iscriviti al nostro percorso Hugging Face Fundamentals per creare agenti di AI e fare fine-tuning di LLM.

Che cos'è la Zero-Shot Classification?

La zero-shot classification è un approccio di machine learning in cui un modello assegna etichette ai dati senza essere addestrato specificamente su quelle etichette.

La parte chiave qui è lo "zero-shot". Significa che il modello vede zero esempi di training per le categorie che vuoi prevedere. Gli dai un testo e una lista di possibili etichette, e lui sceglie la migliore corrispondenza in base a ciò che già sa.

Tutta questa conoscenza deriva dal pretraining. I modelli di grandi dimensioni acquisiscono una comprensione ampia del linguaggio e dei concetti da enormi corpora di testo, e fanno affidamento su quella conoscenza generale quando chiedi loro di classificare qualcosa di nuovo.

Come funziona la Zero-Shot Classification

Il flusso di lavoro alla base della zero-shot classification è semplice, una volta scomposto in passi. Te ne servono solo quattro:

1. Fornisci il testo o i dati in input: Qualsiasi cosa tu voglia classificare: una recensione di un cliente, un ticket di supporto, un titolo di notizia, un estratto di documentazione.

2. Fornisci le etichette candidate: Dai al modello una lista di possibili categorie. Sono semplici parole o brevi frasi, come "product question", "refund request", "technical issue" o "general inquiry".

3. Il modello valuta la relazione tra input ed etichette: Esamina ogni etichetta e assegna un punteggio a quanto bene si adatta all'input in base alla sua comprensione del linguaggio appresa nel pretraining.

4. Viene selezionata l'etichetta più probabile: L'etichetta con il punteggio più alto viene restituita come previsione, spesso con un punteggio di confidenza per ciascuna candidata.

Il punto è che puoi cambiare le etichette candidate in qualsiasi momento senza riaddestrare. Se domani vuoi aggiungere una nuova categoria, basta aggiungerla alla lista. È quasi sorprendente se hai lavorato solo con l'apprendimento supervisionato.

Zero-Shot Classification vs classificazione tradizionale

Entrambi gli approcci risolvono lo stesso problema (assegnare etichette ai dati), ma ci arrivano in modi diversi.

Classificazione tradizionale

I classificatori tradizionali apprendono da esempi etichettati. Raccogli un dataset in cui ogni elemento è contrassegnato con la categoria corretta, addestri un modello su di esso e il modello impara i pattern che separano una classe dall'altra.

Ha funzionato bene per decenni, ma ha due grandi vincoli:

• Ti servono dati di training etichettati: Spesso, tanti. Raccogliere e annotare quei dati richiede tempo e denaro, le risorse finite più preziose.
• L'insieme di etichette è fisso: Una volta addestrato, il modello può prevedere solo le categorie che ha visto durante l'addestramento. Aggiungere una nuova classe significa tornare indietro e riaddestrare.

Zero-shot classification

La zero-shot funziona all'opposto. Non c'è alcun passaggio di training specifico per il task. Il modello usa ciò che ha imparato durante il pretraining per valutare qualsiasi etichetta tu gli proponga.

Questo ti offre due vantaggi:

• Nessun training specifico per il task: Salti del tutto raccolta dati, annotazione e addestramento.
• Set di etichette flessibile: Puoi cambiare le categorie al volo. Aggiungerne di nuove, rimuovere le vecchie, rinominarle: il modello lo gestisce senza alcun riaddestramento.

I compromessi

Questa flessibilità non è gratis. Un classificatore tradizionale addestrato su un solido dataset etichettato in genere supera un modello zero-shot su quel task specifico. Ha visto esattamente il tipo di esempi che ti interessano e si è tarato su di essi.

I modelli zero-shot sono generalisti. Sono bravi in molte cose, ma raramente i migliori in qualcosa in particolare. Quindi la scelta dipende da ciò che ti serve.

Se hai dati etichettati e ti interessa la massima accuratezza su un set di categorie fisso, addestra un classificatore tradizionale. Se non hai dati etichettati o le tue categorie cambiano spesso, la zero-shot è la via più rapida per una soluzione funzionante.

Il ruolo dei Foundation Model e degli LLM

La zero-shot classification è diventata popolare perché i grandi modelli preaddestrati sono diventati abbastanza bravi da gestirla.

Prima dei foundation model, non potevi semplicemente dare a un modello una lista di etichette che non aveva mai visto e aspettarti previsioni ragionevoli. Il modello non sapeva abbastanza sul linguaggio per fare il collegamento. Il pretraining su enormi corpora di testo ha cambiato le cose. Un modello che ha "letto" una buona fetta di Internet ha già incontrato parole come "refund" o "complaint" in innumerevoli contesti, quindi associarle a nuovi input diventa possibile.

Oggi, alcune famiglie di modelli sono alla base della maggior parte dei flussi zero-shot:

• BERT e varianti: I modelli in stile BERT apprendono rappresentazioni profonde del testo durante il pretraining. Varianti come RoBERTa e DeBERTa hanno spinto oltre con metodi di training migliori e dataset più grandi.
• Modelli basati su NLI: Sono modelli perfezionati su task di natural language inference. Stanno dietro alla maggior parte delle pipeline zero-shot pronte all'uso e nella prossima sezione ti spiegherò perché.
• LLM moderni: I large language model come la famiglia GPT o Claude possono gestire la zero-shot classification tramite prompting. Descrivi il task in linguaggio naturale, elenchi le categorie e il modello ne sceglie una.

Il filo conduttore è la scala e la generalità. Un modello addestrato su un task ristretto può fare solo quel task. Un modello addestrato su dati testuali ampi può essere reindirizzato verso molti task senza vedere mai esempi etichettati per essi.

Natural Language Inference (NLI) e Zero-Shot Classification

La maggior parte dei classificatori zero-shot che vedrai in pratica si basa su modelli NLI. Questa è la parte che sorprende, quindi vale la pena rallentare.

La natural language inference è un task a sé. Date due frasi (una premessa e un'ipotesi), il modello decide la relazione tra di esse. L'output è una tra tre etichette:

• Entailment: l'ipotesi segue dalla premessa.
• Contradiction: l'ipotesi contraddice la premessa.
• Neutral: le due frasi non sono correlate, o non c'è informazione sufficiente per decidere.

Per esempio, se la premessa è "The team finished the project two weeks early" e l'ipotesi è "The team delivered on time", un modello NLI dovrebbe prevedere entailment. Se l'ipotesi è "The team missed the deadline", dovrebbe prevedere una contraddizione.

Questa impostazione si rivela perfetta per la zero-shot classification. Se tratti il tuo input come la premessa, puoi trasformare ogni etichetta candidata in un'ipotesi.

Diciamo che vuoi classificare la frase "My package never arrived" in una tra tre categorie: problema di spedizione, problema di fatturazione o domanda sul prodotto. Il modello non le vede come etichette. Le vede come ipotesi, di solito racchiuse in un semplice template come "This text is about {label}":

• Premessa: "My package never arrived" | Ipotesi: "This text is about a shipping issue"

• Premessa: "My package never arrived" | Ipotesi: "This text is about a billing issue"

• Premessa: "My package never arrived" | Ipotesi: "This text is about a product question"

Il modello NLI assegna un punteggio a ciascuna coppia. L'ipotesi con il punteggio di entailment più alto vince, e quell'etichetta diventa la previsione.

Il modello non ha mai dovuto imparare cosa significhi "shipping issue" o "billing issue" come etichetta. Ha solo dovuto imparare in generale cos'è l'entailment, e lo ha acquisito durante il fine-tuning su NLI.

Ecco perché la zero-shot basata su NLI funziona così bene. Il modello sta svolgendo il compito per cui è stato addestrato (valutare l'entailment) e tu stai semplicemente inquadrando il tuo problema di classificazione come una serie di domande di entailment.

Zero-shot vs few-shot vs modelli fine-tuned

La zero-shot non è l'unico modo per far svolgere a un modello un task di classificazione senza un ciclo completo di training. Confrontiamola con le alternative.

Zero-shot

Zero-shot significa nessun esempio. Fornisci al modello un input e una lista di etichette candidate, e lui fa una previsione basandosi su ciò che ha imparato durante il pretraining.

Il modello non ha mai visto dati etichettati per il tuo task specifico. Sta lavorando unicamente sulla base della conoscenza generale.

Few-shot

La few-shot fornisce al modello un paio di esempi, di solito all'interno del prompt. Gli mostri due, cinque, magari dieci esempi di input abbinati alle etichette corrette, poi gli chiedi di classificare un nuovo input allo stesso modo.

Qui il modello non viene riaddestrato. Usa ancora i suoi pesi preaddestrati. Gli esempi servono solo come riferimento: un rapido "ecco cosa intendo con queste categorie" prima di chiedere una previsione.

Fine-tuning

Il fine-tuning è un processo di training dedicato. Prendi un modello preaddestrato, gli fornisci un dataset etichettato per il tuo task e aggiorni i pesi finché non diventa bravo a prevedere le tue categorie specifiche.

È il più impegnativo dei tre. Servono dati etichettati, infrastruttura di training e tempo. In cambio, il modello si specializza per il tuo task.

Confronto tra i tre

I tre approcci differiscono su tre aspetti che contano in pratica: accuratezza, flessibilità e costo.

La zero-shot learning a confronto con le alternative

Vale la pena evidenziare alcune cose da questa tabella.

L'accuratezza non ha una classifica netta. Il fine-tuning vince quando hai abbastanza dati etichettati e il tuo task è stabile. Ma su un task completamente nuovo senza esempi da cui imparare, il fine-tuning non è nemmeno un'opzione, e la zero-shot diventa l'unica scelta realistica.

La flessibilità si muove nella direzione opposta. La zero-shot ti permette di cambiare categorie quando vuoi. I modelli fine-tuned sono bloccati nel set di etichette su cui sono stati addestrati.

Il costo è l'aspetto più evidente. La zero-shot costa quasi nulla per essere messa in piedi. La few-shot aggiunge un piccolo passaggio di annotazione. Il fine-tuning è un progetto a sé e richiede infrastruttura dedicata.

Il flusso su cui la maggior parte dei team converge è iniziare con la zero-shot per vedere se il task è fattibile. Se l'accuratezza non basta, si passa alla few-shot. Se ancora non è sufficiente e il task è importante, si fa fine-tuning.

Zero-Shot Classification nell'NLP

La zero-shot classification compare in molti flussi NLP, soprattutto quelli in cui è difficile disporre di dati etichettati o le categorie continuano a cambiare. Ecco le applicazioni più comuni.

Sentiment analysis

La sentiment analysis è il punto di partenza da manuale. Fornisci al modello un testo e gli chiedi di scegliere tra etichette come "positive", "negative" e "neutral".

La parte interessante è quanto sia facile andare oltre le tre standard. Un classificatore di sentiment tradizionale è vincolato a ciò su cui è stato addestrato. Con la zero-shot, puoi usare etichette più specifiche come "frustrated", "satisfied", "confused" o "excited" e il modello le gestisce senza alcun riaddestramento. È ottimo per il feedback di prodotto o il monitoraggio social, dove le categorie emotive che ti interessano dipendono dal contesto.

Classificazione per argomento

La classificazione per argomento smista i documenti per aree tematiche. Articoli di news in "politics", "sports", "technology", "finance". Ticket di supporto in "billing", "shipping", "account access", "feature request".

La zero-shot rende tutto ciò banale da impostare. Non ti serve un dataset etichettato per ogni nuovo argomento. Se il tuo prodotto lancia una nuova funzionalità e vuoi tracciare i ticket relativi, ti basta aggiungere "new feature feedback" alla lista delle etichette candidate e hai finito.

Rilevazione dell'intento

La rilevazione dell'intento capisce cosa sta cercando di fare un utente. È il motore dietro la maggior parte dei chatbot e degli assistenti vocali. Quando qualcuno scrive "I need to change my password", il modello deve riconoscere l'intento come "password reset" piuttosto che, ad esempio, "general security question".

Qui la zero-shot dà il meglio. I prodotti reali continuano ad aggiungere nuovi intenti nel tempo, e riaddestrare un classificatore di intenti ogni volta che il product team aggiunge una funzionalità è molto lavoro. La zero-shot ti permette di mantenere aggiornato l'elenco degli intenti senza cambiare il modello.

Moderazione dei contenuti

La moderazione individua testi problematici, come "hate speech", "spam", "harassment" o "misinformation". Le piattaforme devono mantenere aggiornate le policy e le categorie cambiano man mano che emergono nuovi tipi di abusi.

La zero-shot qui è un'ottima soluzione. I team di moderazione possono adattare le definizioni delle etichette o aggiungere nuove categorie man mano che le policy evolvono, senza tornare al team di ingegneria per un ciclo di riaddestramento. Di solito è abbinata a classificatori tradizionali per i casi ad alto volume, ma la zero-shot gestisce la lunga coda di categorie che non hanno abbastanza esempi etichettati per l'addestramento.

Zero-Shot Classification con Hugging Face Transformers

La libreria transformers di Hugging Face è il modo più semplice per provare la zero-shot classification in Python. L'API pipeline nasconde quasi tutto il lavoro di caricamento del modello, così puoi passare da zero a previsioni in un paio di righe di codice.

La prima volta che esegui questo snippet, il modello verrà scaricato, quindi ci vorrà un po'.

Ecco un esempio completo che puoi eseguire:

from transformers import pipeline
from pprint import pprint

# Load a zero-shot classification pipeline
classifier = pipeline(
    "zero-shot-classification",
    model="facebook/bart-large-mnli"
)

# The text you want to classify
text = "My package never arrived and customer support hasn't responded in three days."

# The labels you want the model to choose from
candidate_labels = [
    "shipping issue",
    "billing issue",
    "product question",
    "general inquiry"
]

# Run the classification
result = classifier(text, candidate_labels)

pprint(result)

L'output è un dizionario con tre campi: l'input originale, le etichette candidate ordinate dalla più alla meno probabile e il punteggio di confidenza per ciascuna etichetta.

Output della pipeline

"shipping issue" vince con una confidenza di 0,82. Il modello non ha mai visto esempi etichettati di reclami sulla spedizione durante l'addestramento, ma l'ha dedotto dal modello bart-large-mnli preaddestrato, perfezionato su dati NLI esattamente come spiegato nella sezione precedente.

Ci sono alcune cose da sottolineare su questo flusso di lavoro:

• Il modello è un modello NLI: bart-large-mnli è BART perfezionato sul dataset MultiNLI. Quando chiami la pipeline, converte le tue etichette in ipotesi dietro le quinte e le fa passare nel modello.

• Puoi cambiare le etichette in qualsiasi momento: Non serve cambiare nulla del modello. Sostituisci la lista di candidate_labels con un'altra e stai classificando in categorie diverse.

• Multi-label è a una flag di distanza: Imposta multi_label=True quando chiami la pipeline e le etichette non competeranno tra loro. Ogni etichetta ottiene una probabilità indipendente, così un singolo input può appartenere a più categorie.

result = classifier(text, candidate_labels, multi_label=True)
pprint(result)

Output multi-label

Questo è l'intero flusso. Carichi la pipeline, definisci le etichette, chiami il classificatore. Molto più veloce e semplice che costruire un modello di classificazione da zero.

Errori comuni con la Zero-Shot Classification

La zero-shot classification è facile da configurare, ed è proprio per questo che è facile usarla male. Ecco gli errori che si presentano più spesso nei progetti reali.

Scegliere etichette vaghe

Le etichette sono il modo in cui comunichi il task al modello. Etichette vaghe portano a previsioni vaghe.

"good" e "bad" non diranno molto al modello. "customer is happy with the product" e "customer is reporting a problem with the product" danno al modello qualcosa su cui lavorare. Più le tue etichette assomigliano a frasi significative, meglio il modello le confronterà con i tuoi input.

Evita anche etichette che si sovrappongono. Se "complaint" e "negative feedback" compaiono entrambe nella tua lista di candidate, il modello dividerà la confidenza tra loro e nessuna emergerà come chiara vincitrice.

Supporre che la zero-shot eguagli le prestazioni del fine-tuning

Questo è l'errore più comune. La zero-shot è valida, ma non fa miracoli.

Un modello fine-tuned addestrato su qualche migliaio di esempi etichettati per il tuo task specifico quasi sempre batterà un modello zero-shot su quel task. Se vedi l'85% di accuratezza con zero-shot e ti serve il 95% per la produzione, nessun affinamento delle etichette colmerà quel divario. A quel punto, la risposta è il fine-tuning.

Usa la zero-shot quando non hai dati etichettati, quando le categorie cambiano spesso o quando "abbastanza buono" è davvero sufficiente. Non sceglierla solo perché è più veloce da configurare e poi sorprenderti se sottoperforma in un task ad alto impatto.

Valutare su dataset troppo ristretti

Succede così: costruisci un classificatore zero-shot, lo testi su 50 esempi che hai scritto tu e li azzecca tutti. Lo metti in produzione, poi arriva in produzione e tutti si lamentano di quanto sia scarso.

I 50 esempi che hai scritto non sono rappresentativi di ciò che inviano gli utenti reali. Sono più puliti, più ovvi e più allineati a come tu pensi le categorie. Valuta su dati che somigliano a ciò che il modello vedrà davvero: testo generato dagli utenti, con refusi, slang e casi limite. Se non hai ancora quei dati, campiona qualche centinaio di input reali ed etichettali a mano prima di fidarti dei numeri.

Ignorare il linguaggio specifico del dominio

I modelli zero-shot generici conoscono il linguaggio generico. Non conoscono il gergo del tuo settore.

Terminologia medica, linguaggio legale, acronimi della finanza, specifiche di ingegneria hanno tutti vocabolari ristretti che i modelli preaddestrati hanno visto, ma non in profondità. Se chiedi a un modello zero-shot generico di classificare una frase piena di codici ICD-10 o di messaggi di errore SQL, aspettati risultati altalenanti.

Hai due opzioni. O riscrivi le etichette in linguaggio semplice che il modello ha più probabilità di capire, oppure passa a un modello preaddestrato su testi del tuo dominio. BioBERT per testi medici, FinBERT per testi finanziari e modelli simili specifici di dominio spesso superano quelli generali nei task specializzati.

Perché la Zero-Shot Classification è importante nell'AI moderna

La zero-shot classification è una delle dimostrazioni più chiare di come i foundation model abbiano cambiato ciò che è possibile nell'AI.

Un decennio fa, ogni task di classificazione iniziava con la stessa domanda: abbiamo dati etichettati e, se no, come li otteniamo? I progetti di annotazione duravano mesi, richiedevano budget, coordinamento con i fornitori e controllo qualità. Il modello non poteva nemmeno essere costruito finché i dati non esistevano.

Questa ipotesi non è più vera.

Un foundation model addestrato su dati testuali ampi sa già abbastanza di linguaggio per gestire un nuovo task di classificazione nel momento in cui glielo descrivi. L'unica cosa che devi definire è la lista di etichette.

Questo cambiamento è importante per alcuni motivi legati a trend più ampi nell'AI:

• Mostra a cosa servono davvero i foundation model: Lo scopo del pretraining su larga scala era costruire un modello abbastanza generale da essere reindirizzato verso molti task senza riaddestramento. La zero-shot classification è uno degli esempi più limpidi di questa promessa in azione.
• Riduce la dipendenza dai dataset supervisionati: I dati etichettati sono ancora utili, ma non sono più indispensabili per creare un classificatore funzionante. I team senza budget per progetti di annotazione possono comunque distribuire funzionalità di AI di valore.
• Cambia la velocità di deployment: Una funzionalità di classificazione che prima richiedeva un trimestre per essere rilasciata ora può essere prototipata in un pomeriggio. Questo influisce su ciò che i team scelgono di costruire, perché il costo del provare qualcosa è crollato quasi a zero.

Il trend più ampio è il passaggio da modelli specifici per task a modelli general-purpose. Il fine-tuning ha ancora il suo posto, così come l'addestramento da zero quando il task lo richiede. Ma il punto di partenza predefinito è cambiato. Prima si parte da un modello preaddestrato e si specializza solo quando i dati lo giustificano.