Zero-shotclassificatie: hoe het werkt en wanneer je het gebruikt

Wat doe je als je tekst in een nieuwe categorie moet indelen, maar je geen enkel gelabeld voorbeeld hebt om op te trainen?

Dan kun je niet de traditionele weg met classifiers bewandelen. Die verwachten gelabelde voorbeelden voor elke categorie die je wilt voorspellen, wat neerkomt op weken aan annotatiewerk vóór je kunt beginnen met trainen. En zodra er een nieuwe categorie opduikt, kun je weer gaan labelen.

Zero-shotclassificatie is waar je naar moet kijken. Het slaat de hele labelstap over door een model labels te laten toekennen die het tijdens de training nooit heeft gezien. In de praktijk betekent dit dat je klantfeedback kunt sorteren in categorieën zoals "factureringsklacht" of "featureverzoek" zonder ook maar één trainingsvoorbeeld voor beide voor te bereiden.

In dit artikel laat ik je zien hoe zero-shotclassificatie werkt, hoe het zich verhoudt tot traditionele en few-shotbenaderingen, en hoe je het toepast op echte NLP-taken met Hugging Face Transformers.

Wat is Hugging Face precies? Schrijf je in voor ons Hugging Face Fundamentals-traject om AI-agents te bouwen en LLM's te fine-tunen.

Wat is zero-shotclassificatie?

Zero-shotclassificatie is een machinelearningbenadering waarbij een model labels aan data toekent zonder specifiek op die labels te zijn getraind.

Het sleutelgedeelte is het "zero-shot". Het betekent dat het model nul trainingsvoorbeelden ziet voor de categorieën die je wilt voorspellen. Je geeft een stuk tekst en een lijst met mogelijke labels, en het kiest de beste match op basis van wat het al weet.

Al die kennis komt uit pretraining. Grote modellen bouwen tijdens pretraining op enorme tekstcorpora een brede taal- en conceptkennis op, en die algemene kennis is waarop ze terugvallen als je ze iets nieuws laat classificeren.

Hoe zero-shotclassificatie werkt

De workflow achter zero-shotclassificatie is simpel als je hem in stappen opdeelt. Je hebt er maar vier nodig:

1. Voer de tekst of data in: Dit is wat je wilt classificeren: een klantreview, een supportticket, een krantenkop, een stuk documentatie.

2. Geef de kandidaatlabels op: Je geeft het model een lijst met mogelijke categorieën. Dat zijn gewoon woorden of korte zinnen, zoals "product question", "refund request", "technical issue" of "general inquiry".

3. Model beoordeelt de relatie tussen input en labels: Het model bekijkt elk label en scoort hoe goed het bij de input past op basis van zijn voorgetrainde taalbegrip.

4. Het meest waarschijnlijke label wordt gekozen: Het hoogst scorende label wordt teruggegeven als voorspelling, vaak met een vertrouwensscore per kandidaat.

Het hele punt is dat je de kandidaatlabels op elk moment kunt wisselen zonder te hertrainen. Als je morgen een nieuwe categorie wilt toevoegen, zet je die gewoon op de lijst. Best mind-blowing als je alleen met supervised learning hebt gewerkt.

Zero-shotclassificatie vs. traditionele classificatie

Beide aanpakken lossen hetzelfde probleem op (labels aan data toekennen), maar komen daar op verschillende manieren.

Traditionele classificatie

Traditionele classifiers leren van gelabelde voorbeelden. Je verzamelt een dataset waarin elk item is voorzien van de juiste categorie, traint er een model op, en het model leert de patronen die de ene klasse van de andere scheiden.

Dat werkt al decennia goed, maar kent twee grote beperkingen:

• Je hebt gelabelde trainingsdata nodig: Vaak veel. Het verzamelen en annoteren daarvan kost tijd en geld, de meest waardevolle schaarse middelen.
• De set labels ligt vast: Als het model eenmaal is getraind, kan het alleen de categorieën voorspellen die het tijdens training heeft gezien. Een nieuwe klasse toevoegen betekent terug naar de tekentafel en hertrainen.

Zero-shotclassificatie

Zero-shot werkt precies andersom. Er is helemaal geen taakspecifieke trainingsstap. Het model gebruikt wat het tijdens pretraining heeft geleerd om elk label te beoordelen dat je voorlegt.

Dat levert twee voordelen op:

• Geen taakspecifieke training: Je slaat dataverzameling, annotatie en training volledig over.
• Flexibele labelset: Je kunt de categorieën onderweg aanpassen. Nieuwe toevoegen, oude verwijderen, hernoemen — het model kan het aan zonder hertraining.

De trade-offs

Die flexibiliteit is niet gratis. Een traditionele classifier die is getraind op een degelijk gelabelde dataset presteert doorgaans beter dan een zero-shotmodel op die specifieke taak. Het heeft precies de soort voorbeelden gezien die voor jou belangrijk zijn en is daarop afgestemd.

Zero-shotmodellen zijn generalisten. Ze zijn in veel dingen goed, maar zelden het allerbeste in één ding. De keuze hangt dus af van wat je nodig hebt.

Heb je gelabelde data en hecht je aan topnauwkeurigheid op een vaste set categorieën, train dan een traditionele classifier. Heb je geen gelabelde data, of veranderen je categorieën vaak, dan is zero-shot de snelste weg naar een werkende oplossing.

De rol van foundation-modellen en LLM's

Zero-shotclassificatie werd populair doordat grote voorgetrainde modellen goed genoeg zijn geworden om het aan te kunnen.

Voor foundation-modellen kon je een model niet zomaar een lijst labels geven die het nooit had gezien en redelijke voorspellingen verwachten. Het model wist niet genoeg over taal om de verbinding te leggen. Pretraining op enorme tekstcorpora heeft dat veranderd. Een model dat een flink deel van het internet heeft "gelezen", is woorden als "refund" of "complaint" al in talloze contexten tegengekomen, waardoor matchen met nieuwe input mogelijk wordt.

Een paar modellenfamilies liggen vandaag aan de basis van de meeste zero-shotworkflows:

• BERT en varianten: BERT-achtige modellen leren tijdens pretraining diepe representaties van tekst. Varianten zoals RoBERTa en DeBERTa gingen verder met betere trainingsmethoden en grotere datasets.
• NLI-gebaseerde modellen: Dit zijn modellen die zijn fijn-afgesteld op natural language inference-taken. Ze vormen de basis van de meeste kant-en-klare zero-shotpipelines, en in de volgende sectie leg ik uit waarom.
• Moderne LLM's: Grote taalmodellen zoals de GPT-familie of Claude kunnen zero-shotclassificatie aan via prompting. Je beschrijft de taak in gewone taal, somt de categorieën op en het model kiest er één.

De gemene deler is schaal en algemeenheid. Een model dat is getraind op een smalle taak kan alleen die taak. Een model dat op brede tekstdata is getraind, kun je naar veel taken ombuigen zonder dat het ooit gelabelde voorbeelden daarvoor heeft gezien.

Natural Language Inference (NLI) en zero-shotclassificatie

De meeste zero-shotclassifiers die je in de praktijk ziet, zijn gebouwd op NLI-modellen. Dit verrast mensen vaak, dus het is de moeite waard om hierbij stil te staan.

Natural language inference is een eigen taak. Gegeven twee zinnen (een premisse en een hypothese) beslist het model de relatie ertussen. De output is één van drie labels:

• Entailment: De hypothese volgt uit de premisse.
• Contradiction: De hypothese is in tegenspraak met de premisse.
• Neutral: De twee zinnen zijn niet gerelateerd, of er is niet genoeg informatie om te beslissen.

Bijvoorbeeld, als de premisse "The team finished the project two weeks early" is en de hypothese "The team delivered on time", dan zou een NLI-model entailment moeten voorspellen. Is de hypothese "The team missed the deadline", dan moet het een contradictie voorspellen.

Deze opzet blijkt uitstekend te passen bij zero-shotclassificatie. Als je je input als premisse behandelt, kun je elk kandidaatlabel omzetten in een hypothese.

Stel, je wilt de zin "My package never arrived" indelen in één van drie categorieën: verzendprobleem, factureringsprobleem of productvraag. Het model ziet deze niet als labels. Het ziet ze als hypothesen, meestal verpakt in een simpel sjabloon zoals "This text is about {label}":

• Premisse: "My package never arrived" | Hypothese: "This text is about a shipping issue"

• Premisse: "My package never arrived" | Hypothese: "This text is about a billing issue"

• Premisse: "My package never arrived" | Hypothese: "This text is about a product question"

Het NLI-model scoort elk paar. De hypothese met de hoogste entailmentscore wint, en dat label wordt de voorspelling.

Het model hoefde nooit te leren wat "shipping issue" of "billing issue" betekent als label. Het hoefde alleen te leren hoe entailment er in het algemeen uitziet, en dat heeft het opgepikt tijdens NLI-finetuning.

Dit is waarom NLI-gebaseerde zero-shot zo goed werkt. Het model doet de taak waarvoor het is getraind (entailment beoordelen), en jij framet je classificatieprobleem als een reeks entailmentvragen.

Zero-shot vs. few-shot vs. fijn-afgestelde modellen

Zero-shot is niet de enige manier om een model een classificatietaak te laten doen zonder een volledige trainingsrun. Ik vergelijk het met de alternatieven.

Zero-shot

Zero-shot betekent helemaal geen voorbeelden. Je geeft het model een input en een lijst kandidaatlabels, en het doet een voorspelling op basis van wat het tijdens pretraining heeft geleerd.

Het model heeft nooit gelabelde data voor jouw specifieke taak gezien. Het werkt volledig vanuit algemene kennis.

Few-shot

Bij few-shot geef je het model een paar voorbeelden, meestal in de prompt. Je laat het twee, vijf, misschien tien voorbeelden zien van inputs met de juiste labels, en vraagt het dan een nieuwe input op dezelfde manier te classificeren.

Het model wordt hier niet hergetraind. Het gebruikt nog steeds zijn voorgetrainde gewichten. De voorbeelden dienen alleen als referentie — een snelle "dit bedoel ik met deze categorieën" voordat je om een voorspelling vraagt.

Fine-tuning

Fine-tuning is een toegewijd trainingsproces. Je neemt een voorgetraind model, voert er een gelabelde dataset voor jouw taak aan, en werkt de gewichten bij tot het goed wordt in het voorspellen van jouw specifieke categorieën.

Dit is de zwaarste van de drie. Je hebt gelabelde data, trainingsinfrastructuur en tijd nodig. In ruil daarvoor wordt het model gespecialiseerd voor jouw taak.

De drie vergeleken

De drie benaderingen verschillen op drie zaken die in de praktijk tellen: nauwkeurigheid, flexibiliteit en kosten.

Zero-shot learning vergeleken met alternatieven

Een paar dingen zijn het noemen waard uit deze tabel.

Nauwkeurigheid is geen nette rangorde. Fine-tuning wint als je genoeg gelabelde data hebt en je taak stabiel is. Maar bij een gloednieuwe taak zonder voorbeelden om van te leren, is fine-tuning niet eens een optie en wordt zero-shot de enige realistische keuze.

Flexibiliteit beweegt de andere kant op. Met zero-shot kun je categorieën wijzigen wanneer je wilt. Fijn-afgestelde modellen zitten vast aan de labelset waarop ze zijn getraind.

Kosten zijn het meest voor de hand liggend. Zero-shot kost bijna niets om op te zetten. Few-shot voegt een kleine annotatiestap toe. Fine-tuning is een project op zichzelf en vraagt om speciale infrastructuur.

De workflow waar de meeste teams op uitkomen: begin met zero-shot om te zien of de taak überhaupt haalbaar is. Als de nauwkeurigheid niet goed genoeg is, ga naar few-shot. Is dat nog steeds niet genoeg en is de taak belangrijk, doe dan fine-tuning.

Zero-shotclassificatie in NLP

Zero-shotclassificatie duikt op in veel NLP-workflows, vooral daar waar gelabelde data schaars is of de categorieën blijven verschuiven. Dit zijn de meest voorkomende toepassingen.

Sentimentanalyse

Sentimentanalyse is het schoolvoorbeeld. Je voert het model een stuk tekst en laat het kiezen uit labels zoals "positive", "negative" en "neutral".

Interessant is hoe eenvoudig het is om verder te gaan dan de standaard drie. Een traditionele sentimentclassifier zit vast aan wat hij getraind heeft. Met zero-shot kun je specifiekere labels gebruiken zoals "frustrated", "satisfied", "confused" of "excited" en het model kan ermee overweg zonder hertraining. Ideaal voor productfeedback of socialemediamonitoring, waar de emotiecategorieën die ertoe doen afhangen van de context.

Topicclassificatie

Topicclassificatie deelt documenten in op onderwerp. Nieuwsartikelen in "politics", "sports", "technology", "finance". Supporttickets in "billing", "shipping", "account access", "feature request".

Zero-shot maakt dit kinderspel om op te zetten. Je hebt geen gelabelde dataset nodig voor elk nieuw onderwerp. Als je product een nieuwe feature lanceert en je tickets daarover wilt volgen, voeg je gewoon "new feature feedback" toe aan je lijst met kandidaatlabels en klaar ben je.

Intentdetectie

Intentdetectie achterhaalt wat een gebruiker probeert te doen. Het is de motor achter de meeste chatbots en spraakassistenten. Wanneer iemand typt "I need to change my password", moet het model de intentie herkennen als "password reset" en niet als bijvoorbeeld "general security question".

Hier blinkt zero-shot in uit. Echte producten blijven in de tijd nieuwe gebruikersintenties toevoegen, en een intentclassifier hertrainen telkens als het productteam een feature toevoegt is veel werk. Met zero-shot houd je de intentlijst actueel zonder het model te veranderen.

Contentmoderatie

Contentmoderatie markeert problematische tekst — zaken als "hate speech", "spam", "harassment" of "misinformation". Platforms moeten hun beleid up-to-date houden, en de categorieën veranderen naarmate er nieuwe vormen van misbruik opduiken.

Zero-shot past hier perfect. Moderatieteams kunnen labeldefinities aanpassen of nieuwe categorieën toevoegen naarmate beleid evolueert, zonder terug naar het engineeringteam te hoeven voor een hertrainingscyclus. Het wordt meestal gecombineerd met traditionele classifiers voor hoogvolumegevallen, maar zero-shot pakt de long tail aan van categorieën waarvoor te weinig gelabelde voorbeelden zijn om op te trainen.

Zero-shotclassificatie met Hugging Face Transformers

De transformers-bibliotheek van Hugging Face is de makkelijkste manier om zero-shotclassificatie in Python te proberen. De pipeline-API verbergt bijna al het werk rond het laden van modellen, zodat je in een paar regels code van nul naar voorspellingen gaat.

De eerste keer dat je dit codefragment draait, wordt het model gedownload, dus dat kost wat tijd.

Hier is een compleet voorbeeld dat je kunt draaien:

from transformers import pipeline
from pprint import pprint

# Load a zero-shot classification pipeline
classifier = pipeline(
    "zero-shot-classification",
    model="facebook/bart-large-mnli"
)

# The text you want to classify
text = "My package never arrived and customer support hasn't responded in three days."

# The labels you want the model to choose from
candidate_labels = [
    "shipping issue",
    "billing issue",
    "product question",
    "general inquiry"
]

# Run the classification
result = classifier(text, candidate_labels)

pprint(result)

De output is een dictionary met drie velden: de originele input, de kandidaatlabels gesorteerd van meest naar minst waarschijnlijk, en de vertrouwensscore per label.

Pipeline-output

"shipping issue" wint met een vertrouwen van 0,82. Het model heeft tijdens training nooit gelabelde voorbeelden van verzendklachten gezien, maar haalde dit uit het voorgetrainde bart-large-mnli-model, dat precies zoals eerder beschreven is fijn-afgesteld op NLI-data.

Er zijn een paar dingen om te benadrukken aan deze workflow:

• Het model is een NLI-model: bart-large-mnli is BART die is fijn-afgesteld op de MultiNLI-dataset. Wanneer je de pipeline aanroept, zet die je labels achter de schermen om in hypothesen en voert ze door het model.

• Je kunt labels altijd wijzigen: Er hoeft niets aan het model te veranderen. Vervang de lijst candidate_labels door een andere en je classificeert in andere categorieën.

• Multi-label is één vlag verwijderd: Zet multi_label=True bij het aanroepen van de pipeline en ze concurreren niet met elkaar. Elk label krijgt een onafhankelijke waarschijnlijkheid, zodat één input in meerdere categorieën kan vallen.

result = classifier(text, candidate_labels, multi_label=True)
pprint(result)

Multi-labeloutput

Dat is de hele workflow. Laad de pipeline, definieer je labels, roep de classifier aan. Veel sneller en makkelijker dan een classificatiemodel vanaf nul opbouwen.

Veelgemaakte fouten bij zero-shotclassificatie

Zero-shotclassificatie is makkelijk op te zetten, en juist daarom makkelijk verkeerd te gebruiken. Dit zijn de fouten die in echte projecten het vaakst voorkomen.

Vage labels kiezen

Labels zijn hoe je de taak aan het model uitlegt. Vage labels leiden tot vage voorspellingen.

"good" en "bad" vertellen het model weinig. "customer is happy with the product" en "customer is reporting a problem with the product" geven het model iets om mee te werken. Hoe meer je labels op betekenisvolle zinnen lijken, hoe beter het model ze zal scoren tegen je inputs.

Vermijd ook overlappende labels. Als "complaint" en "negative feedback" allebei in je kandidatenlijst staan, splitst het model zijn vertrouwen tussen beide en komt geen van beide duidelijk als winnaar naar voren.

Aannemen dat zero-shot even goed is als fine-tuning

Dit is de meest voorkomende. Zero-shot is goed, maar geen magie.

Een fijn-afgesteld model dat is getraind op een paar duizend gelabelde voorbeelden voor jouw specifieke taak zal bijna altijd beter presteren dan een zero-shotmodel op die taak. Als je met zero-shot 85% nauwkeurigheid ziet en je hebt 95% nodig voor productie, dan ga je dat gat niet dichten met labeltuning. Dan is fine-tuning het antwoord.

Gebruik zero-shot wanneer je geen gelabelde data hebt, wanneer je categorieën vaak veranderen, of wanneer "goed genoeg" ook echt goed genoeg is. Kies het niet alleen omdat het sneller op te zetten is om vervolgens verbaasd te zijn als het ondermaats presteert op een high-stakes taak.

Evalueren op te smalle datasets

Het gaat zo: je bouwt een zero-shotclassifier, test hem op 50 voorbeelden die je zelf hebt geschreven, en hij heeft ze allemaal goed. Je zet hem live, en dan klaagt iedereen in productie hoe slecht het is.

Die 50 voorbeelden van jou zijn niet representatief voor wat echte gebruikers sturen. Ze zijn schoner, duidelijker en sluiten beter aan bij hoe jij over de categorieën denkt. Evalueer op data die lijkt op wat het model werkelijk zal zien — door gebruikers gegenereerde tekst, met typfouten, slang en randgevallen. Als je die data nog niet hebt, neem dan een paar honderd echte inputs af en label ze met de hand voordat je de cijfers vertrouwt.

Domeinspecifieke taal negeren

Algemene zero-shotmodellen kennen algemene taal. Ze kennen niet de jargon van jouw branche.

Medische terminologie, juridisch taalgebruik, financiële afkortingen, technische specs — allemaal hebben ze smalle woordenschatten die voorgetrainde modellen wel hebben gezien, maar niet diepgaand. Als je een algemeen zero-shotmodel een zin vol ICD-10-codes of SQL-foutmeldingen laat classificeren, verwacht dan gemengde resultaten.

Je hebt hier twee opties. Herschrijf je labels in gewone taal die het model waarschijnlijker begrijpt, of schakel over op een model dat is voorgetraind op tekst uit jouw domein. BioBERT voor medische tekst, FinBERT voor financiële tekst en vergelijkbare domeinspecifieke modellen presteren vaak beter dan algemene modellen op specialistische taken.

Waarom zero-shotclassificatie belangrijk is in moderne AI

Zero-shotclassificatie is een van de duidelijkste demonstraties van hoe foundation-modellen hebben veranderd wat mogelijk is in AI.

Tien jaar geleden begon elke classificatietaak met dezelfde vraag: hebben we gelabelde data, en zo niet, hoe krijgen we die? Annotatieprojecten duurden maanden, vroegen budget, vendorsamenwerking en kwaliteitscontrole. Het model kon niet eens worden gebouwd voordat de data er was.

Die aanname klopt niet meer.

Een foundation-model dat is getraind op brede tekstdata weet al genoeg over taal om een nieuwe classificatietaak aan te kunnen zodra je die beschrijft. De labellijst is het enige wat je hoeft te definiëren.

Deze verschuiving is belangrijk om een paar redenen die aansluiten bij grotere trends in AI:

• Het laat zien waar foundation-modellen eigenlijk voor zijn: Het doel van pretraining op schaal was een model bouwen dat algemeen genoeg is om naar veel taken om te buigen zonder hertraining. Zero-shotclassificatie is één van de zuiverste voorbeelden van die belofte in actie.
• Het vermindert de afhankelijkheid van supervised datasets: Gelabelde data blijft nuttig, maar is niet langer een must-have om een werkende classifier te maken. Teams zonder budget voor annotatieprojecten kunnen toch waardevolle AI-functionaliteit uitrollen.
• Het verandert de snelheid van uitrol: Een classificatiefunctie die vroeger een kwartaal kostte om te shippen, kan nu in een middag worden geprototyped. Dat beïnvloedt wat teams kiezen om te bouwen, omdat de kosten van iets proberen bijna nul zijn geworden.

De bredere trend is de verschuiving van taakspecifieke modellen naar algemene modellen. Fine-tuning heeft nog steeds zijn plek, en vanaf nul trainen ook, wanneer de taak daarom vraagt. Maar het standaard startpunt is verschoven. Je grijpt eerst naar een voorgetraind model en specialiseert pas wanneer de data dat rechtvaardigt.