Zero-shot-Klassifikation: So funktioniert sie und wann du sie einsetzt

Was machst du, wenn du Text einer neuen Kategorie zuordnen musst, aber kein einziges gelabeltes Beispiel zum Trainieren hast?

Der klassische Weg mit herkömmlichen Klassifikatoren fällt aus. Sie erwarten gelabelte Beispiele für jede Zielkategorie – das bedeutet wochenlange Annotation, bevor das Training überhaupt starten kann. Und sobald eine neue Kategorie auftaucht, beginnt das Labeln von vorne.

Hier kommt Zero-shot-Klassifikation ins Spiel. Sie überspringt den kompletten Labeling-Schritt, indem das Modell Labels vergibt, die es im Training nie gesehen hat. In der Praxis kannst du so Kundenfeedback in Kategorien wie "billing complaint" oder "feature request" einsortieren, ohne ein einziges Trainingsbeispiel dafür vorzubereiten.

In diesem Artikel zeige ich dir, wie Zero-shot-Klassifikation funktioniert, wie sie sich von klassischen und Few-shot-Ansätzen unterscheidet und wie du sie mit Hugging Face Transformers für echte NLP-Aufgaben einsetzt.

Was genau ist Hugging Face? Melde dich für unseren Hugging Face Fundamentals-Lernpfad an und baue KI-Agenten, die LLMs feinabstimmen.

Was ist Zero-shot-Klassifikation?

Zero-shot-Klassifikation ist ein Machine-Learning-Ansatz, bei dem ein Modell Daten Labels zuweist, ohne spezifisch auf diese Labels trainiert worden zu sein.

Der entscheidende Teil ist das "Zero-shot". Das bedeutet: Das Modell sieht null Trainingsbeispiele für die Zielkategorien. Du gibst einen Text und eine Liste möglicher Labels vor, und das Modell wählt anhand seines vorhandenen Wissens die beste Übereinstimmung.

Dieses Wissen stammt aus dem Pretraining. Große Modelle entwickeln durch riesige Textkorpora ein breites Sprach- und Konzeptverständnis. Auf dieses Allgemeinwissen greifen sie zurück, wenn du sie um eine neue Klassifikation bittest.

So funktioniert Zero-shot-Klassifikation

Der Ablauf ist simpel, wenn man ihn in Schritte teilt. Du brauchst nur vier:

1. Text oder Daten eingeben: Also alles, was du klassifizieren willst – eine Kundenrezension, ein Support-Ticket, eine Schlagzeile, ein Dokumentationsabschnitt.

2. Kandidatenlabels bereitstellen: Du gibst eine Liste möglicher Kategorien vor. Das sind einfache Wörter oder kurze Phrasen wie "product question", "refund request", "technical issue" oder "general inquiry".

3. Modell bewertet die Beziehung zwischen Eingabe und Labels: Das Modell betrachtet jedes Label und bewertet anhand seines vortrainierten Sprachverständnisses, wie gut es zur Eingabe passt.

4. Das wahrscheinlichste Label wird ausgewählt: Das Label mit der höchsten Punktzahl wird als Vorhersage zurückgegeben – oft inklusive Konfidenzwert für jedes Label.

Der Clou: Du kannst die Kandidatenlabels jederzeit austauschen, ohne neu zu trainieren. Wenn du morgen eine neue Kategorie brauchst, fügst du sie einfach hinzu. Für alle, die bisher nur mit überwachtem Lernen gearbeitet haben, ist das ziemlich beeindruckend.

Zero-shot-Klassifikation vs. traditionelle Klassifikation

Beide Ansätze lösen dasselbe Problem (Daten Labels zuweisen), gehen aber unterschiedlich vor.

Traditionelle Klassifikation

Klassische Klassifikatoren lernen aus gelabelten Beispielen. Du sammelst einen Datensatz, in dem jedes Element korrekt kategorisiert ist, trainierst darauf ein Modell, und das Modell lernt die Muster, die eine Klasse von der anderen trennen.

Das funktioniert seit Jahrzehnten gut, hat aber zwei große Einschränkungen:

• Du brauchst gelabelte Trainingsdaten: Oft sehr viele. Das Sammeln und Annotieren kostet Zeit und Geld – deine knappsten Ressourcen.
• Das Labelset ist fix: Nach dem Training kann das Modell nur die Kategorien vorhersagen, die es gesehen hat. Eine neue Klasse hinzufügen bedeutet: zurück an den Start und neu trainieren.

Zero-shot-Klassifikation

Zero-shot funktioniert genau andersherum. Es gibt keinen aufgabenspezifischen Trainingsschritt. Das Modell nutzt sein Vorwissen aus dem Pretraining, um beliebige Labels zu bewerten.

Das bringt zwei Vorteile:

• Kein aufgabenspezifisches Training: Du überspringst Datensammlung, Annotation und Training komplett.
• Flexibles Labelset: Du kannst Kategorien jederzeit ändern. Neue hinzufügen, alte entfernen, umbenennen – das Modell kommt ohne Retraining klar.

Die Trade-offs

Diese Flexibilität gibt es nicht umsonst. Ein traditioneller Klassifikator, der auf einem guten gelabelten Datensatz trainiert wurde, wird ein Zero-shot-Modell auf genau dieser Aufgabe meistens übertreffen. Er hat exakt die Beispiele gesehen, die dir wichtig sind, und ist darauf zugeschnitten.

Zero-shot-Modelle sind Generalisten. Sie können vieles gut, sind aber selten die Besten in einer Sache. Die Wahl hängt also von deinem Bedarf ab.

Wenn du gelabelte Daten hast und maximale Genauigkeit für ein fixes Labelset brauchst, trainiere klassisch. Wenn du keine gelabelten Daten hast oder sich die Kategorien oft ändern, ist Zero-shot der schnellere Weg zur Lösung.

Die Rolle von Foundation Models und LLMs

Zero-shot-Klassifikation wurde populär, weil große vortrainierte Modelle inzwischen gut genug dafür sind.

Vor Foundation Models konntest du einem Modell nicht einfach eine Liste unbekannter Labels geben und vernünftige Vorhersagen erwarten. Dem Modell fehlte das Sprachverständnis, um Verbindungen herzustellen. Pretraining auf riesigen Korpora hat das geändert. Ein Modell, das einen großen Teil des Internets gelesen hat, kennt Wörter wie "refund" oder "complaint" aus zahllosen Kontexten – so wird das Matching mit neuen Eingaben möglich.

Heute stehen hinter den meisten Zero-shot-Workflows einige Modellfamilien:

• BERT und Varianten: BERT-Modelle lernen beim Pretraining tiefe Repräsentationen von Text. Varianten wie RoBERTa und DeBERTa treiben das mit besseren Trainingsverfahren und größeren Datensätzen weiter.
• NLI-basierte Modelle: Diese Modelle sind auf Natural Language Inference feinabgestimmt. Sie stecken hinter den meisten Zero-shot-Pipelines von der Stange – warum, erkläre ich im nächsten Abschnitt.
• Moderne LLMs: Große Sprachmodelle wie die GPT-Familie oder Claude bewältigen Zero-shot-Klassifikation per Prompting. Du beschreibst die Aufgabe in Alltagssprache, listest die Kategorien auf, und das Modell wählt eine aus.

Gemeinsamer Nenner sind Skalierung und Allgemeinheit. Ein eng trainiertes Modell kann nur seine Zielaufgabe. Ein breit vortrainiertes Modell lässt sich auf viele Aufgaben umlenken – ohne je gelabelte Beispiele dafür gesehen zu haben.

Natural Language Inference (NLI) und Zero-shot-Klassifikation

Die meisten Zero-shot-Klassifikatoren in der Praxis basieren auf NLI-Modellen. Das überrascht viele – deshalb lohnt ein genauer Blick.

Natural Language Inference ist eine eigene Aufgabe. Gegeben sind zwei Sätze (Prämisse und Hypothese); das Modell entscheidet ihre Beziehung. Die Ausgabe sind drei Labels:

• Entailment (Folgerung): Die Hypothese folgt aus der Prämisse.
• Contradiction (Widerspruch): Die Hypothese widerspricht der Prämisse.
• Neutral: Unklarer oder kein Zusammenhang zwischen den Sätzen.

Beispiel: Ist die Prämisse "The team finished the project two weeks early" und die Hypothese "The team delivered on time", sollte ein NLI-Modell Entailment vorhersagen. Ist die Hypothese "The team missed the deadline", sollte es Widerspruch liefern.

Dieses Setup passt perfekt zu Zero-shot-Klassifikation. Behandelst du deine Eingabe als Prämisse, kannst du jedes Kandidatenlabel in eine Hypothese verwandeln.

Angenommen, du willst den Satz "My package never arrived" in eine von drei Kategorien einordnen: shipping issue, billing issue oder product question. Das Modell sieht diese nicht als Labels, sondern als Hypothesen – meist verpackt in eine einfache Vorlage wie "This text is about {label}":

• Prämisse: "My package never arrived" | Hypothese: "This text is about a shipping issue"

• Prämisse: "My package never arrived" | Hypothese: "This text is about a billing issue"

• Prämisse: "My package never arrived" | Hypothese: "This text is about a product question"

Das NLI-Modell bewertet jedes Paar. Die Hypothese mit der höchsten Entailment-Score gewinnt, und das zugehörige Label wird zur Vorhersage.

Das Modell musste nie lernen, was "shipping issue" oder "billing issue" als Label bedeutet. Es musste nur verstehen, wie Entailment grundsätzlich aussieht – genau das lernt es beim NLI-Finetuning.

Darum funktioniert NLI-basiertes Zero-shot so gut. Das Modell macht genau die Aufgabe, für die es trainiert wurde (Entailment beurteilen), und du formulierst dein Klassifikationsproblem als Reihe von Entailment-Fragen.

Zero-shot vs. Few-shot vs. Fine-tuning

Zero-shot ist nicht die einzige Möglichkeit, ein Modell ohne kompletten Trainingslauf zu klassifizieren. Hier der Vergleich mit Alternativen.

Zero-shot

Zero-shot bedeutet: keine Beispiele. Du gibst dem Modell eine Eingabe und eine Liste mit Kandidatenlabels, und es sagt anhand seines Vorwissens aus dem Pretraining die beste Kategorie voraus.

Das Modell hat für deine spezifische Aufgabe nie gelabelte Daten gesehen. Es arbeitet rein mit Allgemeinwissen.

Few-shot

Few-shot gibt dem Modell ein paar Beispiele – meist direkt im Prompt. Du zeigst zwei, fünf, vielleicht zehn Eingaben mit korrektem Label und bittest es dann, eine neue Eingabe analog zu klassifizieren.

Das Modell wird hier nicht neu trainiert. Es nutzt weiterhin seine vortrainierten Gewichte. Die Beispiele dienen nur als Referenz – ein kurzes "So meine ich diese Kategorien" vor der Vorhersage.

Fine-tuning

Fine-tuning ist ein eigener Trainingsprozess. Du nimmst ein vortrainiertes Modell, gibst ihm einen gelabelten Datensatz für deine Aufgabe und aktualisierst seine Gewichte, bis es deine Kategorien sicher vorhersagt.

Das ist der aufwendigste Ansatz. Du brauchst gelabelte Daten, Trainingsinfrastruktur und Zeit. Im Gegenzug wird das Modell auf deine Aufgabe spezialisiert.

Vergleich der drei Ansätze

Die drei Ansätze unterscheiden sich bei drei praxisrelevanten Faktoren: Genauigkeit, Flexibilität und Kosten.

Zero-shot-Lernen im Vergleich zu Alternativen

Ein paar Punkte stechen aus der Tabelle heraus.

Genauigkeit ist kein sauberes Ranking. Fine-tuning gewinnt, wenn genug gelabelte Daten da sind und die Aufgabe stabil ist. Bei einer komplett neuen Aufgabe ohne Beispiele ist Fine-tuning aber keine Option – Zero-shot ist dann die einzige realistische Wahl.

Flexibilität verhält sich umgekehrt. Zero-shot lässt dich Kategorien jederzeit ändern. Fine-getunte Modelle sind an das trainierte Labelset gebunden.

Die Kosten sind am offensichtlichsten. Zero-shot kostet fast nichts in der Einrichtung. Few-shot erfordert einen kleinen Annotierungsaufwand. Fine-tuning ist ein eigenes Projekt und braucht Infrastruktur.

Der gängige Workflow ist: mit Zero-shot starten, um die Machbarkeit zu prüfen. Reicht die Genauigkeit nicht, zu Few-shot wechseln. Wenn das immer noch nicht genügt und die Aufgabe wichtig ist, feinabstimmen.

Zero-shot-Klassifikation in NLP

Zero-shot-Klassifikation taucht in vielen NLP-Workflows auf – besonders dort, wo gelabelte Daten rar sind oder sich Kategorien ständig verschieben. Hier die häufigsten Anwendungen.

Sentiment-Analyse

Die klassische Einstiegsaufgabe: Du gibst Text ein und wählst Labels wie "positive", "negative" und "neutral".

Spannend ist, wie leicht du darüber hinausgehen kannst. Ein traditioneller Sentiment-Klassifikator ist an sein Trainigset gebunden. Mit Zero-shot kannst du spezifischere Labels wie "frustrated", "satisfied", "confused" oder "excited" verwenden – das Modell kommt ohne Retraining klar. Ideal für Produktfeedback oder Social Listening, wo relevante Emotionen kontextabhängig sind.

Themenklassifikation

Hier werden Dokumente thematisch sortiert. Nachrichten etwa in "politics", "sports", "technology", "finance". Support-Tickets in "billing", "shipping", "account access", "feature request".

Zero-shot macht das Setup trivial. Du brauchst keinen gelabelten Datensatz für jedes neue Thema. Startet dein Produkt ein neues Feature und du willst entsprechende Tickets tracken, fügst du einfach "new feature feedback" zur Kandidatenliste hinzu – fertig.

Intent-Erkennung

Intent-Erkennung ermittelt, was ein Nutzer vorhat – das Herzstück der meisten Chatbots und Sprachassistenten. Tippt jemand "I need to change my password", muss das Modell den Intent als "password reset" statt etwa "general security question" erkennen.

Genau hier glänzt Zero-shot. Echte Produkte bekommen laufend neue Intents, und jedes Mal den Intent-Klassifikator neu zu trainieren, ist viel Arbeit. Zero-shot hält die Intentliste aktuell – ohne Modelländerungen.

Content-Moderation

Content-Moderation markiert problematische Texte – etwa "hate speech", "spam", "harassment" oder "misinformation". Richtlinien müssen aktuell bleiben – Kategorien ändern sich, wenn neue Missbrauchsformen entstehen.

Zero-shot passt hier perfekt. Moderationsteams können Definitionen oder Kategorien anpassen, ohne für jeden Richtlinienwechsel einen Retraining-Zyklus anzustoßen. Häufig wird es mit klassischen Klassifikatoren für hohe Volumina kombiniert – Zero-shot übernimmt die Long-Tail-Kategorien, für die es nicht genug gelabelte Beispiele gibt.

Zero-shot-Klassifikation mit Hugging Face Transformers

Die transformers-Bibliothek von Hugging Face ist der einfachste Weg, Zero-shot-Klassifikation in Python auszuprobieren. Die pipeline-API verbirgt fast die gesamte Modell-Ladearbeit – von null zur Vorhersage in wenigen Zeilen Code.

Beim ersten Ausführen wird das Modell heruntergeladen – das kann etwas dauern.

Hier ein vollständiges Beispiel zum Ausführen:

from transformers import pipeline
from pprint import pprint

# Load a zero-shot classification pipeline
classifier = pipeline(
    "zero-shot-classification",
    model="facebook/bart-large-mnli"
)

# The text you want to classify
text = "My package never arrived and customer support hasn't responded in three days."

# The labels you want the model to choose from
candidate_labels = [
    "shipping issue",
    "billing issue",
    "product question",
    "general inquiry"
]

# Run the classification
result = classifier(text, candidate_labels)

pprint(result)

Die Ausgabe ist ein Dictionary mit drei Feldern: die Originaleingabe, die Kandidatenlabels (vom wahrscheinlichsten zum unwahrscheinlichsten sortiert) und der Konfidenzwert für jedes Label.

Pipeline-Ausgabe

"shipping issue" gewinnt mit einer Konfidenz von 0,82. Das Modell hat während des Trainings nie gelabelte Beispiele für Versandbeschwerden gesehen, konnte dies aber dank des vortrainierten bart-large-mnli-Modells erkennen, das auf NLI-Daten feinabgestimmt wurde – wie zuvor beschrieben.

Ein paar Hinweise zum Workflow:

• Das Modell ist ein NLI-Modell: bart-large-mnli ist BART, feinabgestimmt auf dem MultiNLI-Datensatz. Die Pipeline verwandelt deine Labels hinter den Kulissen in Hypothesen und jagt sie durchs Modell.

• Labels jederzeit änderbar: Am Modell ändert sich nichts. Tausche die Liste candidate_labels aus – schon klassifizierst du in andere Kategorien.

• Multi-Label ist nur ein Flag entfernt: Setze multi_label=True beim Aufruf der Pipeline, und die Labels konkurrieren nicht miteinander. Jedes Label erhält eine unabhängige Wahrscheinlichkeit – eine Eingabe kann mehreren Kategorien angehören.

result = classifier(text, candidate_labels, multi_label=True)
pprint(result)

Multi-Label-Ausgabe

Das ist der gesamte Ablauf. Pipeline laden, Labels definieren, Klassifikator aufrufen. Viel schneller und einfacher als einen Klassifikator von Grund auf zu bauen.

Häufige Fehler bei der Zero-shot-Klassifikation

Zero-shot-Klassifikation ist schnell eingerichtet – genau deshalb wird sie oft falsch eingesetzt. Hier die häufigsten Fehler aus echten Projekten.

Unklare Labels wählen

Labels sind deine Sprache zum Modell. Unklare Labels führen zu unklaren Vorhersagen.

"good" und "bad" sagen dem Modell wenig. "customer is happy with the product" und "customer is reporting a problem with the product" geben dem Modell Substanz. Je sinnvoller deine Labels als Phrasen formuliert sind, desto besser kann das Modell sie mit deinen Eingaben abgleichen.

Vermeide außerdem Überschneidungen. Wenn "complaint" und "negative feedback" beide in deiner Kandidatenliste stehen, teilt das Modell seine Konfidenz auf – und keine Kategorie gewinnt klar.

Zero-shot mit Fine-tuning-Leistung gleichsetzen

Das ist der häufigste Irrtum. Zero-shot ist gut, aber keine Zauberei.

Ein feinabgestimmtes Modell, das auf ein paar tausend gelabelten Beispielen deiner Aufgabe trainiert wurde, schlägt ein Zero-shot-Modell darauf fast immer. Wenn du mit Zero-shot 85% Genauigkeit siehst, für die Produktion aber 95% brauchst, wirst du die Lücke nicht durch Label-Feinschliff schließen. Dann ist Fine-tuning die Lösung.

Nutze Zero-shot, wenn du keine gelabelten Daten hast, wenn Kategorien sich häufig ändern oder wenn "gut genug" wirklich reicht. Nutze es nicht nur wegen der schnellen Einrichtung und sei dann überrascht, wenn es bei kritischen Aufgaben nicht mithält.

Evaluation auf zu engen Datensätzen

Typischer Verlauf: Du baust einen Zero-shot-Klassifikator, testest ihn auf 50 selbst erstellten Beispielen – Trefferquote 100%. Nach dem Go-live hagelt es Beschwerden über schlechte Qualität.

Deine 50 Beispiele sind nicht repräsentativ für echte Nutzereingaben. Sie sind sauberer, offensichtlicher und entsprechen deiner Sicht auf die Kategorien. Evaluiere auf Daten, die dem Produktionseinsatz ähneln – nutzergenerierter Text mit Tippfehlern, Slang und Edge-Cases. Wenn du diese Daten noch nicht hast, ziehe ein paar hundert echte Eingaben als Stichprobe und label sie händisch, bevor du den Zahlen vertraust.

Domänenspezifische Sprache ignorieren

Allgemeine Zero-shot-Modelle kennen allgemeine Sprache. Sie kennen nicht den Jargon deiner Branche.

Medizinische Terminologie, juristische Sprache, Finanzabkürzungen, technische Spezifikationen – all das taucht im Pretraining auf, aber nicht in der nötigen Tiefe. Wenn du ein generisches Zero-shot-Modell Sätze voller ICD-10-Codes oder SQL-Fehlermeldungen klassifizieren lässt, erwarte durchwachsene Ergebnisse.

Du hast zwei Optionen: Entweder formulierst du Labels in Alltagssprache um, die das Modell eher versteht, oder du wechselst zu einem Modell, das auf Texte deiner Domäne vortrainiert wurde. BioBERT für Medizin, FinBERT für Finanzen und ähnliche Spezialmodelle schlagen Allgemeinmodelle auf Fachaufgaben oft deutlich.

Warum Zero-shot-Klassifikation in moderner KI wichtig ist

Zero-shot-Klassifikation zeigt exemplarisch, wie Foundation Models die Möglichkeiten der KI verschoben haben.

Vor zehn Jahren begann jede Klassifikationsaufgabe mit der Frage: Haben wir gelabelte Daten – und wenn nicht, wie kommen wir daran? Annotation dauerte Monate, kostete Budget, brauchte Dienstleister und Qualitätskontrolle. Ohne Daten kein Modell.

Diese Annahme gilt nicht mehr.

Ein Foundation Model, das auf breiten Textdaten trainiert wurde, versteht genug Sprache, um eine neue Klassifikationsaufgabe direkt nach deiner Beschreibung zu bewältigen. Die Labelliste ist das Einzige, was du definieren musst.

Dieser Wandel ist aus mehreren Gründen wichtig und passt zu größeren KI-Trends:

• Er zeigt den eigentlichen Zweck von Foundation Models: Pretraining in großem Maßstab sollte Modelle schaffen, die sich ohne Retraining auf viele Aufgaben umlenken lassen. Zero-shot-Klassifikation ist eines der klarsten Beispiele dafür.
• Sie reduziert die Abhängigkeit von Supervised-Datasets: Gelabelte Daten sind weiter nützlich, aber kein Muss mehr, um einen funktionierenden Klassifikator zu bauen. Teams ohne Budget für Annotation können trotzdem wertvolle KI-Features ausrollen.
• Sie beschleunigt die Auslieferung: Ein Feature, das früher ein Quartal brauchte, ist heute am Nachmittag prototypisiert. Das beeinflusst, was Teams bauen – weil Ausprobieren fast nichts mehr kostet.

Der übergreifende Trend: weg von aufgabenspezifischen hin zu allgemeinen Modellen. Fine-tuning hat weiter seinen Platz, ebenso Training von Grund auf, wenn nötig. Aber der Standardstartpunkt hat sich verschoben: Zuerst greifst du zu einem vortrainierten Modell und spezialisierst nur, wenn die Daten es rechtfertigen.