Self-Supervised Learning: Wie Modelle ohne Labels lernen

Jedes Machine-Learning-Projekt kommt irgendwann an den Punkt, an dem du beschriftete Daten brauchst – und das Labeln kostet mehr Zeit und Geld, als die meisten Teams aufbringen können.

Ein Team zu engagieren, das eine Million Bilder taggt oder eine Million Audioclips transkribiert, geht schnell in den sechsstelligen Bereich. Gleichzeitig ist das Internet voll mit unbeschrifteten Texten, Bildern, Audio und Videos. ML-Teams sitzen auf mehr Rohdaten, als sie je nutzen werden – nur kommen diese fast nie mit den Labels, die fürs Training gebraucht werden.

Self-Supervised Learning braucht diesen Labeling-Schritt nicht. Es macht die Struktur der Daten selbst zur Trainingsinformation. Statt Menschen dafür zu bezahlen, zu sagen, was in einem Bild zu sehen ist oder was ein Satz bedeutet, richtest du eine Aufgabe ein, die die Daten schon aus sich heraus beantworten können – etwa ein Wort zu verstecken und das Modell anhand des Kontexts raten zu lassen.

In diesem Artikel erkläre ich, wie Self-Supervised Learning funktioniert, gehe die wichtigsten Techniken durch und zeige, wie es sich von supervised-, unsupervised- und semi-supervised-Learning unterscheidet.

Was ist Self-Supervised Learning?

Self-Supervised Learning ist eine Methode, Modelle zu trainieren, ohne die Daten vorher manuell zu labeln.

Statt dass eine Person jedes Beispiel taggt, bringen die Daten ihren eigenen Lösungsschlüssel mit. Das Modell betrachtet einen Teil der Eingabe, blendet einen anderen aus und lernt, indem es versucht, die Lücke zu schließen. Ein menschliches Eingreifen ist nicht nötig.

Du kannst zum Beispiel in einem Satz ein Wort verbergen und das Modell anhand der umgebenden Wörter raten lassen. "The engineer pushed the ___ to the main branch" liefert genug Kontext, damit das Modell auf "code" oder "changes" tippt – ohne dass jemand die richtige Antwort vorgibt. Der Satz selbst ist das Label.

Self-Supervised Learning liegt in einer Zwischenzone. Das Trainingsziel ähnelt dem von supervised Learning – es gibt eine klare Eingabe, ein klares Ziel und eine Loss-Funktion, die den Fehler misst. Weil diese Ziele aber nicht von Menschen erstellt werden, ordnet man es meist dem unsupervised Learning zu, das ebenfalls mit rohen, unbeschrifteten Daten arbeitet. Self-Supervised Learning übernimmt die Mechanik des einen und die Datenquelle des anderen.

Wie funktioniert Self-Supervised Learning?

Der Ablauf folgt einem wiederkehrenden Muster – unabhängig vom Datentyp. Die Schritte sind:

1. Starte mit unbeschrifteten Daten: Text, Bilder, Audio, Video – Hauptsache, du hast viel davon.
2. Erzeuge daraus eine Lernaufgabe: Das nennt man eine Pretext-Aufgabe. Es ist nicht die eigentliche Zielaufgabe, sondern ein konstruiertes Problem, das das Modell zwingt, Nützliches zu lernen. Ein Wort zu maskieren und es vorhersagen zu lassen, ist ein Beispiel.
3. Trainiere das Modell auf diese Aufgabe: Das Modell macht eine Vorhersage, vergleicht sie mit dem tatsächlichen Wert und passt sich an.
4. Lerne nützliche Repräsentationen: Beim Lösen der Pretext-Aufgabe entwickelt das Modell ein internes Verständnis der Datenstruktur – Grammatik, Kontext, Formen, Muster.
5. Übertrage diese Repräsentationen auf Downstream-Aufgaben: Sobald die Repräsentationen sitzen, richtest du das Modell auf die eigentliche Zielaufgabe aus – die Downstream-Aufgabe.

Die Pretext-Aufgabe ist nur ein Trainingsparcours. Niemand deployed zum Spaß ein Modell, das versteckte Wörter vorhersagt – der Wert steckt in den Repräsentationen, die unterwegs entstehen und sich auf echte Probleme übertragen lassen.

Self-Supervised Learning vs. andere Lernmethoden

Am leichtesten verstehst du Self-Supervised Learning, wenn du siehst, wo es sich mit anderen Paradigmen überschneidet und wo es sich unterscheidet.

Self-supervised vs. supervised Learning

Supervised Learning braucht für jede Eingabe ein beschriftetes Beispiel, etwa ein Bild mit dem Tag "dog" oder eine Rezension mit dem Tag "negative". Diese Labels müssen Menschen von Hand erstellen – das kostet Zeit, Geld und begrenzt realistisch die nutzbare Datenmenge.

Beim Self-Supervised Learning bekommt das Modell weiterhin ein Vorhersageziel, aber dieses Ziel kommt aus den Daten selbst – ein verstecktes Wort oder das nächste Token in einer Sequenz. Für das Trainingssignal sind keine menschlichen Annotationen nötig.

Self-supervised vs. unsupervised Learning

Beide Methoden arbeiten mit unbeschrifteten Daten, was oft für Verwirrung sorgt. Der Unterschied liegt im Ziel.

Unsupervised Learning sucht nach Struktur ohne ein konkretes Vorhersageziel – zum Beispiel ähnliche Kundinnen und Kunden clustern oder die Dimensionalität reduzieren. Self-Supervised Learning baut aus den Daten eine explizite Vorhersageaufgabe und trainiert das Modell darauf. Dieses Vorhersageziel bringt einen supervised-ähnlichen Trainingsloop, obwohl die Labels selbst erzeugt sind.

Self-supervised vs. semi-supervised Learning

Semi-Supervised Learning mischt bewusst einen kleinen beschrifteten Datensatz mit einem größeren unbeschrifteten und nutzt beides gleichzeitig, um das Modell zu verbessern.

Self-Supervised Pretraining braucht anfangs gar keine Labels. Es kann vollständig auf unbeschrifteten Daten vortrainieren und optional später mit einem beschrifteten Datensatz feinabstimmen. Falls Labels ins Spiel kommen, dann nach dem Pretraining.

Self-Supervised Learning im Vergleich zu anderen Methoden

Arten von Self-Supervised Learning

Self-Supervised-Methoden lassen sich in einige große Familien einteilen – jeweils rund um unterschiedliche Pretext-Aufgaben.

Kontrastives Lernen

Contrastive Learning trainiert ein Modell darauf, zusammengehörige Beispiele von nicht zusammengehörigen zu unterscheiden. Es zieht Repräsentationen ähnlicher Beispiele zusammen und stößt unähnliche auseinander – ohne je ein manuelles Label zu verwenden, das "ähnlich" definiert.

Zwei augmentierte Versionen desselben Bildes gelten als verwandt. Ein Bild und seine passende Bildunterschrift ebenso. SimCLR setzt das innerhalb einer Modalität um und vergleicht verschiedene Zuschnitte oder Transformationen desselben Bildes. CLIP überträgt es über Modalitäten hinweg, indem es Bilder mit dem Text ausrichtet, der sie beschreibt.

Maskiertes Modeling

Maskiertes Modeling blendet Teile der Eingabe aus und trainiert das Modell darauf, sie zu rekonstruieren. Es ist dieselbe Lückentext-Idee wie zuvor, nur breiter angewandt.

In der Sprache zeigt sich das als Masked Language Modeling: einzelne Wörter in einem Satz werden verborgen und aus dem restlichen Kontext vorhergesagt. In der Bildverarbeitung als Masked Image Modeling: Patches eines Bildes werden versteckt, und das Modell rekonstruiert die fehlenden Pixel oder deren zugrunde liegende Repräsentation.

Autoregressives Lernen

Autoregressives Lernen sagt das nächste Element in einer Sequenz anhand aller vorherigen voraus. Ausgehend vom Satzanfang prognostiziert das Modell das nächste Wort, danach das folgende – und so weiter.

Das ist das Trainingsziel hinter den meisten modernen Sprachmodellen. Es passt natürlich zu Text, da Sprache sequenziell ist, und skaliert ohne Zusatzaufwand auf riesige Textkorpora.

Self-Distillation

Self-Distillation trainiert ein Modell, indem es seine eigenen Vorhersagen als Ziel verwendet – statt einer festen, in den Daten verborgenen Antwort.

Häufig laufen zwei Versionen desselben Netzwerks – ein "Student" und ein "Teacher" – auf unterschiedlichen Sichten derselben Eingabe. Der Student lernt, die Ausgabe des Teachers zu treffen, und der Teacher wird als langsam gleitender Durchschnitt des Students aktualisiert. DINO und BYOL sind hierfür bekannte Ansätze. Es braucht weder negative Beispiele noch maskierte Eingaben – das Modell gewinnt seine Aufsicht aus der Konsistenz über verschiedene Ansichten.

Self-Supervised Learning in Large Language Models

Self-Supervision ist die komplette Pretraining-Phase großer Sprachmodelle. Jedes große LLM, das du nutzt, hat Sprachstruktur, Fakten und Denkweisen ohne ein einziges menschlich geschriebenes Label gelernt – allein durch Self-Supervised-Pretext-Aufgaben auf Rohtext.

Next-Token-Vorhersage

Die meisten modernen LLMs pretrainieren auf Next-Token-Prediction: Gegeben eine Token-Sequenz wird das nächste Token vorhergesagt. Das Modell liest alles vor einer Position, rät, was folgt, vergleicht mit dem tatsächlichen nächsten Token und passt sich an.

Über Billionen von Tokens aus Websites und Code-Repositories hinweg baut das Modell so ein funktionierendes Modell von Grammatik, Fakten und sogar Mustern des Schlussfolgerns auf. Es ist dasselbe autoregressive Ziel wie oben – nur im großen Maßstab.

Masked Language Modeling

Bevor autoregressives Pretraining dominierte, nutzten Modelle wie BERT eine andere Pretext-Aufgabe. Statt das nächste Token zu prognostizieren, maskiert BERT zufällige Tokens im Satz und sagt sie mit beidseitigem Kontext vorher.

Dieser bidirektionale Kontext macht Masked-Language-Modelle stark im Verstehen – z. B. bei Klassifikation und Question Answering –, auch wenn sie keinen Text generieren wie Next-Token-Modelle.

Lernen aus großen Textkorpora

Ohne Volumen geht es nicht. Fürs Pretraining werden Webseiten, Bücher, Code-Repositories und Foren gefiltert und dedupliziert – zu Korpora mit Milliarden bis Billionen Tokens. Je größer und vielfältiger der Korpus, desto allgemeiner werden die gelernten Repräsentationen.

Self-Supervision leistet die Vorarbeit im Pretraining, aber es ist nicht der letzte Schritt. Fine-Tuning mit menschlichen Anweisungsbeispielen bringt dem Modell bei, Anweisungen zu befolgen, und Präferenzoptimierung wie RLHF oder DPO formt Antworten anhand bewerteter menschlicher Präferenzen. Beide späten Phasen brauchen Labels. Self-Supervised Pretraining ist die einzige Phase, die ohne auskommt.

Self-Supervised Learning in der Computer Vision

Computer Vision leidet besonders unter fehlenden Labels. Bounding Boxes und Segmentierungsmasken zu erzeugen dauert viel länger als ein einzelnes Textlabel – Self-Supervised-Methoden sind hier deshalb besonders wertvoll.

Kontrastives Lernen für Bilder nutzt dasselbe Zieh-und-Schieb-Prinzip: Zwei augmentierte Versionen desselben Fotos (z. B. Zuschnitt oder Flip) sollen als verwandt erkannt werden, andere Bilder im Batch als nicht verwandt. SimCLR ist ein bekanntes Beispiel dafür.

Masked Image Modeling überträgt den Lückentext aus der Sprache auf Pixel. Patches eines Bildes werden maskiert und das Modell rekonstruiert den fehlenden Inhalt – als rohe Pixel oder als gelernte Merkmalsrepräsentation. Das ist das Ziel hinter MAE (Masked Autoencoders).

Bild-Text-Ausrichtung trainiert ein Modell darauf, Bilder mit den passenden Captions zu matchen – passende Paare werden in einem gemeinsamen Embeddingraum zusammengeführt, unpassende getrennt. CLIP ist hier das bekannteste Beispiel und der Grund, warum solche Modelle Zero-Shot-Klassifikation unterstützen – sie erkennen Kategorien, auf die sie nie explizit trainiert wurden, indem sie ein Bild mit Textbeschreibungen vergleichen.

Self-Supervised Learning jenseits von Text und Bildern

Die Pretext-Aufgabe folgt immer der Form der Daten. Wo viele unbeschriftete Daten vorliegen, lässt sich meist eine passende Self-Supervised-Aufgabe entwerfen.

In Sprache und Audio werden maskierte Audiostücke vorhergesagt oder unterschiedliche Clips kontrastiert – analog zu Bildzuschnitten. So entstehen Repräsentationen, die z. B. für Spracherkennung nützlich sind, ohne dass transkribierte Trainingsdaten nötig sind.

In Video können zukünftige Frames vorhergesagt oder Clips aus derselben Quelle gematcht werden – das vermittelt Bewegungs- und Zeitstruktur, die ein Einzelbild nicht liefern kann.

Multimodale Modelle kombinieren mehrere dieser Ideen, indem sie Text, Bilder, Audio und Video in einem gemeinsamen Repräsentationsraum ausrichten – ähnlich wie CLIP für Bild und Text, nur über mehr Datentypen hinweg.

Self-Supervision taucht sogar in wissenschaftlichen und Sensordaten auf – etwa Genomsequenzen oder Zeitreihenmessungen –, bei denen das Maskieren oder Vorhersagen von Signalteilen dem Modell Struktur aus Messungen beibringt, die nie für "Labels" gedacht waren.

Wie Self-Supervised-Modelle downstream genutzt werden

Pretraining erzeugt ein Modell, das in der Pretext-Aufgabe gut ist. Darum geht es aber nicht – entscheidend ist, was danach passiert.

Fine-Tuning

Beim Fine-Tuning trainierst du alle Gewichte des vortrainierten Modells weiter – diesmal auf beschrifteten Daten für deine eigentliche Aufgabe. Weil das Modell die Domänenstruktur bereits versteht, braucht es dafür meist deutlich weniger Labels als beim Training von Grund auf.

Lineares Probing

Beim linearen Probing frierst du das vortrainierte Modell komplett ein und trainierst nur eine einzelne lineare Schicht obendrauf. Wenn ein einfacher linearer Klassifikator die Klassen mit diesen eingefrorenen Features trennen kann, haben die Repräsentationen echte Struktur erfasst. Daher ist lineares Probing eine gängige Methode, um die Qualität der Repräsentationen isoliert zu testen.

Feature-Extraktion

Feature-Extraktion funktioniert ähnlich wie lineares Probing, nur ohne die lineare Schicht. Du nimmst die eingefrorenen Repräsentationen und gibst sie an jeden beliebigen Downstream-Algorithmus weiter. Die einzige Aufgabe des vortrainierten Modells ist es, gute Embeddings zu erzeugen – alles danach liegt bei dir.

Zero-Shot- und Few-Shot-Nutzung

Manche Repräsentationen sind so gut, dass du sie ganz ohne Downstream-Training einsetzen kannst. CLIP bettet dafür ein Bild und eine Menge möglicher Textlabels in denselben Raum ein und wählt dann das Label, das dem Bild am nächsten liegt. Few-Shot Learning nimmt dieselbe Idee und ergänzt wenige beschriftete Beispiele – oft reicht das, weil die Repräsentationen bereits den Großteil der Struktur tragen.

Mit Self-Supervised Learning erhältst du wiederverwendbare Repräsentationen. Du pretrainierst einmal und kannst dasselbe Kernmodell danach für Fine-Tuning, Probing, Feature-Extraktion oder direkte Abfragen über viele Downstream-Aufgaben nutzen. Der teure Teil passiert nur ein einziges Mal im Pretraining – nicht für jede Aufgabe erneut.

Self-Supervised Learning in Python

Hier ein leichtgewichtiges Beispiel mit einem vortrainierten Modell – kein Self-Supervised-System von Grund auf –, damit du das Grundprinzip des Workflows siehst.

all-MiniLM-L6-v2, verfügbar über das Paket sentence-transformers, wurde mit einem Masked-Language-Modeling-Ziel vortrainiert und anschließend kontrastiv auf Satzpaaren weitertrainiert. Der Self-Supervised-Teil ist also erledigt – du nutzt nur die entstehenden Repräsentationen.

Installiere zunächst die Abhängigkeiten:

pip install sentence-transformers scikit-learn

Weiter geht’s mit dem Code:

from sentence_transformers import SentenceTransformer
from sklearn.linear_model import LogisticRegression

# Create unlabeled data
support_tickets = [
    "My order arrived damaged and I need a replacement.",
    "The app crashes every time I try to upload a photo.",
    "I love how fast the checkout process is now.",
    "Can you tell me when my refund will be processed?",
    "The new dashboard layout is so much easier to use.",
    "I can't log in, it keeps saying my password is wrong.",
]

# Load a model pretrained with a self-supervised objective
model = SentenceTransformer("all-MiniLM-L6-v2")

# Obtain learned representations
embeddings = model.encode(support_tickets)
print(embeddings.shape)

Form der Embeddings

Die Methode .encode() lässt jedes Ticket durch das vortrainierte Modell laufen und gibt einen dichten Vektor zurück, der seine Bedeutung repräsentiert. Für eine Downstream-Aufgabe brauchst du danach nur noch wenige Labels, weil die Embeddings den Großteil der Struktur bereits tragen:

# Use the representations for a downstream task, 1 = complaint, 0 = positive feedback
labels = [1, 1, 0, 1, 0, 1]

clf = LogisticRegression()
clf.fit(embeddings, labels)

new_ticket = ["The delivery was late and no one responded to my email."]
new_embedding = model.encode(new_ticket)
print(clf.predict(new_embedding))

Vorhersage der logistischen Regression

Sechs gelabelte Tickets und ein LogisticRegression-Klassifikator reichen hier aus, weil die Repräsentationen – nicht der Klassifikator – die Hauptarbeit leisten.

Vorteile und Grenzen von Self-Supervised Learning

Schauen wir uns die Stärken und Schwächen von Self-Supervised Learning an.

Vorteile

1. Reduzierte Abhängigkeit von manuellen Labels: Die Pretext-Aufgabe erzeugt ihre Ziele selbst, sodass das Label-Budget nicht länger die maximal nutzbare Datenmenge begrenzt.
2. Nutzung sehr großer Datensätze: Sammlungen in Web-Größe von Text und Audio werden fürs Training nutzbar – nicht nur kleine, bezahlbar gelabelte Teilmengen.
3. Übertragbare Repräsentationen: Ein einziges vortrainiertes Modell kann für Fine-Tuning, lineares Probing, Feature-Extraktion und Zero-Shot-Einsatz über mehrere Downstream-Aufgaben dienen.
4. Ermöglicht Pretraining im großen Maßstab: Das macht heutige Foundation-Modelle überhaupt erst möglich.

Grenzen

1. Erheblicher Rechenaufwand: Pretraining auf Daten in Internetgröße braucht starke Hardware und viel Zeit – für die meisten Teams allein nicht machbar.
2. Das Design der Pretext-Aufgabe ist entscheidend: Eine schlecht gewählte Pretext-Aufgabe liefert Repräsentationen, die sich trotz vieler Daten schlecht übertragen lassen.
3. Gekoppelte Verzerrungen: Vorhandene Muster, Lücken oder Schieflagen in den Trainingsdaten schlagen sich in den Repräsentationen nieder – es gibt im Pretraining keinen Filter, der das korrigiert.
4. Starke Pretraining-Ergebnisse garantieren keinen Downstream-Erfolg: Ein Modell kann seine Pretext-Aufgabe meistern und dennoch auf einer spezifischen Downstream-Aufgabe schwächeln, für die es nie direkt optimiert wurde.

Warum Self-Supervised Learning für moderne KI wichtig ist

Self-Supervised Learning ist der Grund, warum Foundation-Modelle überhaupt möglich sind.

Pretraining in heutigem Maßstab wäre unerreichbar, wenn es auf manuellen Labels beruhte. Niemand labelt eine Billion Tokens Text oder eine Milliarde Bilder von Hand. Self-Supervision machte es praktikabel, auf Datensammlungen in Internetgröße vorzutrainieren und dieses eine Modell anschließend für viele Downstream-Aufgaben wiederzuverwenden – statt für jede Aufgabe separat zu trainieren.

Dieser Wechsel von vielen aufgabenspezifischen Modellen hin zu einem allgemeinen vortrainierten Modell, das an viele Einsatzzwecke angepasst wird, prägt den Kurs der modernen KI. Self-Supervised Learning ist der Mechanismus, der das ermöglicht hat.

Fazit

Self-Supervised Learning bezieht sein Trainingssignal aus der Struktur unbeschrifteter Daten, statt aus menschlich erstellten Labels. Das typische Muster: ein Wort verbergen oder das nächste Token vorhersagen. Die Daten beantworten ihre eigenen Fragen – und das Modell lernt, diese Antworten zu treffen.

Die Hauptansätze bauen diese Idee unterschiedlich aus. Kontrastives Lernen führt Verwandtes zusammen und trennt Unverwandtes. Maskiertes Modeling blendet Teile der Eingabe aus und trainiert auf Rekonstruktion. Autoregressives Lernen sagt das nächste Element aus allem Vorherigen voraus. Die Mechanik variiert – das Prinzip bleibt: Die Daten liefern das Trainingssignal selbst.

Darauf beruhen die meisten Sprach-, Visions- und Multimodal-Modelle, die du bereits nutzt. Next-Token-Prediction pretrainiert heutige LLMs, kontrastive und maskierte Ziele pretrainieren Vision-Modelle, und Bild-Text-Ausrichtung pretrainiert multimodale Modelle, die beides verbinden.

Wenn du lernen willst, ein LLM von Grund auf zu bauen, melde dich für unseren Lernpfad Developing Large Language Models an und sieh dir PyTorch, Hugging Face und die neuesten NLP-Techniken in der Praxis an.