Självövervakad inlärning: Hur modeller lär sig utan etiketterad data

Varje maskininlärningsprojekt når förr eller senare en punkt där du behöver etiketterad data, och att etikettera den kostar mer tid och pengar än vad de flesta team har råd med.

Att anlita ett team för att tagga en miljon bilder eller transkribera en miljon ljudklipp kan landa på sexsiffriga belopp. Samtidigt är internet fullt av text, bilder, ljud och video utan etiketter. ML-team har mer rådata än de någonsin kommer att använda, men nästan inget av det kommer med de etiketter som behövs för att träna modellen.

Självövervakad inlärning kräver inte steget med etikettering. Den omvandlar datans egen struktur till träningsinformation. Istället för att betala människor för att tala om vad som finns i en bild eller vad en mening betyder, sätter du upp en uppgift som datan redan kan besvara själv – som att dölja ett ord och låta modellen gissa det från orden runtomkring.

I den här artikeln förklarar jag hur självövervakad inlärning fungerar, går igenom dess viktigaste tekniker och visar hur den står sig jämfört med övervakad, oövervakad och semisjälvövervakad inlärning.

Vad är självövervakad inlärning?

Självövervakad inlärning är ett sätt att träna modeller utan att någon manuellt etikettera datan först.

Istället för att en person taggar varje exempel har datan sin egen facitlista. Modellen tittar på en del av indata, döljer en annan del och lär sig genom att försöka fylla i luckan. Det behövs ingen mänsklig inblandning.

Till exempel kan du ta en mening, dölja ett ord och be modellen gissa det utifrån orden runtomkring. "The engineer pushed the ___ to the main branch" ger modellen tillräckligt med kontext för att gissa "code" eller "changes" utan att någon talar om rätt svar. Själva meningen är etiketten.

Självövervakad inlärning befinner sig i ett märkligt mellanläge mellan två kategorier. Dess träningsmål liknar övervakad inlärning – det finns ett tydligt indata, ett tydligt mål och en förlustfunktion som mäter hur fel gissningen var. Men eftersom inga människor skapat dessa mål brukar man oftast gruppera det med oövervakad inlärning, som också arbetar på rå, oetiketterad data. Självövervakad inlärning lånar mekaniken från den ena och datakällan från den andra.

Hur fungerar självövervakad inlärning?

Processen följer ett återkommande mönster, oavsett vilken typ av data du arbetar med. Här är stegen:

1. Börja med oetiketterad data: Text, bilder, ljud, video – det spelar ingen roll, så länge du har mycket av den.
2. Skapa en inlärningsuppgift ur datan själv: Detta kallas en pretextuppgift. Det är inte uppgiften du faktiskt bryr dig om; det är ett påhittat problem som tvingar modellen att lära sig något användbart. Att dölja ett ord och förutsäga det är ett exempel.
3. Träna modellen att lösa uppgiften: Modellen gör en gissning, jämför den med det verkliga värdet och justerar.
4. Lär in användbara representationer: Samtidigt som modellen löser pretextuppgiften bygger den en intern förståelse av datans struktur, såsom grammatik, kontext, former och mönster.
5. Anpassa dessa representationer till nedströmsuppgifter: När modellen har lärt sig stabila representationer pekar du den mot uppgiften du faktiskt ville lösa. Detta är nedströmsuppgiften.

Pretextuppgiften är bara en träningsövning. Ingen driftsätter en modell som förutsäger dolda ord för skojs skull – värdet kommer från de representationer den plockar upp längs vägen, som överförs till faktiska problem.

Självövervakad inlärning vs andra inlärningsmetoder

Det enklaste sättet att förstå självövervakad inlärning är att se var den överlappar och skiljer sig från andra träningsparadigm.

Självövervakad vs. övervakad inlärning

Övervakad inlärning behöver ett etikettera exempel för varje indata, såsom en bild taggad "dog" eller en recension taggad "negative". Någon måste skapa dessa etiketter för hand, vilket innebär kostnader, tid och ett tak för hur mycket data du realistiskt kan använda.

Med självövervakad inlärning får modellen fortfarande ett mål att förutsäga, men målet kommer från datan själv – ett dolt ord eller nästa token i en sekvens. Ingen manuell annotering behövs för att generera träningssignalen.

Självövervakad vs. oövervakad inlärning

Båda metoderna arbetar på oetiketterad data, så de blandas ofta ihop. Skillnaden ligger i målet.

Oövervakad inlärning letar efter struktur utan ett specifikt förutsägelsemål, såsom att klustra liknande kunder eller reducera ett datasets dimensioner. Självövervakad inlärning bygger en uttrycklig förutsägelseuppgift ur datan och tränar sedan modellen att lösa den. Det förutsägelsemålet ger självövervakad inlärning dess övervakningsliknande träningsslinga, även om etiketterna är självgenererade.

Självövervakad vs. semisjälvövervakad inlärning

Semisjälvövervakad inlärning blandar medvetet ett litet etiketterat dataset med ett större oetiketterat och använder båda samtidigt för att förbättra modellen.

Självövervakad förträning behöver inga etiketter alls för att komma igång. Den kan förtränas helt på oetiketterad data och sedan valfritt gå över till ett etiketterat dataset senare för finjustering. Etiketterna, om de dyker upp, kommer efter förträningen.

Självövervakad inlärning jämfört med andra metoder

Typer av självövervakad inlärning

Självövervakade metoder faller i ett par breda familjer, var och en byggd kring en annan typ av pretextuppgift.

Kontrastiv inlärning

Kontrastiv inlärning tränar en modell att skilja relaterade exempel från orelaterade. Den drar representationer av liknande exempel närmare varandra och skjuter isär oliknande, utan att någonsin använda en manuell etikett för att definiera "liknande".

Två augmenterade versioner av samma bild räknas som relaterade. En bild och dess matchande bildtext räknas också som relaterade. SimCLR tillämpar idén inom en enda modalitet, genom att jämföra olika beskärningar eller transformationer av samma bild. CLIP tillämpar den över modaliteter, genom att alignera bilder med den text som beskriver dem.

Maskerad modellering

Maskerad modellering döljer en del av indata och tränar modellen att rekonstruera den. Det är samma idé som fyll-i-luckan-exemplet ovan, bara tillämpat bredare.

I språk visar det sig som maskerad språkmodellering, vilket innebär att dölja ett antal ord i en mening och förutsäga dem från resten. Inom bildigenkänning visar det sig som maskerad bildmodellering, vilket innebär att dölja bildrutor och be modellen återskapa de saknade pixlarna eller deras underliggande representation.

Autoregressiv inlärning

Autoregressiv inlärning förutsäger nästa element i en sekvens med allt som kom innan. Givet början av en mening förutspår modellen nästa ord. Givet det ordet förutspår den nästa, och så vidare.

Detta är målet bakom de flesta moderna språkmodellers förträning. Det passar naturligt för text, eftersom språk redan kommer i en vänster-till-höger-sekvens, och det skalar smidigt till enorma textkorpusar utan extra setup.

Självdestillering

Självdestillering tränar en modell med sina egna förutsägelser som mål, snarare än ett fast svar dolt i datan.

Ett vanligt upplägg kör två versioner av samma nätverk – en ”student” och en ”lärare” – på olika vyer av samma indata. Studenten lär sig att matcha lärarens utdata, och läraren uppdateras som ett långsamt glidande medelvärde av studenten. DINO och BYOL är representativa angreppssätt här. Det behövs inga negativa exempel eller maskerade indata, eftersom modellen bootstrappas med egen övervakning från konsistens över vyer.

Självövervakad inlärning i stora språkmodeller

Självövervakning är hela förträningssteget för stora språkmodeller. Varje större LLM du har använt har lärt sig språkstruktur, fakta och resonemangsmönster utan en enda människoskriven etikett, enbart genom att lösa självövervakade pretextuppgifter på rå text.

Nästa-token-förutsägelse

De flesta moderna LLM:er förtränas på nästa-token-förutsägelse: givet en sekvens av token, förutsäg den som kommer härnäst. Modellen läser allt före en position och gissar vad som följer, kontrollerar sig mot den faktiska nästa token och justerar.

Kör du det över biljoner token skrapade från webbplatser och kodförråd bygger modellen under tiden en fungerande modell av grammatik, fakta och till och med resonemangsmönster. Detta är samma autoregressiva mål som täckts ovan, bara tillämpat i stor skala.

Maskerad språkmodellering

Innan autoregressiv förträning tog över använde modeller som BERT en annan pretextuppgift. Istället för att förutsäga vad som kommer härnäst döljer BERT slumpmässiga token genom en mening och förutsäger dem med kontext från båda sidor.

Det tvåsidiga sammanhanget gör maskerande språkmodeller bra på förståelseuppgifter såsom klassificering och frågesvar, även om de inte genererar text på samma sätt som modeller för nästa-token-förutsägelse.

Lärande från stora textkorpusar

Inget av detta fungerar utan volym. Förträning hämtar data från webbsidor, böcker, kodförråd och forum, filtrerade och avduplicerade till korpusar med miljarder eller biljoner token. Ju större och mer varierad korpus, desto mer allmänna blir de resulterande representationerna.

Förträning är där självövervakningen gör sitt jobb, men det är inte sista steget. Finjustering på människoskrivna instruktions­exempel lär den att följa anvisningar, och preferensoptimeringsmetoder som RLHF eller DPO använder rankade mänskliga preferenser för att forma svaren. Båda de senare stegen behöver etiketterad data. Självövervakad förträning är det enda steget som inte gör det.

Självövervakad inlärning inom datorsyn

Datorsyn är ett område där det ofta saknas tillräckligt med etiketterad data. Bounding boxes och segmenteringsmasker tar betydligt längre tid att producera än en enkel tagg på en text, vilket gjorde självövervakade metoder särskilt värdefulla här.

Kontrastiv bildinlärning tillämpar samma dra-ihop, skjut-isär-idé som tidigare, vilket inkluderar att ta två augmenterade versioner av samma foto (en beskärning eller en spegling) och träna modellen att känna igen dem som relaterade, samtidigt som andra bilder i batchen behandlas som orelaterade. SimCLR är ett välkänt exempel på detta tillvägagångssätt för bilder.

Maskerad bildmodellering tar fyll-i-luckan-idén från språk och tillämpar den på pixlar. Tanken är att dölja bildrutor och träna modellen att rekonstruera det saknade innehållet, antingen som råpixlar eller som en inlärd funktionsrepresentation. Detta är målet bakom MAE (Masked Autoencoders).

Bild–text-alignering tränar en modell att matcha bilder med de bildtexter som beskriver dem, genom att dra ihop matchande par i ett gemensamt inbäddningsutrymme och separera omatchade. CLIP är det mest kända exemplet, och det är en del av anledningen till att modeller som tränats på detta sätt stöder zero-shot-klassificering – de kan känna igen kategorier de aldrig uttryckligen tränats på, bara genom att jämföra en bild mot en textbeskrivning.

Självövervakad inlärning bortom text och bilder

Pretextuppgiften följer alltid datans form, så varhelst du har mycket oetiketterad data kan du oftast utforma en självövervakad uppgift kring den.

Inom tal och ljud förutspår modeller maskerade ljudsegment eller kontrasterar olika klipp på samma sätt som visionsmodeller kontrasterar bildbeskärningar, och lär sig representationer användbara för uppgifter som taligenkänning utan att behöva transkriberad träningsdata från början.

Inom video kan pretextuppgiften involvera att förutsäga framtida bildrutor eller matcha klipp som kommer från samma källvideo, vilket ger modellen en känsla för rörelse och tidsmässig struktur som en enskild bild inte kan ge.

Multimodala modeller kombinerar två eller fler av dessa idéer samtidigt, genom att alignera text, bilder, ljud och video i ett gemensamt representationsutrymme, likt hur CLIP alignerar bilder och text, bara utsträckt till fler datatyper.

Självövervakning syns till och med i vetenskaplig data och sensordata – såsom genomsekvenser eller tidsseriemätningar – där maskering eller förutsägelse av delar av signalen låter en modell lära sig struktur från mätningar som aldrig var tänkta att vara ”etiketterade” från början.

Hur självövervakade modeller används nedströms

Förträning producerar en modell som är bra på att lösa en pretextuppgift. Ingen bryr sig egentligen om detta, och det viktiga är vad du gör med den sedan.

Finjustering

Finjustering tar den förtränade modellen och fortsätter träna alla dess vikter, den här gången på etiketterad data för uppgiften du faktiskt vill ha. Eftersom modellen redan förstår domänens struktur behövs vanligtvis mycket mindre etiketterad data än om man tränar en modell från grunden.

Linjär probing

Linjär probing fryser den förtränade modellen helt och tränar endast ett enda linjärt lager ovanpå dess utdata. Om en enkel linjär klassificerare kan separera klasser med dessa frusna egenskaper, fångade de förtränade representationerna verklig struktur. Detta gör linjär probing till ett vanligt sätt att testa representationskvalitet i sig, separat från hur väl hela modellen kan finjusteras.

Funktionsextraktion

Funktionsextraktion fungerar på samma sätt som linjär probing, men utan den linjära delen. Du tar de frusna representationerna och matar in dem i valfri nedströmsalgoritm du vill. Den förtränade modellens enda jobb är att generera bra embeddings, allt nedströms därefter är upp till dig.

Zero-shot- och few-shot-användning

Vissa representationer är tillräckligt bra för att användas utan någon nedströmsträning alls. CLIP gör detta genom att embedda en bild och en uppsättning kandidattetiketter i text i samma utrymme och sedan välja den etikett som ligger närmast bilden. Few-shot-inlärning tar samma idé och lägger till ett litet antal etiketterade exempel, vilket ofta räcker eftersom representationerna redan bär det mesta av strukturen en modell behöver.

Med självövervakad inlärning får du återanvändbara representationer. Du förtränar en gång och finjusterar, proberar, extraherar egenskaper eller frågar samma kärna över så många nedströmsuppgifter du behöver. Det mesta av det kostsamma arbetet sker en gång under förträning, inte en gång per uppgift.

Självövervakad inlärning i Python

Här är ett lättviktigt exempel som använder en förtränad modell, inte ett självövervakat system byggt från grunden – bara så att du får en känsla för arbetsflödet.

all-MiniLM-L6-v2, tillgänglig via paketet sentence-transformers, förtränades med ett maskerat språkmodelleringsmål och tränades sedan vidare med ett kontrastivt mål på meningpar. Det är den självövervakade delen redan gjord åt dig – du sätter bara de resulterande representationerna i arbete.

Börja med att installera beroendena:

pip install sentence-transformers scikit-learn

Nu till koden:

from sentence_transformers import SentenceTransformer
from sklearn.linear_model import LogisticRegression

# Create unlabeled data
support_tickets = [
    "My order arrived damaged and I need a replacement.",
    "The app crashes every time I try to upload a photo.",
    "I love how fast the checkout process is now.",
    "Can you tell me when my refund will be processed?",
    "The new dashboard layout is so much easier to use.",
    "I can't log in, it keeps saying my password is wrong.",
]

# Load a model pretrained with a self-supervised objective
model = SentenceTransformer("all-MiniLM-L6-v2")

# Obtain learned representations
embeddings = model.encode(support_tickets)
print(embeddings.shape)

Inbäddningars form

Metoden .encode() kör varje ticket genom den förtränade modellen och returnerar en tät vektor som representerar dess betydelse. Därifrån behöver en nedströmsuppgift bara ett fåtal etiketterade exempel, eftersom embeddings redan bär det mesta av strukturen:

# Use the representations for a downstream task, 1 = complaint, 0 = positive feedback
labels = [1, 1, 0, 1, 0, 1]

clf = LogisticRegression()
clf.fit(embeddings, labels)

new_ticket = ["The delivery was late and no one responded to my email."]
new_embedding = model.encode(new_ticket)
print(clf.predict(new_embedding))

Prediktion med logistisk regression

Sex etiketterade tickets och en LogisticRegression-klassificerare räcker här eftersom det är representationerna, inte klassificeraren, som gör det mesta av jobbet.

Fördelar och begränsningar med självövervakad inlärning

Låt mig nu gå igenom för- och nackdelar med självövervakad inlärning.

Fördelar

1. Minskar beroendet av manuellt etiketterad data: Pretextuppgiften genererar egna mål, så etikettsbudgetar är inte längre en hård gräns för hur mycket data du kan träna på
2. Gör mycket stora dataset användbara: Text- och ljudsamlingar i webbskala blir användbara för träning, inte bara de små etiketterade delmängder team hade råd att annotera
3. Producerar överförbara representationer: En enda förtränad modell kan stödja finjustering, linjär probing, funktionsextraktion och zero-shot-användning över flera olika nedströmsuppgifter
4. Möjliggör förträning i stor skala: Det är detta som gör dagens grundmodeller möjliga från första början.

Begränsningar

1. Betydande beräkningskrav: Förträning på data i internet-skala kräver rejäl hårdvara och tid, långt bortom vad de flesta enskilda team kan hantera
2. Designen av pretextuppgiften är avgörande: En dåligt vald pretextuppgift ger representationer som inte överför väl, oavsett hur mycket data du matar in
3. Inlärda representationer kan ärva biaser: Vilka mönster, luckor eller skevheter som än finns i träningsdatan dyker upp i representationerna också, eftersom inget filtrerar bort dem under förträningen
4. Stark förträningsprestanda garanterar inte nedströmssuccé: En modell som löser sin pretextuppgift väl kan ändå prestera sämre på en specifik nedströmsuppgift den aldrig optimerades direkt för

Varför självövervakad inlärning är viktig för modern AI

Självövervakad inlärning är anledningen till att grundmodeller överhuvudtaget är möjliga.

Förträning i den skala moderna modeller kräver hade varit oåtkomlig om den var beroende av manuella etiketter. Ingen etikettera en biljon token text eller en miljard bilder för hand. Självövervakning gjorde det praktiskt att förträna på samlingar i internet-skala och sedan återanvända den enda modellen över ett brett spektrum av nedströmsuppgifter istället för att träna en separat modell för varje.

Skiftet från många uppgiftsspecifika modeller till en generell förtränad modell som anpassas till många användningar är den riktning som större delen av modern AI har rört sig i. Självövervakad inlärning är mekanismen som gjorde förflyttningen möjlig.

Slutsats

Självövervakad inlärning genererar sin egen övervakning från strukturen i oetiketterad data istället för från etiketter skrivna av människor. Det typiska mönstret är att dölja ett ord eller förutsäga nästa token. Datan besvarar sina egna frågor, och modellen lär sig genom att försöka få dessa svar rätt.

De stora angreppssätten bygger alla på samma idé på olika sätt. Kontrastiv inlärning drar relaterade exempel samman och skjuter isär orelaterade. Maskerad modellering döljer en del av indata och tränar modellen att rekonstruera den. Autoregressiv inlärning förutsäger nästa element i en sekvens från allt som kom före. Mekaniken skiljer sig, men den underliggande principen – att låta datans egen struktur tillhandahålla träningssignalen – är densamma.

Den principen är anledningen till att självövervakning ligger bakom de flesta språk-, vision- och multimodala modeller du redan använder. Nästa-token-förutsägelse förtränar dagens LLM:er, kontrastiva och maskerade mål förtränar visionsmodeller, och bild–text-alignering förtränar de multimodala modeller som binder samman de två.

Om du vill lära dig att skapa en LLM från grunden, anmäl dig till vårt Developing Large Language Models-spår för att se PyTorch, Hugging Face och de senaste NLP-teknikerna i praktiken.