Clasificare zero-shot: cum funcționează și când s-o folosești

Ce faci când trebuie să clasifici textul într-o categorie nouă, dar nu ai nici măcar un exemplu etichetat pentru antrenare?

Ei bine, nu poți merge pe varianta clasică a clasificatoarelor. Acestea se așteaptă la exemple etichetate pentru fiecare categorie pe care vrei s-o prezici, ceea ce înseamnă săptămâni de adnotare înainte să poți începe antrenarea. Iar imediat ce apare o categorie nouă, te întorci la etichetare.

Clasificarea zero-shot este ceea ce ar trebui să iei în calcul. Omite complet pasul de etichetare, permițând unui model să atribuie etichete pe care nu le-a văzut niciodată în timpul antrenării. În practică, asta înseamnă că poți sorta feedbackul clienților în categorii precum "plângere de facturare" sau "cerere de funcționalitate" fără să pregătești niciun exemplu de antrenare pentru vreuna dintre ele.

În acest articol, te voi ghida prin modul în care funcționează clasificarea zero-shot, cum se compară cu abordările tradiționale și few-shot și cum să o aplici în sarcini NLP reale folosind Hugging Face Transformers.

Ce este, de fapt, Hugging Face? Înscrie-te în track-ul nostru Hugging Face Fundamentals ca să construiești agenți AI și să ajustezi fin LLM-uri.

Ce este clasificarea zero-shot?

Clasificarea zero-shot este o abordare de învățare automată în care un model atribuie etichete datelor fără să fie antrenat în mod specific pe acele etichete.

Partea-cheie aici este acest "zero-shot". Înseamnă că modelul vede zero exemple de antrenare pentru categoriile pe care vrei să le prezici. Îi dai un text și o listă de etichete posibile, iar el o alege pe cea mai potrivită pe baza a ceea ce știe deja.

Toate aceste cunoștințe provin din preantrenare. Modelele mari capătă o înțelegere amplă a limbajului și a conceptelor din corpuri masive de texte, iar acele cunoștințe generale sunt cele la care revin când le ceri să clasifice ceva nou.

Cum funcționează clasificarea zero-shot

Fluxul de lucru din spatele clasificării zero-shot e simplu dacă îl împarți în pași. Ai nevoie doar de patru:

1. Introdu textul sau datele: Orice vrei să clasifici – o recenzie de client, un tichet de suport, un titlu de știre, un fragment de documentație.

2. Oferă etichetele candidate: Dai modelului o listă de categorii posibile. Sunt doar cuvinte simple sau expresii scurte, precum "product question", "refund request", "technical issue" sau "general inquiry".

3. Modelul evaluează relația dintre input și etichete: Modelul analizează fiecare etichetă și o punctează în funcție de cât de bine se potrivește cu inputul, bazându-se pe înțelegerea limbajului dobândită în preantrenare.

4. Este selectată eticheta cea mai probabilă: Eticheta cu scorul cel mai mare este returnată ca predicție, de obicei cu un scor de încredere pentru fiecare candidat.

Ideea esențială este că poți schimba oricând etichetele candidate fără reantrenare. Dacă mâine vrei să adaugi o categorie nouă, doar adaug-o pe listă. E destul de uluitor dacă ai lucrat doar cu învățare supervizată.

Clasificare zero-shot vs clasificare tradițională

Ambele abordează aceeași problemă (atribuirea de etichete datelor), dar ajung acolo în moduri diferite.

Clasificare tradițională

Clasificatoarele tradiționale învață din exemple etichetate. Colecționezi un set de date în care fiecare element este marcat cu categoria corectă, antrenezi un model pe el, iar modelul învață tiparele care separă o clasă de alta.

Asta a funcționat bine de zeci de ani, dar are două constrângeri mari:

• Ai nevoie de date de antrenare etichetate: De multe ori, multe. Colectarea și adnotarea acelor date iau timp și bani, cele mai valoroase resurse finite.
• Setul de etichete este fix: Odată antrenat, modelul poate prezice doar categoriile pe care le-a văzut în antrenare. Adăugarea unei clase noi înseamnă să te întorci și să reantrenezi.

Clasificare zero-shot

Zero-shot funcționează exact invers. Nu există deloc un pas de antrenare specific sarcinii. Modelul folosește ce a învățat în preantrenare pentru a evalua orice etichetă îi propui.

Asta îți oferă două avantaje:

• Fără antrenare specifică sarcinii: Sari complet peste colectarea datelor, adnotare și antrenare.
• Set de etichete flexibil: Poți schimba categoriile din mers. Adaugă altele noi, elimină-le pe cele vechi, redenumește-le – modelul se descurcă fără nicio reantrenare.

Compromisurile

Această flexibilitate nu vine gratis. Un clasificator tradițional antrenat pe un set de date etichetat solid va depăși de obicei un model zero-shot pe acea sarcină specifică. A văzut exact tipul de exemple care te interesează și s-a ajustat la ele.

Modelele zero-shot sunt generaliste. Sunt bune la multe lucruri, dar rareori cele mai bune la un singur lucru. Deci alegerea ține de ceea ce ai nevoie.

Dacă ai date etichetate și îți pasă de acuratețea maximă pe un set fix de categorii, antrenează un clasificator tradițional. Dacă nu ai date etichetate sau categoriile se schimbă des, zero-shot este calea mai rapidă către o soluție funcțională.

Rolul modelelor fundație și al LLM-urilor

Clasificarea zero-shot a devenit populară pentru că modelele mari preantrenate au ajuns suficient de bune ca să o gestioneze.

Înainte de modelele fundație, nu puteai pur și simplu să dai unui model o listă de etichete pe care nu le-a văzut și să te aștepți la predicții rezonabile. Modelul nu știa suficient despre limbaj ca să facă legătura. Preantrenarea pe corpuri uriașe de text a schimbat asta. Un model care a „citit” o bună parte din internet a întâlnit deja cuvinte precum "refund" sau "complaint" în nenumărate contexte, așa că asocierea lor cu inputuri noi devine posibilă.

Câteva familii de modele stau în spatele majorității fluxurilor zero-shot de azi:

• BERT și variantele sale: Modelele de tip BERT învață reprezentări profunde ale textului în preantrenare. Variante precum RoBERTa și DeBERTa au dus asta mai departe cu metode de antrenare mai bune și seturi de date mai mari.
• Modele bazate pe NLI: Sunt modele ajustate fin pe sarcini de inferență în limbaj natural. Ele alimentează majoritatea pipeline-urilor zero-shot gata de folosit, iar în secțiunea următoare îți voi explica de ce.
• LLM-uri moderne: Modele mari de limbaj precum familia GPT sau Claude pot gestiona clasificarea zero-shot prin prompturi. Descrii sarcina în limbaj natural, enumeri categoriile, iar modelul alege una.

Firul comun este scara și generalitatea. Un model antrenat pe o sarcină îngustă poate face doar acea sarcină. Un model antrenat pe date text variate poate fi redirecționat către multe sarcini fără să vadă vreodată exemple etichetate pentru ele.

Inferența în limbaj natural (NLI) și clasificarea zero-shot

Majoritatea clasificatoarelor zero-shot pe care le vei vedea în practică sunt construite pe modele NLI. Asta îi surprinde pe mulți, deci merită să încetinim puțin.

Inferența în limbaj natural este o sarcină în sine. Având două propoziții (o premisă și o ipoteză), modelul decide relația dintre ele. Ieșirea este una dintre trei etichete:

• Implicație (entailment): Ipoteza decurge din premisă.
• Contradicție: Ipoteza contrazice premisa.
• Neutru: Propozițiile sunt fără legătură sau nu există suficiente informații pentru a decide.

De exemplu, dacă premisa este "The team finished the project two weeks early" și ipoteza este "The team delivered on time", un model NLI ar trebui să prezică implicație. Dacă ipoteza este "The team missed the deadline", ar trebui să prezică o contradicție.

Această configurație se potrivește excelent pentru clasificarea zero-shot. Dacă tratezi inputul ca premisă, poți transforma fiecare etichetă candidată într-o ipoteză.

Să zicem că vrei să clasifici propoziția "My package never arrived" într-una dintre trei categorii: problemă de livrare, problemă de facturare sau întrebare despre produs. Modelul nu le vede ca etichete. Le vede ca ipoteze, de obicei încadrate într-un șablon simplu precum "This text is about {label}":

• Premisă: "My package never arrived" | Ipoteză: "This text is about a shipping issue"

• Premisă: "My package never arrived" | Ipoteză: "This text is about a billing issue"

• Premisă: "My package never arrived" | Ipoteză: "This text is about a product question"

Modelul NLI punctează fiecare pereche. Ipoteza cu cel mai mare scor de implicație câștigă, iar acea etichetă devine predicția.

Modelul nu a trebuit niciodată să învețe ce înseamnă "shipping issue" sau "billing issue" ca etichete. A trebuit doar să învețe cum arată implicația în general, iar asta a dobândit în timpul ajustării fine pe NLI.

De aceea, zero-shot bazat pe NLI funcționează atât de bine. Modelul face sarcina pentru care a fost antrenat (evaluează implicația), iar tu îți încadrezi problema de clasificare ca o serie de întrebări de tip implicație.

Zero-shot vs few-shot vs modele ajustate fin

Zero-shot nu este singura modalitate de a face un model să rezolve o sarcină de clasificare fără un ciclu complet de antrenare. Hai să o comparăm cu alternativele.

Zero-shot

Zero-shot înseamnă fără exemple deloc. Dai modelului un input și o listă de etichete candidate, iar el face o predicție pe baza a ceea ce a învățat în preantrenare.

Modelul nu a văzut niciodată date etichetate pentru sarcina ta specifică. Lucrează exclusiv din cunoștințe generale.

Few-shot

Few-shot oferă modelului câteva exemple, de obicei în prompt. Îi arăți două, cinci, poate zece exemple de inputuri asociate cu etichetele corecte, apoi îi ceri să clasifice un input nou în același mod.

Modelul nu este reantrenat aici. Folosește în continuare greutățile sale preantrenate. Exemplele servesc doar ca referință – un scurt „iată ce înțeleg prin aceste categorii” înainte de a cere o predicție.

Ajustare fină (fine-tuning)

Ajustarea fină este un proces dedicat de antrenare. Iei un model preantrenat, îi dai un set de date etichetat pentru sarcina ta și îi actualizezi greutățile până când devine bun la prezicerea categoriilor tale specifice.

Aceasta este cea mai „grea” dintre cele trei. Ai nevoie de date etichetate, infrastructură de antrenare și timp. În schimb, modelul devine specializat pentru sarcina ta.

Compararea celor trei

Cele trei abordări diferă pe trei aspecte care contează în practică: acuratețe, flexibilitate și cost.

Învățarea zero-shot comparată cu alternativele

Câteva aspecte merită subliniate din acest tabel.

Acuratețea nu e o ierarhie curată. Ajustarea fină câștigă când ai suficiente date etichetate și sarcina este stabilă. Dar pe o sarcină complet nouă, fără exemple din care să înveți, ajustarea fină nici nu e o opțiune, iar zero-shot devine singura alegere realistă.

Flexibilitatea se mișcă în direcția opusă. Zero-shot îți permite să schimbi categoriile oricând vrei. Modelele ajustate fin sunt blocate în setul de etichete pe care au fost antrenate.

Costul este cel mai evident. Zero-shot costă aproape nimic să-l pui pe picioare. Few-shot adaugă un mic pas de adnotare. Ajustarea fină e un proiect în sine și necesită infrastructură dedicată.

Fluxul de lucru la care ajunge majoritatea echipelor este să înceapă cu zero-shot ca să vadă dacă sarcina e fezabilă. Dacă acuratețea nu e suficientă, treci la few-shot. Dacă tot nu ajunge și sarcina contează, ajustezi fin.

Clasificarea zero-shot în NLP

Clasificarea zero-shot apare în multe fluxuri NLP, mai ales acolo unde datele etichetate sunt greu de obținut sau categoriile se schimbă constant. Iată cele mai comune aplicații.

Analiza sentimentului

Analiza sentimentului este punctul de pornire clasic. Alimentezi modelul cu un text și îi ceri să aleagă dintre etichete precum "positive", "negative" și "neutral".

Partea interesantă este cât de ușor e să treci dincolo de cele trei standard. Un clasificator de sentiment tradițional e blocat în ceea ce a fost antrenat. Cu zero-shot, poți folosi etichete mai specifice precum "frustrated", "satisfied", "confused" sau "excited", iar modelul le gestionează fără nicio reantrenare. E grozav pentru feedback de produs sau monitorizare social media, unde categoriile emoționale care contează depind de context.

Clasificarea pe subiecte

Clasificarea pe subiecte sortează documentele în arii tematice. Articole de știri în "politics", "sports", "technology", "finance". Tichete de suport în "billing", "shipping", "account access", "feature request".

Zero-shot face asta trivial de configurat. Nu ai nevoie de un set de date etichetat pentru fiecare subiect nou. Dacă produsul tău lansează o funcționalitate nouă și vrei să urmărești tichetele despre ea, doar adaugi "new feature feedback" la lista ta de etichete candidate și ai terminat.

Detectarea intenției

Detectarea intenției stabilește ce încearcă să facă un utilizator. E motorul din spatele majorității chatbot-urilor și asistenților vocali. Când cineva tastează "I need to change my password", modelul trebuie să recunoască intenția ca "password reset" și nu, de exemplu, "general security question".

Aici zero-shot strălucește. Produsele reale adaugă în timp noi intenții ale utilizatorilor, iar reantrenarea unui clasificator de intenții de fiecare dată când echipa de produs adaugă o funcționalitate înseamnă multă muncă. Zero-shot îți permite să ții lista de intenții la zi fără să schimbi modelul.

Moderarea conținutului

Moderarea conținutului marchează texte problematice – lucruri precum "hate speech", "spam", "harassment" sau "misinformation". Platformele trebuie să-și actualizeze politicile constant, iar categoriile se schimbă pe măsură ce apar tipuri noi de abuz.

Zero-shot se potrivește foarte bine aici. Echipele de moderare pot ajusta definițiile etichetelor sau pot adăuga categorii noi pe măsură ce politicile evoluează, fără să revină la echipa de inginerie pentru un ciclu de reantrenare. De obicei este asociat cu clasificatoare tradiționale pentru cazurile de volum mare, dar zero-shot gestionează „coada lungă” a categoriilor care nu au suficiente exemple etichetate pentru antrenare.

Clasificare zero-shot cu Hugging Face Transformers

Biblioteca transformers de la Hugging Face este cea mai ușoară cale de a încerca clasificarea zero-shot în Python. API-ul pipeline ascunde aproape tot efortul de încărcare a modelului, așa că poți trece de la zero la predicții în câteva linii de cod.

Prima dată când rulezi acest snippet, modelul va fi descărcat, deci va dura ceva timp.

Iată un exemplu complet pe care îl poți rula:

from transformers import pipeline
from pprint import pprint

# Load a zero-shot classification pipeline
classifier = pipeline(
    "zero-shot-classification",
    model="facebook/bart-large-mnli"
)

# The text you want to classify
text = "My package never arrived and customer support hasn't responded in three days."

# The labels you want the model to choose from
candidate_labels = [
    "shipping issue",
    "billing issue",
    "product question",
    "general inquiry"
]

# Run the classification
result = classifier(text, candidate_labels)

pprint(result)

Ieșirea este un dicționar cu trei câmpuri: inputul original, etichetele candidate sortate de la cea mai probabilă la cea mai puțin probabilă și scorul de încredere pentru fiecare etichetă.

Rezultatul pipeline-ului

"shipping issue" câștigă cu o încredere de 0,82. Modelul nu a văzut exemple etichetate de plângeri despre livrare în timpul antrenării, dar a dedus asta din modelul preantrenat bart-large-mnli, care a fost ajustat fin pe date NLI, exact cum am acoperit în secțiunea anterioară.

Sunt câteva lucruri de subliniat despre acest flux de lucru:

• Modelul este unul NLI: bart-large-mnli este BART ajustat fin pe datasetul MultiNLI. Când apelezi pipeline-ul, îți convertește etichetele în ipoteze „în culise” și le procesează prin model.

• Poți schimba etichetele oricând: Nu trebuie schimbat nimic la model. Înlocuiește lista candidate_labels cu alta și vei clasifica în alte categorii.

• Multi-label e la un flag distanță: Setează multi_label=True când apelezi pipeline-ul, iar etichetele nu vor mai concura între ele. Fiecare etichetă primește o probabilitate independentă, astfel încât un singur input poate aparține mai multor categorii.

result = classifier(text, candidate_labels, multi_label=True)
pprint(result)

Rezultatul multi-label

Acesta este întregul flux. Încarci pipeline-ul, definești etichetele, apelezi clasificatorul. Mult mai rapid și mai ușor decât să construiești de la zero un model de clasificare.

Greșeli frecvente în clasificarea zero-shot

Clasificarea zero-shot e ușor de configurat, tocmai de aceea e ușor de folosit greșit. Iată greșelile care apar cel mai des în proiecte reale.

Alegerea unor etichete vagi

Etichetele sunt modul în care comunici sarcina modelului. Etichetele vagi duc la predicții vagi.

"good" și "bad" nu îi vor spune mare lucru modelului. "customer is happy with the product" și "customer is reporting a problem with the product" îi oferă ceva cu care să lucreze. Cu cât etichetele tale arată mai mult ca expresii cu sens, cu atât mai bine le va puncta modelul în raport cu inputurile tale.

De asemenea, evită etichetele care se suprapun. Dacă "complaint" și "negative feedback" apar ambele în lista de candidați, modelul își va împărți încrederea între ele și niciuna nu va ieși câștigător clar.

Presupunerea că zero-shot egalează performanța ajustării fine

Asta e cea mai comună. Zero-shot e bun, dar nu e magie.

Un model ajustat fin pe câteva mii de exemple etichetate pentru sarcina ta specifică va bate aproape întotdeauna un model zero-shot pe acea sarcină. Dacă vezi 85% acuratețe cu zero-shot și ai nevoie de 95% pentru producție, oricât ai rafina etichetele nu vei acoperi acel decalaj. În acel punct, ajustarea fină este răspunsul.

Folosește zero-shot când nu ai date etichetate, când categoriile se schimbă des sau când „destul de bun” chiar e suficient. Nu-l alege doar pentru că e mai rapid de configurat ca apoi să fii surprins când subperformează pe o sarcină cu miză mare.

Evaluarea pe seturi de date prea înguste

Se întâmplă cam așa: construiești un clasificator zero-shot, îl testezi pe 50 de exemple scrise de tine și le nimerește pe toate. Îl lansezi, apoi ajunge în producție și toată lumea se plânge cât de prost e.

Cele 50 de exemple scrise de tine nu sunt reprezentative pentru ce trimit utilizatorii reali. Sunt mai curate, mai evidente și mai aliniate cu felul în care te gândești tu la categorii. Evaluează pe date care seamănă cu ce va vedea de fapt modelul – text generat de utilizatori, cu greșeli de tastare, argou și cazuri-limită. Dacă încă nu ai acele date, eșantionează câteva sute de inputuri reale și etichetează-le manual înainte să ai încredere în cifre.

Ignorarea limbajului specific domeniului

Modelele zero-shot de uz general cunosc limbajul de uz general. Nu cunosc jargonul industriei tale.

Termenii medicali, limbajul juridic, acronimele din finanțe, specificațiile inginerești – toate au vocabular îngust pe care modelele preantrenate l-au văzut, dar nu în profunzime. Dacă ceri unui model zero-shot general să clasifice o propoziție plină de coduri ICD-10 sau mesaje de eroare SQL, așteaptă-te la rezultate mixte.

Ai două opțiuni aici. Fie rescrii etichetele în limbaj simplu pe care modelul are șanse mai mari să îl înțeleagă, fie treci la un model preantrenat pe texte din domeniul tău. BioBERT pentru texte medicale, FinBERT pentru texte financiare și modele similare, specifice domeniului, depășesc adesea modelele generale pe sarcini specializate.

De ce clasificarea zero-shot este importantă în AI-ul modern

Clasificarea zero-shot este una dintre cele mai clare demonstrații ale modului în care modelele fundație au schimbat ceea ce e posibil în AI.

Acum un deceniu, fiecare sarcină de clasificare începea cu aceeași întrebare: avem date etichetate și, dacă nu, cum le obținem? Proiectele de adnotare durau luni, necesitau buget, coordonare cu furnizorii și control al calității. Modelul nici nu putea fi construit până nu existau datele.

Această presupunere nu mai e adevărată.

Un model fundație antrenat pe date text variate știe deja destul despre limbaj încât să gestioneze o sarcină nouă de clasificare în momentul în care o descrii. Lista de etichete este singurul lucru pe care trebuie să-l definești.

Această schimbare contează din câteva motive care se leagă de tendințe mai mari în AI:

• Arată la ce sunt de fapt pentru modelele fundație: Scopul preantrenării la scară a fost să construim un model suficient de general încât să poată fi redirecționat către multe sarcini fără reantrenare. Clasificarea zero-shot este unul dintre cele mai curate exemple ale acestei promisiuni puse în practică.
• Reduce dependența de seturi de date supervizate: Datele etichetate sunt în continuare utile, dar nu mai sunt obligatorii pentru a crea un clasificator funcțional. Echipele fără buget pentru proiecte de adnotare pot totuși să lanseze funcționalități AI valoroase.
• Schimbă viteza de implementare: O funcționalitate de clasificare care înainte dura un trimestru să fie livrată poate fi acum prototipată într-o după-amiază. Asta influențează ce aleg echipele să construiască, pentru că costul de a încerca ceva a scăzut aproape de zero.

Tendința mai largă este trecerea de la modele specifice sarcinii la unele de uz general. Ajustarea fină își are încă locul ei, la fel și antrenarea de la zero când sarcina o cere. Dar punctul de pornire implicit s-a schimbat. Apelezi mai întâi la un model preantrenat și specializezi doar când datele o justifică.