course
Lucrul cu OpenAI API
3 oră
172.6K
OpenAI a anunțat cel mai nou model de limbaj de mari dimensiuni, GPT-4o, succesorul lui GPT-4 Turbo. Citește mai departe pentru a descoperi capabilitățile, performanța și modurile în care l-ai putea folosi.
Ce este GPT-4o de la OpenAI?
GPT-4o este cel mai nou LLM de la OpenAI. Litera „o” din GPT-4o vine de la „omni” — latină pentru „toate” — referindu-se la faptul că acest nou model poate accepta prompturi care sunt un amestec de text, audio, imagini și video. Anterior, interfața ChatGPT folosea modele separate pentru diferite tipuri de conținut.
De exemplu, când vorbeai cu ChatGPT prin Voice Mode, vorbirea îți era transformată în text cu Whisper, un răspuns în text era generat cu GPT-4 Turbo, iar acel răspuns în text era convertit în vorbire cu TTS.
O comparație a modului în care GPT-4 Turbo și GPT-4o procesează intrarea vocală
În mod similar, lucrul cu imagini în ChatGPT implica un mix de GPT-4 Turbo și DALL-E 3.
A avea un singur model pentru diferite tipuri de media promite viteză sporită și calitate mai bună a rezultatelor, o interfață mai simplă și câteva cazuri de utilizare noi.
Ce este GPT-4o mini?
GPT-4o Mini este o versiune mai suplă și mai rapidă a lui GPT-4o, concepută să gestioneze sarcini cu accent mai mare pe viteză și eficiență. Este derivat din modelul mai mare GPT-4o printr-un proces numit distilare.
Deși păstrează mare parte din capacitatea modelului original de a procesa intrări multimodale — text, audio și imagini — GPT-4o mini este optimizat pentru aplicații ușoare, unde timpul de răspuns mai rapid este esențial.
Este deosebit de util pentru dezvoltatori care au nevoie de o soluție rentabilă pentru programare, depanare și interacțiuni în timp real care nu necesită toată puterea de calcul a lui GPT-4o.
Poți citi mai multe detalii în acest articol despre GPT-4o mini.
Ce face GPT-4o diferit față de GPT-4 Turbo?
Abordarea cu un model all-in-one înseamnă că GPT-4o depășește mai multe limitări ale capabilităților anterioare de interacțiune vocală.
1. Tonul vocii este acum luat în considerare, facilitând răspunsuri emoționale
Cu sistemul anterior al OpenAI, care combina Whisper, GPT-4 Turbo și TTS într-o linie de procesare, motorul de raționament, GPT-4, avea acces doar la cuvintele rostite. Această metodă însemna că elemente precum tonul vocii, zgomotele de fundal și recunoașterea vocilor din partea mai multor vorbitori erau pur și simplu ignorate. Astfel, GPT-4 Turbo nu putea cu adevărat să exprime răspunsuri cu emoții diferite sau stiluri de vorbire variate.
Având un singur model care poate raționa atât despre text, cât și despre audio, această bogăție de informații audio poate fi utilizată pentru a oferi răspunsuri de calitate superioară, cu o varietate mai mare de stiluri de vorbire.
În următorul exemplu oferit de OpenAI, GPT-4o oferă un output sarcastic.
4. Tokenizare mai bună pentru alfabete non-latine oferă viteză mai mare și valoare pentru bani
Un pas în fluxul de lucru al LLM este transformarea textului din prompt în tokeni. Aceștia sunt unități de text pe care modelul le poate înțelege.
În engleză, un token este de obicei un cuvânt sau un semn de punctuație, deși unele cuvinte pot fi împărțite în mai mulți tokeni. În medie, trei cuvinte în engleză ocupă aproximativ patru tokeni.
Dacă limba poate fi reprezentată în model cu mai puțini tokeni, este nevoie de mai puține calcule, iar viteza de generare a textului crește.
Mai mult, deoarece OpenAI taxează pentru API-ul său per token de intrare sau ieșire, mai puțini tokeni înseamnă un preț mai mic pentru utilizatorii API-ului.
GPT-4o are un model de tokenizare îmbunătățit care duce la necesarul a mai puțini tokeni per text. Îmbunătățirea este mai vizibilă în limbile care nu folosesc alfabetul latin.
De exemplu, limbile indiene, în special, au beneficiat, cu hindi, marathi, tamil, telugu și gujarati prezentând reduceri ale tokenilor de 2,9 până la 4,4 ori. Araba a arătat o reducere de 2x a tokenilor, iar limbile din Asia de Est precum chineza, japoneza, coreeana și vietnameza au arătat reduceri între 1,4x și 1,7x.
5. Lansare și pentru planul gratuit
Cu strategia de prețuri existentă a OpenAI pentru ChatGPT, utilizatorii trebuiau să plătească pentru a accesa cel mai bun model: GPT-4 Turbo a fost disponibil doar pe planurile plătite Plus și Enterprise.
Acest lucru se schimbă, OpenAI promițând să facă GPT-4o disponibil și pe planul gratuit. Utilizatorii Plus vor primi de cinci ori mai multe mesaje decât utilizatorii de pe planul gratuit.
Implementarea va fi graduală, cu acces pentru red team (testeri care încearcă să spargă modelul pentru a găsi probleme) începând imediat și cu tot mai mulți utilizatori care vor primi acces în timp.
6. Lansarea aplicației desktop ChatGPT
Deși nu este neapărat o actualizare exclusivă pentru GPT-4o, OpenAI a anunțat și lansarea aplicației desktop ChatGPT. Actualizările de latență și multimodalitate menționate mai sus, alături de lansarea aplicației, înseamnă că modul în care lucrăm cu ChatGPT este probabil să se schimbe. De exemplu, OpenAI a arătat un demo al unui flux de lucru de programare augmentată folosind vocea și aplicația desktop ChatGPT. Derulează în secțiunea de cazuri de utilizare pentru a vedea acel exemplu în acțiune!
Cum funcționează GPT-4o?
Multe tipuri de conținut, o singură rețea neuronală
Detaliile despre modul în care funcționează GPT-4o sunt încă puține. Singurul detaliu pe care OpenAI l-a oferit în anunț este că GPT-4o este o singură rețea neuronală care a fost antrenată pe intrări de text, vizuale și audio.
Această nouă abordare diferă de tehnica anterioară de a avea modele separate antrenate pe tipuri de date diferite.
Totuși, GPT-4o nu este primul model care adoptă o abordare multimodală. În 2022, TenCent Lab a creat SkillNet, un model care a combinat caracteristici de transformere LLM cu tehnici de viziune computerizată pentru a îmbunătăți capacitatea de a recunoaște caractere chinezești.
În 2023, o echipă de la ETH Zurich, MIT și Universitatea Stanford a creat WhisBERT, o variație a seriei de modele BERT. Deși nu este primul, GPT-4o este considerabil mai ambițios și mai puternic decât oricare dintre aceste încercări anterioare.
Este GPT-4o o schimbare radicală față de GPT-4 Turbo?
Cât de radicale sunt schimbările în arhitectura lui GPT-4o comparativ cu GPT-4 Turbo depinde dacă întrebi echipele de inginerie sau de marketing ale OpenAI. În aprilie, un bot numit „im-also-a-good-gpt2-chatbot” a apărut pe Chatbot Arena al LMSYS, un clasament pentru cele mai bune AI generative. Acel AI misterios s-a dovedit acum a fi GPT-4o.
Partea "gpt2" din nume este importantă. Să nu fie confundată cu GPT-2, un predecesor al GPT-3.5 și GPT-4, terminația „2” a fost pe scară largă considerată a însemna o arhitectură complet nouă pentru seria de modele GPT.
Evident, cineva din echipa de cercetare sau inginerie a OpenAI consideră că îmbinarea tipurilor de conținut text, vizual și audio într-un singur model este o schimbare suficient de mare pentru a justifica prima creștere de versiune din ultimii șase ani.
Pe de altă parte, echipa de marketing a optat pentru o schimbare de denumire relativ modestă, continuând convenția „GPT-4”.
Performanța GPT-4o vs alte modele
OpenAI a publicat cifre de benchmark pentru GPT-4o comparativ cu mai multe alte modele high-end.
- GPT-4 Turbo
- GPT-4 (versiunea inițială)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Dintre acestea, doar trei modele contează cu adevărat pentru comparație. GPT-4 Turbo, Claude 3 Opus și Gemini Pro 1.5 s-au luptat în ultimele luni pentru primul loc pe clasamentul LMSYS Chatbot Arena.
Llama 3 400B ar putea fi un candidat în viitor, dar nu este încă finalizat. Prin urmare, aici prezentăm doar rezultatele pentru aceste trei modele și GPT-4o.
Au fost folosite rezultatele a șase benchmarkuri.
- Massive Multitask Language Understanding (MMLU). Sarcini despre matematică elementară, istoria SUA, informatică, drept și altele. Pentru a atinge acuratețe mare la acest test, modelele trebuie să posede cunoștințe vaste despre lume și abilitate de rezolvare a problemelor.
- Graduate-Level Google-Proof Q&A (GPQA). Întrebări cu variante de răspuns scrise de experți în biologie, fizică și chimie. Întrebările sunt de înaltă calitate și extrem de dificile: experții care au sau urmează un doctorat în domeniile corespunzătoare ating o acuratețe de 74%.
- MATH. Probleme de matematică pentru gimnaziu și liceu.
- HumanEval. Un test al corectitudinii funcționale a codului, folosit pentru verificarea generării de cod.
- Multilingual Grade School Math (MSGM). Probleme de matematică pentru clasele primare, traduse în zece limbi, inclusiv limbi slab reprezentate precum bengaleza și swahili.
- Discrete Reasoning Over Paragraphs (DROP). Întrebări care necesită înțelegerea paragrafelor complete. De exemplu, prin adunarea, numărarea sau sortarea valorilor răspândite pe mai multe propoziții.
Performanța GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 și Claude 3 Opus pe șase benchmarkuri LLM. Scorurile pentru fiecare benchmark variază între 0 și 100. Reprodus din date furnizate de OpenAI. Nu au fost furnizate date pentru Gemini Pro 1.5 la benchmarkul GPQA.
GPT-4o obține scorul de top în patru dintre benchmarkuri, deși este depășit de Claude 3 Opus în benchmarkul MSGM și de GPT-4 Turbo în benchmarkul DROP. Per ansamblu, această performanță este impresionantă și arată promisiune pentru noua abordare a antrenării multimodale.
Dacă te uiți atent la cifrele GPT-4o comparativ cu GPT-4 Turbo, vei vedea că creșterile de performanță sunt de doar câteva puncte procentuale.
Este un salt impresionant la un an distanță, dar e departe de salturile dramatice de performanță de la GPT-1 la GPT-2 sau de la GPT-2 la GPT-3.
Să fii cu 10% mai bun la raționarea pe text de la un an la altul este probabil noua normalitate. Fructele la îndemână au fost deja culese și este pur și simplu dificil să continui cu salturi mari în raționarea pe text.
Pe de altă parte, ceea ce aceste benchmarkuri LLM nu surprind este performanța AI-ului pe probleme multimodale. Conceptul este atât de nou încât nu avem încă modalități bune de a măsura cât de bun este un model pe text, audio și viziune.
Per ansamblu, performanța lui GPT-4o este impresionantă și arată promisiune pentru noua abordare a antrenării multimodale.
Care sunt cazurile de utilizare pentru GPT-4o?
1. GPT-4o pentru analiză de date și sarcini de programare
Modelele GPT recente și derivatele lor, precum GitHub Copilot, sunt deja capabile să ofere asistență la scrierea de cod, inclusiv scriere de cod și explicarea și remedierea erorilor. Capabilitățile multimodale ale lui GPT-4o permit câteva oportunități interesante.
Într-un videoclip promoțional prezentat de CTO-ul OpenAI Mira Murati, doi cercetători OpenAI, Mark Chen și Barret Zoph, au demonstrat folosirea GPT-4o pentru a lucra cu niște cod Python.
Codul este partajat cu GPT ca text, iar funcția de interacțiune vocală este folosită pentru a-l face pe GPT să explice codul. Ulterior, după rularea codului, capabilitatea de viziune a lui GPT-4o este folosită pentru a explica graficul.
Per ansamblu, să-i arăți ecranul lui ChatGPT și să pui o întrebare vorbind este un flux de lucru potențial mai simplu decât să salvezi un grafic ca fișier imagine, să-l încarci în ChatGPT, apoi să tastezi o întrebare.
4. GPT-4o pentru asistarea utilizatorilor cu deficiențe de vedere
Capacitatea lui GPT-4o de a înțelege intrări video de la o cameră și de a descrie verbal scena ar putea fi o funcție esențială pentru persoanele cu deficiențe de vedere. Este, practic, funcția de audio-descriere pe care o au televizoarele, dar pentru viața reală.
Hands-on cu GPT-4o
Am avut acces la unele dintre noile funcții ale lui GPT-4o imediat după anunț (din păcate, încă fără chat vocal) și am fost impresionat de multe dintre răspunsurile sale. Răspunsurile par mai rapide și mai consecvente și pare să-mi înțeleagă cererile mai bine decât înainte. Asta nu înseamnă că a fost perfect, totuși.
Iată câteva exemple de interacțiuni pe care le-am avut cu ChatGPT-4o:
Sarcină de analiză de date
Mai întâi, folosind chatul vocal, am întrebat dacă are idei despre cum să analizez performanța echipei de fotbal pe care o susțin, puternicul Leeds United. Pe lângă oferirea mai multor opțiuni, mi-a dat și niște cod Python de exemplu:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Totuși, când am aprofundat acest fir al gândirii, lucrurile au început să o ia puțin razna. Mai întâi am cerut niște date reale de folosit — a căutat pe web și a găsit două surse bune, dar a raportat greșit statisticile. Leeds a jucat 46 de meciuri în sezonul regulat, marcând 81, cu un golaveraj de plus 38, spre deosebire de cele 40 de meciuri jucate pe care le-a menționat în răspunsul său.
Apoi i-am cerut lui ChatGPT să vizualizeze golurile marcate împotriva fiecărei echipe:
Din nou, aici a îndeplinit sarcina doar pe jumătate. A creat o vizualizare așa cum am cerut, care la suprafață arată bine. Dar, în realitate, o mulțime de date sunt inventate și inexacte (echipe care apar de două ori, goluri necontabilizate și echipe care nu sunt în aceeași ligă cu Leeds).
În mod corect, îmi imaginez că performanța ar fi fost mai bună dacă aș fi furnizat eu însumi un set complet de date, dar mi-aș fi dorit să spună asta în loc să inventeze cu încredere răspunsuri.
Analiza imaginii
În continuare, am rugat GPT-4o să analizeze o poză a uneia dintre plantele mele. Încă nu am acces la funcția de viziune integrată, așa că a trebuit să fac o poză și să întreb ChatGPT ce plantă este:
Nu e un efort rău, deși nu e chiar exact. Deși este un bonsai, este un Ilex crenata, nu o Carmona retusa. Totuși, cele două arată destul de similar, așa că e o greșeală ușor de făcut, iar eu am apreciat contextul suplimentar despre cum să am grijă de plantă.
Generarea de imagini
În cele din urmă, am vrut să testez capabilitățile de imagine ale noului model. Mai întâi i-am arătat o poză cu țestoasa mea, Darwin, și l-am rugat să-mi spună despre prietenul meu:
Din nou, este aproape, dar nu perfect. Darwin este de fapt o țestoasă Horsefield, nu de Hermann, dar arată foarte asemănător. Apoi i-am cerut lui ChatGPT-4o să ia imaginea originală și să o recreeze în stilul lui Hokusai. Iată rezultatul:
Un efort destul de bun, deși nu există multă asemănare reală cu imaginea originală, dar cred că e de înțeles. A durat și ceva timp să genereze această imagine.
Per ansamblu, totuși, am fost impresionat de receptivitatea noului model și de cât de bine mi-a înțeles cererile. Este departe de a fi fără cusur și încă are halucinații sigure pe sine uneori, dar abia aștept să mă joc cu vorbirea îmbunătățită și viziunea integrată.
Limitări și riscuri ale GPT-4o
Reglementarea pentru AI generativ este încă în faze incipiente; AI Act al UE este singurul cadru legal notabil de până acum. Asta înseamnă că firmele care creează AI trebuie să ia unele decizii proprii despre ce înseamnă AI sigur.
OpenAI are un cadru de pregătire pe care îl folosește pentru a determina dacă un nou model este potrivit pentru a fi lansat publicului.
Cadrul testează patru arii de îngrijorare.
- Cybersecurity. Poate AI să crească productivitatea infractorilor cibernetici și să ajute la crearea de exploituri?
- BCRN. Poate AI să asiste experții în crearea de amenințări biologice, chimice, radiologice sau nucleare?
- Persuasiune. Poate AI să creeze conținut (potențial interactiv) care să convingă oamenii să-și schimbe convingerile?
- Autonomia modelului. Poate AI să acționeze ca un agent, efectuând acțiuni cu alt software?
Fiecare zonă de îngrijorare este notată cu Scăzut, Mediu, Ridicat sau Critic, iar scorul modelului este cel mai înalt dintre calificativele celor patru categorii.
OpenAI promite să nu lanseze un model care este de îngrijorare critică, deși acesta este un prag de siguranță relativ scăzut: conform definițiilor sale, o îngrijorare critică corespunde cu ceva care ar răsturna civilizația umană. GPT-4o evită confortabil acest lucru, obținând calificativul Îngrijorare medie.
Output imperfect
Ca în cazul tuturor AI-urilor generative, modelul nu se comportă întotdeauna conform intenției. Viziunea computerizată nu este perfectă, așa că interpretările unei imagini sau ale unui videoclip nu sunt garantat corecte.
De asemenea, transcrierile vorbirii sunt rareori 100% corecte, în special dacă vorbitorul are un accent puternic sau sunt folosite cuvinte tehnice.
OpenAI a furnizat un videoclip cu unele duble în care GPT-4o nu a funcționat conform intenției.
În mod notabil, traducerea între două limbi non-engleze a fost unul dintre cazurile în care a eșuat. Alte probleme au inclus ton nepotrivit al vocii (condescendent) și vorbirea în limba greșită.