course
Arbeta med OpenAI API
3 timmar
172.6K
OpenAI tillkännagav sin senaste stora språkmodell, GPT-4o, efterföljaren till GPT-4 Turbo. Läs vidare för att upptäcka dess kapabiliteter, prestanda och hur du kan vilja använda den.
Vad är OpenAI:s GPT-4o?
GPT-4o är OpenAI:s senaste LLM. "o" i GPT-4o står för "omni"—latin för "alla"—och syftar på att denna nya modell kan ta emot promptar som är en blandning av text, ljud, bilder och video. Tidigare använde ChatGPT-gränssnittet separata modeller för olika innehållstyper.
Till exempel, när du pratade med ChatGPT via Röstläge konverterades ditt tal till text med Whisper, ett text svar genererades med GPT-4 Turbo, och det textsvar konverterades till tal med TTS.
En jämförelse av hur GPT-4 Turbo och GPT-4o bearbetar talinmatning
På liknande sätt innebar arbete med bilder i ChatGPT en mix av GPT-4 Turbo och DALL-E 3.
Att ha en enda modell för olika medietyper utlovar ökad hastighet och kvalitet i resultaten, ett enklare gränssnitt och några nya användningsfall.
Vad är GPT-4o mini?
GPT-4o Mini är en slankare, snabbare version av GPT-4o, utformad för att hantera uppgifter med större fokus på hastighet och effektivitet. Den härstammar från den större GPT-4o-modellen genom en process som kallas destillering.
Samtidigt som den behåller mycket av originalmodellens förmåga att bearbeta multimodala indata—text, ljud och bilder—är GPT-4o mini optimerad för lättviktsapplikationer där snabbare svarstider är avgörande.
Den är särskilt användbar för utvecklare som behöver en kostnadseffektiv lösning för kodning, felsökning och realtidsinteraktioner som inte kräver den fulla beräkningskraften hos GPT-4o.
Du kan läsa mer i den här artikeln om GPT-4o mini.
Vad skiljer GPT-4o från GPT-4 Turbo?
Helhetsmodellsansatsen innebär att GPT-4o övervinner flera begränsningar hos de tidigare röstinteraktionsfunktionerna.
1. Tonfall beaktas nu, vilket möjliggör känslomässiga svar
Med det tidigare OpenAI-systemet där Whisper, GPT-4 Turbo och TTS kombinerades i en pipeline hade resonemangsmotorn, GPT-4, bara tillgång till de uttalade orden. Detta innebar att sådant som tonfall, bakgrundsljud och kännedom om röster från flera talare helt enkelt förkastades. Därför kunde GPT-4 Turbo egentligen inte uttrycka svar med olika känslor eller talstilar.
Genom att ha en enda modell som kan resonera om text och ljud kan denna rika ljudinformation användas för att ge svar av högre kvalitet med större variation i talstilar.
I följande exempel från OpenAI ger GPT-4o ett sarkastiskt utfall.
4. Bättre tokenisering för icke-latinska alfabet ger högre hastighet och mer värde för pengarna
Ett steg i LLM-arbetsflödet är när prompttexten omvandlas till token. Detta är textenheter som modellen kan förstå.
På engelska är en token vanligtvis ett ord eller ett skiljetecken, även om vissa ord kan brytas ner i flera token. I genomsnitt tar tre engelska ord upp ungefär fyra token.
Om språk kan representeras i modellen med färre token behöver färre beräkningar göras, och hastigheten för textgenerering ökar.
Dessutom, eftersom OpenAI tar betalt för sin API per token in eller ut, innebär färre token ett lägre pris för API-användarna.
GPT-4o har en förbättrad tokeniseringsmodell som leder till att färre token behövs per text. Förbättringen märks mest i språk som inte använder det latinska alfabetet.
Till exempel har särskilt indiska språk gynnats, där hindi, marathi, tamil, telugu och gujarati alla visar minskningar av token med 2,9 till 4,4 gånger. Arabiska visade en 2x minskning av token, och östasiatiska språk som kinesiska, japanska, koreanska och vietnamesiska visade minskningar mellan 1,4x och 1,7x.
5. Utrullning till gratisplanen
Med OpenAI:s nuvarande prissättning för ChatGPT måste användare betala för att få tillgång till den bästa modellen: GPT-4 Turbo har bara varit tillgänglig på de betalda planerna Plus och Enterprise.
Detta förändras, då OpenAI lovar att även göra GPT-4o tillgänglig på gratisplanen. Plus-användare får fem gånger så många meddelanden som användare på gratisplanen.
Utrullningen blir gradvis, med att red team (testare som försöker bryta modellen för att hitta problem) får tillgång omedelbart och fler användare får tillgång över tid.
6. Lansering av ChatGPT:s skrivbordsapp
Även om detta inte nödvändigtvis är en uppdatering exklusiv för GPT-4o, meddelade OpenAI också lanseringen av ChatGPT:s skrivbordsapp. Uppdateringarna i latens och multimodalitet som nämnts ovan, tillsammans med appens lansering, innebär att sättet vi arbetar med ChatGPT sannolikt kommer att förändras. Till exempel visade OpenAI en demo av ett förstärkt kodningsarbetsflöde med röst och ChatGPT:s skrivbordsapp. Scrolla ner i avsnittet om användningsfall för att se exemplet i praktiken!
Hur fungerar GPT-4o?
Många innehållstyper, ett neuralt nätverk
Detaljer om hur GPT-4o fungerar är fortfarande få. Den enda detaljen som OpenAI gav i sitt tillkännagivande är att GPT-4o är ett enda neuralt nätverk som tränades på text-, bild- och ljudindata.
Denna nya ansats skiljer sig från den tidigare tekniken att ha separata modeller tränade på olika datatyper.
GPT-4o är dock inte den första modellen som tar ett multimodalt grepp. År 2022 skapade TenCent Lab SkillNet, en modell som kombinerade LLM-transformerfunktioner med datorseendetekniker för att förbättra förmågan att känna igen kinesiska tecken.
År 2023 skapade ett team från ETH Zürich, MIT och Stanford University WhisBERT, en variant på BERT-serien av stora språkmodeller. Även om den inte var först är GPT-4o avsevärt mer ambitiös och kraftfull än båda dessa tidigare försök.
Är GPT-4o en radikal förändring från GPT-4 Turbo?
Hur radikala förändringarna är i GPT-4o:s arkitektur jämfört med GPT-4 Turbo beror på om du frågar OpenAI:s ingenjörs- eller marknadsföringsteam. I april dök en bot vid namn "im-also-a-good-gpt2-chatbot" upp på LMSYS:s Chatbot Arena, en topplista för de bästa generativa AI:erna. Den mystiska AI:n har nu avslöjats vara GPT-4o.
"gpt2"-delen av namnet är viktig. Inte att förväxla med GPT-2, en föregångare till GPT-3.5 och GPT-4, ansågs suffixet "2" allmänt betyda en helt ny arkitektur för GPT-serien av modeller.
Uppenbarligen anser någon i OpenAI:s forsknings- eller ingenjörsteam att kombinationen av text, bild och ljud i en enda modell är en tillräckligt stor förändring för att motivera den första versionsnumreringen på sex år.
Å andra sidan har marknadsföringsteamet valt en relativt blygsam namnändring och fortsätter med "GPT-4"-konventionen.
GPT-4o-prestanda jämfört med andra modeller
OpenAI släppte benchmark-siffror för GPT-4o jämfört med flera andra toppmodeller.
- GPT-4 Turbo
- GPT-4 (första utgåvan)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Av dessa är det egentligen bara tre modeller som är viktiga för jämförelse. GPT-4 Turbo, Claude 3 Opus och Gemini Pro 1.5 har de senaste månaderna kämpat om topplaceringen på LMSYS Chatbot Arena–topplistan.
Llama 3 400B kan bli en utmanare i framtiden, men den är inte färdig än. Därför presenterar vi här bara resultaten för dessa tre modeller och GPT-4o.
Resultaten från sex benchmarktester användes.
- Massive Multitask Language Understanding (MMLU). Uppgifter i grundläggande matematik, USA:s historia, datavetenskap, juridik och mer. För att nå hög noggrannhet på detta test måste modellerna besitta omfattande världskunskap och problemlösningsförmåga.
- Graduate-Level Google-Proof Q&A (GPQA). Flervalsfrågor skrivna av domänexperter inom biologi, fysik och kemi. Frågorna håller hög kvalitet och är extremt svåra: experter som har eller är på väg mot en doktorsexamen inom respektive område når 74% noggrannhet.
- MATH. Matematikproblem på högstadie- och gymnasienivå.
- HumanEval. Ett test av datorcodes funktionella korrekthet, används för att kontrollera kodgenerering.
- Multilingual Grade School Math (MSGM). Grundskolematematikproblem, översatta till tio språk, inklusive underrepresenterade språk som bengali och swahili.
- Discrete Reasoning Over Paragraphs (DROP). Frågor som kräver förståelse av hela stycken. Till exempel genom att addera, räkna eller sortera värden spridda över flera meningar.
Prestanda för GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 och Claude 3 Opus mot sex LLM-benchmarktester. Poängen för varje benchmark sträcker sig från 0 till 100. Återskapat från data tillhandahållen av OpenAI. Ingen data gavs för Gemini Pro 1.5 för GPQA-benchmarken.
GPT-4o får toppbetyg i fyra av benchmarktesterna, men slås av Claude 3 Opus i MSGM-benchmarken och av GPT-4 Turbo i DROP-benchmarken. Sammantaget är denna prestanda imponerande och visar potential för den nya ansatsen med multimodal träning.
Om du tittar noga på GPT-4o-siffrorna jämfört med GPT-4 Turbo ser du att prestandaökningarna bara är några procentenheter.
Det är en imponerande skjuts ett år senare, men långt ifrån de dramatiska sprången i prestanda från GPT-1 till GPT-2 eller GPT-2 till GPT-3.
Att år för år bli 10% bättre på textresonemang är sannolikt det nya normala. Lågt hängande frukter är plockade, och det är helt enkelt svårt att fortsätta med stora språng i textresonemang.
Å andra sidan fångar dessa LLM-benchmarktester inte AI:s prestanda på multimodala problem. Konceptet är så nytt att vi inte har några bra sätt att mäta hur bra en modell är över text, ljud och bild.
Sammantaget är GPT-4o:s prestanda imponerande och visar potential för den nya ansatsen med multimodal träning.
Vilka är användningsfallen för GPT-4o?
1. GPT-4o för dataanalys och kodningsuppgifter
Nyliga GPT-modeller och deras derivat, som GitHub Copilot, kan redan ge kodhjälp, inklusive att skriva kod samt förklara och fixa fel. GPT-4o:s multimodala kapabiliteter möjliggör några intressanta möjligheter.
I en reklamvideo med OpenAI:s CTO Mira Murati demonstrerade två OpenAI-forskare, Mark Chen och Barret Zoph, hur man använder GPT-4o för att arbeta med lite Python-kod.
Koden delas med GPT som text, och röstinteraktionsfunktionen används för att få GPT att förklara koden. Senare, efter att koden körts, används GPT-4o:s visuella förmåga för att förklara diagrammet.
Överlag kan det vara ett enklare arbetsflöde att visa ChatGPT din skärm och ställa en fråga muntligt, än att spara ett diagram som en bildfil, ladda upp det till ChatGPT och sedan skriva en fråga.
4. GPT-4o för att hjälpa synskadade användare
GPT-4o:s förmåga att förstå videoinmatning från en kamera och muntligt beskriva scenen kan vara en oumbärlig funktion för synskadade. Det är i princip ljudbeskrivningsfunktionen som TV-apparater har, fast för verkliga livet.
Praktisk erfarenhet av GPT-4o
Jag har haft tillgång till några av GPT-4o:s nya funktioner sedan strax efter tillkännagivandet (tyvärr inget röstchatt ännu), och jag har blivit imponerad av många av dess svar. Svaren verkar snabbare och mer konsekventa, och den verkar förstå mina förfrågningar bättre än tidigare. Det betyder inte att den har varit perfekt.
Här är några exempel på interaktioner jag hade med ChatGPT-4o:
Dataanalysuppgift
Först, med röstchatt, frågade jag om den hade några idéer om hur man kan analysera prestationen hos fotbollslaget jag håller på, mäktiga Leeds United. Förutom att ge flera alternativ gav den mig lite exempel på Python-kod:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
När jag följde upp detta resonemang mer i detalj blev det dock lite galet. Jag bad först om lite riktig data att använda – den sökte på webben och hittade två bra källor, men redovisade statistiken fel. Leeds spelade 46 matcher i grundserien och gjorde 81 mål med en målskillnad på plus 38, till skillnad från de 40 matcher som den angav i sitt svar.
Jag bad sedan ChatGPT att visualisera gjorda mål mot varje lag:
Återigen har den halvfärdigställt uppgiften här. Den har skapat en visualisering enligt önskemål, som ser bra ut på ytan. Men i verkligheten är mycket av datan påhittad och felaktig (lag som förekommer två gånger, mål som inte räknats och lag som inte är i samma division som Leeds).
Rättvist nog, jag antar att prestationen hade varit bättre om jag hade tillhandahållit ett komplett dataset själv, men jag önskar att den sa det i stället för att självsäkert hitta på svar.
Bildanalys
Därefter bad jag GPT-4o att analysera en bild av en av mina växter. Jag har fortfarande inte tillgång till den integrerade visuella funktionen, så jag fick ta en bild och fråga ChatGPT vilken växt det var:
Detta är inte ett dåligt försök, även om det inte är helt korrekt. Även om det är ett bonsaiträd är det en Ilex crenata snarare än en Carmona retusa. De två är dock ganska lika, så det är ett lätt misstag att göra och jag uppskattade den extra kontexten om hur man tar hand om växten.
Bildgenerering
Till sist ville jag testa den nya modellens bildförmågor. Jag visade först en bild av min sköldpadda, Darwin, och bad den berätta om min vän:
Även detta är nära men inte perfekt. Darwin är faktiskt en stäpöldpadda snarare än en grekisk landsköldpadda, men de ser mycket lika ut. Jag bad sedan ChatGPT-4o att ta originalbilden och återskapa den i Hokusais stil. Här är resultatet:
Ett ganska bra försök, även om det inte finns så mycket faktisk likhet med originalbilden, men det är väl ändå rimligt. Det tog också en liten stund att generera denna.
Sammantaget blev jag dock imponerad av den nya modellens responsivitet och hur väl den förstod mina förfrågningar. Den är långt ifrån felfri och halllucinerar fortfarande självsäkert ibland, men jag kan knappt vänta på att få testa det förbättrade röstläget och den integrerade visuella funktionen.
Begränsningar och risker med GPT-4o
Regleringen av generativ AI är fortfarande i ett tidigt skede; EU:s AI-förordning är hittills det enda nämnvärda rättsliga ramverket. Det innebär att företag som skapar AI behöver fatta vissa egna beslut om vad som utgör säker AI.
OpenAI har ett beredskapsramverk som används för att avgöra om en ny modell är redo att släppas till allmänheten.
Ramverket testar fyra orosområden.
- Cybersäkerhet. Kan AI öka cyberbrottslingars produktivitet och hjälpa till att skapa utnyttjanden?
- BCRN. Kan AI hjälpa experter att skapa biologiska, kemiska, radiologiska eller nukleära hot?
- Övertalning. Kan AI skapa (potentiellt interaktivt) innehåll som övertygar människor att ändra sina åsikter?
- Modellautonomi. Kan AI agera som en agent och utföra handlingar med annan programvara?
Varje orosområde graderas Låg, Medel, Hög eller Kritisk, och modellens betyg är det högsta av graderna över de fyra kategorierna.
OpenAI lovar att inte släppa en modell som är av kritisk oro, även om detta är en relativt låg säkerhetsribba: enligt deras definitioner motsvarar kritisk oro något som skulle kullkasta den mänskliga civilisationen. GPT-4o undviker detta med god marginal och får betyget Medel.
Ofullkomliga utdata
Som med all generativ AI beter sig modellen inte alltid som avsett. Datorseende är inte perfekt, och därför garanteras inte tolkningar av en bild eller video att fungera.
Likaledes är transkriptioner av tal sällan 100% korrekta, särskilt om talaren har en stark accent eller tekniska ord används.
OpenAI tillhandahöll en video med bloopers där GPT-4o inte fungerade som avsett.
Särskilt översättning mellan två icke-engelska språk var ett av fallen där den misslyckades. Andra problem inkluderade olämpligt tonfall (nedlåtande) och att den talade fel språk.