Cursus
Werken met de OpenAI API
3 uur
178K
Tijdens de recente OpenAI DevDay deed de organisatie een langverwachte aankondiging: de introductie van GPT-4 Turbo, een verbeterde versie van hun baanbrekende AI-model. Hier kijken we uitgebreid naar wat GPT-4 Turbo is, de belangrijkste functies en hoe het ontwikkelaars en gebruikers kan helpen.
In aparte artikelen lees je meer over GPT's en de ChatGPT Store, en de Assistants API, die ook op Dev Day werden aangekondigd.
Wat is GPT-4 Turbo?
GPT-4 Turbo is een update van het bestaande GPT-4 large language model. Het brengt verschillende verbeteringen, waaronder een sterk vergroot contextvenster en toegang tot actuelere kennis. OpenAI heeft de mogelijkheden van GPT-4 in ChatGPT stap voor stap uitgebreid met aangepaste instructies, ChatGPT-plugins, DALL-E 3 en Advanced Data Analytics. Deze nieuwste update brengt een reeks spannende nieuwe functies.
Wat is GPT-4 Turbo met Vision?
GPT-4 Turbo met vision is een variant van GPT-4 Turbo met optische tekenherkenning (OCR). Je kunt het dus een afbeelding geven, en het model kan alle tekst in de afbeelding teruggeven. Je kunt bijvoorbeeld een foto van een menu invoeren, waarna het de gerechten uit die foto terugstuurt. Evenzo kun je een foto van een factuur aanleveren en automatisch de naam van de leverancier en de artikeldetails extraheren.
De functies "met vision" zijn standaard beschikbaar in ChatGPT en voor ontwikkelaars beschikbaar door in de OpenAI API een "gpt-4-vision"-model te selecteren.
Belangrijkste functies van GPT-4 Turbo
GPT-4 Turbo biedt diverse verbeteringen ten opzichte van eerdere modellen en vergroot zo zijn mogelijkheden. Dit zijn enkele opvallende functies:
Verbeterde knowledge cutoff
Sam Altman belooft ervoor te zorgen dat ChatGPT up-to-date blijft
De bestaande versies van GPT-3.5 en GPT-4 hadden een knowledge cutoff van september 2021. Dat betekent dat ze geen vragen kunnen beantwoorden over gebeurtenissen in de echte wereld die daarna plaatsvonden, tenzij ze toegang krijgen tot externe databronnen.
GPT-4 verlengt de knowledge cutoff met negentien maanden tot april 2023. Dit betekent dat GPT-4 Turbo toegang heeft tot informatie en gebeurtenissen tot die datum, waardoor het een beter geïnformeerde en betrouwbaardere bron van informatie is. Bovendien beloofde de CEO van OpenAI, Sam Altman, dat "[OpenAI] zal proberen te voorkomen dat [GPT] ooit nog zo ver veroudert".
128K contextvenster
Het contextvenster van een large language model (LLM) geeft aan hoe lang het gesprek in het geheugen blijft. Als een model een contextvenster van 4.000 tokens (ongeveer 3.000 woorden) heeft, dan wordt alles in de chat van meer dan 4.000 tokens geleden genegeerd en kunnen de antwoorden minder nauwkeurig of zelfs in tegenspraak met eerdere reacties zijn. Dit is problematisch bij langere documenten of chatbots met langere gesprekken.
GPT-4 heeft een maximale contextlengte van 32k (32.000) tokens. GPT-4 Turbo vergroot dit tot 128k tokens (ongeveer 240 pagina's bij 400 woorden per pagina). Dit is meer dan de 100k maximale context van Anthropic's Claude 2-model en is vergelijkbaar met het YARN-MISTRAL-7b-128k-model van Nous Research.
Het moet nog blijken of het langere contextvenster ook over het hele venster tot bevredigende prestaties leidt. Recent onderzoek van Stanford University liet zien dat bestaande modellen met lange context alleen nauwkeurige antwoorden gaven wanneer informatie werd opgehaald van dichtbij het begin of het einde van het document.
Het is ook vermeldenswaardig dat 128k waarschijnlijk slechts een tussenstap is richting de droom van "oneindige context". Vroeg onderzoek van Microsoft en Xi'an Jiaotong University mikt op het opschalen van LLM's naar een miljard tokens aan context.
GPT in de uitverkoop
OpenAI heeft gereageerd op de toegenomen concurrentie in de LLM-markt en de prijs van GPT-4 Turbo verlaagd om het budgetvriendelijker te maken voor ontwikkelaars. Bij gebruik van de OpenAI API is de prijs van GPT-4 Turbo-invoertokens nu een derde van de vorige prijs, van 3 Amerikaanse cent naar 1 Amerikaanse cent per 1.000 tokens. De uitvoertokens zijn nu half zo duur, van 6 Amerikaanse cent naar 3 Amerikaanse cent per 1.000 tokens.
Diezelfde trend zet zich voort bij GPT-3.5 Turbo-modellen, met 3x goedkopere invoertokens à 0,1 Amerikaanse cent per 1.000 tokens en 2x goedkopere uitvoertokens à 0,2 Amerikaanse cent per 1.000 tokens.
Daarnaast zijn de invoertokens van het fijngetunede GPT-3.5 Turbo 4K-model nu 4x betaalbaarder: de prijs daalt van 1,2 naar 0,3 Amerikaanse cent per 1.000 tokens, en de uitvoertokens zijn 2,7x goedkoper: van 1,6 naar 0,6 Amerikaanse cent per 1.000 tokens. De trainingsprijs blijft gelijk op 0,8 Amerikaanse cent per 1.000 tokens.
Deze prijsaanpassingen moeten geavanceerde AI-modellen kostenefficiënter maken voor ontwikkelaars.
GPT wordt multimodaal: afbeeldingsprompts & tekst-naar-spraak
"GPT-4 Turbo met vision" is aangekondigd als binnenkort beschikbaar. Je zult GPT-4 Turbo binnenkort kunnen aansturen met afbeeldingen als prompt door ze direct in het chatvak te plaatsen. De tool kan dan bijschriften genereren of beschrijven wat de afbeelding toont. Het zal ook verzoeken voor tekst-naar-spraak afhandelen.
Updates voor function calling
Function calling is een functie voor ontwikkelaars die generatieve AI in hun applicaties integreren. Hiermee kunnen ze functies van hun app of externe API's beschrijven aan GPT-4 Turbo. Met de mogelijkheid om meerdere functies in één bericht aan te roepen, stroomlijnt deze functie de interactie met het model. Gebruikers kunnen bijvoorbeeld één bericht sturen met meerdere acties, waardoor heen-en-weercommunicatie met het model niet meer nodig is.
Hoe krijg je toegang tot GPT-4 Turbo
Toegang tot GPT-4 Turbo is beschikbaar voor ‘alle betalende ontwikkelaars’. Als je API-toegang hebt, kun je simpelweg "gpt-4-1106-preview" doorgeven als modelnaam in de OpenAI API. Voor GPT-4 Turbo met vision kun je op dezelfde manier "gpt-4-vision-preview" doorgeven als modelnaam.
Houd er rekening mee dat deze previewmodellen nog niet geschikt worden geacht voor productie. Als onderdeel van de aankondiging beloofde Altman echter ook dat er in de komende weken een productierijpe versie beschikbaar komt.
Voor niet-ontwikkelaars wordt GPT-4 Turbo waarschijnlijk de komende weken beschikbaar voor ChatGPT Plus- en ChatGPT Enterprise-gebruikers.
Snelheidslimieten
Toegang tot GPT-modellen via de OpenAI API is aan snelheidslimieten gebonden. Dat wil zeggen: je kunt per maand slechts een beperkt aantal verzoeken naar de API sturen. OpenAI heeft nu duidelijkere richtlijnen gepubliceerd over hoe die limieten werken, zodat je applicatie niet onverwachts wordt afgekapt.
Bovendien zijn de snelheidslimieten voor GPT-4 verdubbeld
Omdat GPT-4 Turbo zich momenteel in de previewfase bevindt, zijn de limieten voor GPT-4 Turbo ingesteld op 20 verzoeken per minuut en 100 verzoeken per dag. OpenAI heeft aangegeven op dit moment geen verhogingen van deze limieten voor dit model toe te staan. Waarschijnlijk verandert dit zodra er een publieke versie beschikbaar is.
Tot slot
De aankondiging van GPT-4 Turbo biedt een spannend inkijkje in de toekomst van generatieve AI, en we kunnen niet wachten om ermee aan de slag te gaan. Begin je net met alles rond GPT? Bekijk dan onze cursus Introduction to ChatGPT. Wie dieper wil duiken, vindt in onze tutorial over het gebruik van GPT-3.5 en GPT-4 via de OpenAI API in Python volop stof om te verkennen.
Onderwerpen
