GPT-4 Vision: een uitgebreide gids voor beginners

Wat is GPT-4 Vision?

GPT-4 Vision (GPT-4V) is een multimodaal model waarmee je een afbeelding als input kunt uploaden en een gesprek met het model kunt voeren. Het gesprek kan bestaan uit vragen of instructies in de vorm van een prompt, die het model aansturen om taken uit te voeren op basis van de input in de afbeelding.

Het GPT-4V-model is gebouwd op de bestaande mogelijkheden van GPT-4 en biedt, naast tekstinteractie, visuele analyse. We hebben een toegankelijke introductie tot de OpenAI API behandeld die je helpt bij te blijven met de ontwikkelingen voorafgaand aan de release van het GPT-4V-model.

Belangrijkste mogelijkheden van GPT-4 Vision

• Visuele input: De belangrijkste nieuwe functie van GPT-4 Vision is dat het nu visuele content kan accepteren, zoals foto’s, screenshots en documenten, en een reeks taken kan uitvoeren.
• Objectdetectie en -analyse: Het model kan objecten in afbeeldingen herkennen en er informatie over geven.
• Data-analyse: GPT-4 Vision is bedreven in het interpreteren en analyseren van data die visueel wordt weergegeven, zoals grafieken, diagrammen en andere datavisualisaties.
• Tekst ontcijferen: Het model kan handgeschreven notities en tekst in afbeeldingen lezen en interpreteren.

Nu we enkele van de vele mogelijkheden van GPT-4 Vision hebben gezien, gaan we zelf hands-on om het beter te ervaren.

Hands-on: aan de slag met GPT-4 Vision

GPT-4 Vision is momenteel (per okt 2023) alleen beschikbaar voor ChatGPT Plus- en Enterprise-gebruikers. ChatGPT Plus kost $20/maand en is een upgrade vanaf je gratis ChatGPT-account.

Als je helemaal nieuw bent met ChatGPT, zo krijg je toegang tot GPT-4 Vision:

• Bezoek de OpenAI ChatGPT-website en maak een account aan.
• Log in op je account en ga naar de optie “Upgrade to Plus”.
• Voltooi de upgrade om toegang te krijgen tot ChatGPT Plus (Let op: dit is een maandabonnement van $20)
• Selecteer “GPT-4” als je model in het chatvenster, zoals in de onderstaande afbeelding.

• Klik op het afbeeldingspictogram om de afbeelding te uploaden en voeg een prompt toe met je instructie voor GPT-4.

Hier begrijpt GPT-4 Vision goed dat de kinderen cricket aan het spelen waren op basis van de knuppel in de hand van een kind. In de AI-wereld staat deze taak bekend als objectdetectie, waarbij de herkende objecten de kinderen en de knuppel zijn. Bekijk onze tutorial over YOLO-objectdetectie om meer te leren.

Op dezelfde manier kun je, afhankelijk van je usecase, allerlei andere taken uitvoeren.

GPT-4 Vision: praktijktoepassingen en voorbeelden

Nu we de mogelijkheden begrijpen, vertalen we die naar enkele praktische toepassingen in het werkveld:

1. Academisch onderzoek

De integratie van geavanceerde taalmodellen met visuele mogelijkheden in GPT-4 Vision opent nieuwe mogelijkheden in academische disciplines, vooral bij het ontcijferen van historische manuscripten. Deze taak is traditioneel een nauwgezette en tijdrovende bezigheid van ervaren paleografen en historici.

We geven eerst een afbeelding die lijkt op een deel van een oud krantenartikel:

GPT-4 Vision leest en interpreteert de inhoud van de afbeelding behoorlijk goed:

Het model kon de inhoud lezen, ontcijferen en analyseren, en gaf een realistische kanttekening dat delen van de afbeelding zijn afgesneden en onleesbaar.

Het is echter ook vermeldenswaardig dat het model moeite heeft met complexe manuscripten, vooral in andere talen (daarover later meer), zoals hieronder te zien is:

2. Webontwikkeling

GPT-4 Vision kan code voor een website schrijven wanneer het een visuele afbeelding van het gewenste ontwerp krijgt. Het zet een visueel ontwerp om naar broncode voor een website. Alleen al deze mogelijkheid kan de tijd die nodig is om websites te bouwen drastisch verkorten.

Laten we GPT-4 Vision een eenvoudig, met de hand getekend ontwerp voor een blogwebsite geven.

Zodra het de broncode geeft, kopieer en plak je die en maak je de HTML- en CSS-bestanden zoals aangegeven. Zo zag de website eruit:

Lijkt het niet opvallend veel? Natuurlijk gaven we een simpel voorbeeld, maar vanaf hier kun je in een fractie van de tijd een complexere en op maat gemaakte website ontwikkelen, dankzij het nieuw geïntroduceerde GPT-4 Vision-model.

3. Datainterpretatie

Het model kan datavisualisaties analyseren om de onderliggende data te interpreteren en kerninzichten te geven op basis van de visualisaties. Om deze functie te testen, kunnen we simpelweg een grafiek geven en om inzichten vragen.

Hoewel het de algemene context van de grafiek en de lineaire trend goed begrijpt, maakt het fouten door het startjaar als 1950 te noemen, terwijl de datapunten pas vanaf 1960 beginnen. Het model leidt ook factoren af zoals bevolkingsgroei en economische ontwikkeling — die zouden kunnen kloppen, maar zulke inzichten zijn niet uit deze grafiek alleen af te leiden.

Je kunt meerdere vervolgvragen stellen om de initiële output van GPT-4 Vision te verfijnen. Op basis van onze tests is een mens in de lus nog steeds nodig om de inzichten te beoordelen, en kan het model de productiviteit bij datainterpretatie verhogen.

4. Creatieve contentcreatie

Sinds de komst van ChatGPT staan sociale media vol met verschillende prompt-engineeringtechnieken, en velen hebben verrassende, creatieve manieren gevonden om generatieve technologie in hun voordeel te gebruiken.

Voor deze tutorial gebruiken we DALL-E-3 (ook beschikbaar in ChatGPT Plus) samen met GPT-4 Vision om creatief een socialmediabericht te maken.

Stap 1: Vraag GPT-4 om een prompt te maken om een afbeelding te genereren. Stel, je wilt een post maken die het verschil laat zien tussen de rol van een data scientist bij een startup versus bij een corporate.

Stap 2: Gebruik de prompt en genereer een afbeelding met DALL-E. Je kunt de prompt bijschaven en verfijnen totdat je tevreden bent met de output.

Stap 3: Gebruik de afbeelding en vraag GPT-4 Vision om een bericht te maken dat bij de afbeelding past.

Door te tweaken en een meer gedetailleerde prompt te geven, kun je een beter resultaat krijgen en creatieve contentcreatie verder verkennen. Het is goed om te benadrukken dat het internet of sociale media spammen met AI-gegenereerde content niet aan te raden is, omdat deze content eigen beperkingen heeft. Factcheck daarom en verfijn met je eigen ervaring.

Dit is natuurlijk geen uitputtende lijst met mogelijke usecases — GPT-4 Vision kan nog veel meer. Zie dit vooral als inspiratie en een startpunt om je nieuwsgierigheid te volgen door de technologie toe te passen in een domein naar keuze.

Beperkingen en risicobeperking van GPT-4 Vision

Er is nog één ding waar je je bewust van moet zijn voordat je GPT-4 Vision gaat gebruiken — de beperkingen en risico’s die ermee gepaard gaan.

Dit is vooral belangrijk omdat OpenAI zelf enkele extra maanden heeft genomen sinds de lancering van GPT-4 in maart 2023 om het te testen met interne en externe “red-teaming”-oefeningen om de tekortkomingen van deze generatieve technologie vast te stellen, zoals beschreven in de system card.

1. Nauwkeurigheid en betrouwbaarheid

Hoewel het GPT-4-model aanzienlijke vooruitgang boekt richting betrouwbaarheid en nauwkeurigheid, is dat niet altijd het geval. Volgens OpenAI, op basis van interne tests, kan GPT-4 Vision nog steeds af en toe onbetrouwbaar en onnauwkeurig zijn. Het team gaat zelfs zo ver om “ChatGPT kan fouten maken. Verifieer belangrijke informatie.” onder de chatbalk te tonen wanneer we tekst en afbeeldingen invoeren.

Het is dus van het grootste belang dat gebruikers de output van het model kritisch beoordelen en alert blijven.

2. Privacy- en biaszorgen

Volgens OpenAI blijft GPT-4 Vision, net als zijn voorgangers, sociale vooringenomenheden en wereldbeelden versterken, inclusief schadelijke stereotiepe en denigrerende associaties voor bepaalde gemarginaliseerde groepen. Het is daarom belangrijk deze beperking te begrijpen en aanvullende stappen te nemen om bias binnen de usecase zelf aan te pakken, in plaats van te vertrouwen op het model om het op te lossen.

Naast zorgen over bias kan data die met ChatGPT wordt gedeeld, worden gebruikt om modellen te trainen, tenzij je dit uitschakelt; wees daarom zorgvuldig en deel geen gevoelige of privé-informatie met het model. Gebruikers kunnen er ook voor kiezen om het delen van data voor modelverbetering uit te zetten onder “Data Controls” in het gedeelte “Settings & Beta”.

3. Beperkt voor risicovolle taken

GPT-4 Vision kan geen vragen beantwoorden die vragen om specifieke personen op een afbeelding te identificeren. Dit is een verwachte “weigering” per ontwerp. Bovendien raadt OpenAI af om GPT-4 Vision te gebruiken voor hoog-risicotaken, waaronder:

• Wetenschappelijke nauwkeurigheid: Het model kan tekst of karakters missen, wiskundige symbolen in wetenschappelijke afbeeldingen over het hoofd zien en ruimtelijke locaties en kleurtoewijzingen niet herkennen.
• Medisch advies: Het model geeft soms correcte antwoorden op vragen op basis van medische beeldvorming, maar faalt soms bij dezelfde vraag. Vanwege de inconsistenties in antwoorden mogen de uitkomsten van het model niet worden gebruikt als vervanging voor professioneel medisch advies.
• Desinformatierisico’s: Mensen zouden geneigd zijn uitspraken te geloven (onafhankelijk van of ze waar zijn) wanneer ze worden vergezeld door afbeeldingen. Het model kan geloofwaardige, realistische en doelgerichte tekst genereren die is toegesneden op een beeldinput en brengt daarmee een desinformatierisico met zich mee.
• Haatdragende content: Het model weigert in sommige gevallen te reageren op vragen met haatsymbolen en extremistische content, maar dat is niet altijd zo. Dit blijft een uitdagend probleem voor OpenAI.

Wees als gebruiker dus waakzaam en gebruik GPT-4 Vision verantwoord, zeker bij bovenstaande hoog-risicotaken en in gevoelige contexten.

Conclusie

Deze tutorial gaf je een uitgebreide introductie tot het nieuw uitgebrachte GPT-4 Vision-model. Je bent ook gewezen op de beperkingen en risico’s van het model en weet nu hoe en wanneer je het kunt gebruiken.

De meest praktische manier om de nieuwe technologie onder de knie te krijgen is door ermee aan de slag te gaan en te experimenteren met verschillende prompts om de mogelijkheden te evalueren. Na verloop van tijd voel je je er steeds comfortabeler bij.

Hoewel dit een relatief nieuwe tool is die pas een maand bestaat, is het gebouwd op de principes van Large Language Models en GPT-4. Hier zijn nog enkele gerelateerde bronnen als je dieper wilt duiken in de onderliggende fundamentele en aanverwante concepten van het GPT-4 Vision-model:

• Wat is GPT-4 en waarom is het belangrijk?
• Een beginnersgids voor ChatGPT-promptengineering
• Een beginnersgids voor GPT-3
• Cursus Concepts: Large Language Models (LLM’s) beheersen