Een beginnersgids voor GPT-3

Natural Language Processing (NLP) is een deelgebied van de taalkunde, informatica, kunstmatige intelligentie en informatie-engineering dat zich bezighoudt met de interactie tussen computers en menselijke (natuurlijke) talen, en in het bijzonder met hoe je computers programmeert om grote hoeveelheden natuurlijke taaldata te verwerken en te analyseren.

Klinkt interessant? Wat zou je zeggen als we je vertelden dat we een algoritme genaamd GPT-3 hebben gevraagd om deze hele alinea te schrijven—en dat het dat in één keer goed deed? We maken geen grapje! Kijk maar…

GPT-3 in actie

Best indrukwekkend, toch?! Terug naar NLP. Het stelt computers in staat menselijke taal te verwerken in de vorm van tekst- of spraakdata en de volledige betekenis te “begrijpen”, inclusief de intentie en het sentiment van de spreker of schrijver. NLP is als vakgebied de plek geweest van enkele van de spannendste AI-ontdekkingen en -toepassingen van het afgelopen decennium. De meest opwindende en productieve trend van de afgelopen jaren in dit domein zijn grote taalmodellen, waartoe ook het GPT-3-model behoort.

GPT-3 wordt door sommigen gezien als de eerste stap in de zoektocht naar Artificial General Intelligence. Het heeft meer aandacht getrokken dan welk ander AI-model dan ook. De enorme flexibiliteit om een reeks algemene taken met bijna menselijke efficiëntie en nauwkeurigheid uit te voeren, maakt het zo spannend. Het werd uitgebracht als een API met de bedoeling om data scientists, developers en mensen uit allerlei hoeken en beroepen wereldwijd ongekende toegang te geven tot een van ’s werelds krachtigste taalmodellen. 

Het model is gemaakt door OpenAI, een bedrijf in de voorhoede van AI-onderzoek en -ontwikkeling. Sinds de eerste release in juli 2020 hebben ontwikkelaars over de hele wereld al honderden veelbelovende toepassingen voor GPT-3 gevonden die onze manieren van communiceren, leren en spelen naar een hoger niveau kunnen tillen. Het kan algemene, op taal gebaseerde taken moeiteloos oplossen en vrij bewegen tussen verschillende tekststijlen en -doelen. 

Voor GPT-3 waren taalmodellen ontworpen om één specifieke NLP-taak uit te voeren, zoals tekstgeneratie, samenvatten of classificatie. GPT-3 is het eerste echt gegeneraliseerde taalmodel in de geschiedenis van natuurlijke taalverwerking dat op een reeks NLP-taken even goed kan presteren. GPT-3 staat voor “Generative Pre-trained Transformer”, en het is OpenAI’s derde iteratie van het model. Laten we deze drie termen ontleden: 

• Generative: Generatieve modellen zijn een type statistisch model dat wordt gebruikt om nieuwe datapunten te genereren. Deze modellen leren de onderliggende relaties tussen variabelen in een dataset om nieuwe punten te genereren die lijken op de data in de dataset.  
• Pre-trained: Voorgetrainde modellen zijn modellen die al op een grote dataset zijn getraind. Daardoor kun je ze gebruiken voor taken waarvoor het lastig zou zijn om vanaf nul te trainen. Zo’n model is misschien niet 100% nauwkeurig, maar het voorkomt dat je het wiel opnieuw uitvindt, bespaart tijd en verbetert de prestaties.
• Transformer: Een transformermodel is een bekend kunstmatig neuraal netwerk dat in 2017 is uitgevonden. Het is een deep learning-model dat is ontworpen om sequentiële data, zoals tekst, te verwerken. Transformermodellen worden vaak gebruikt voor taken als machinevertaling en tekstclassificatie. 

In de volgende sectie bekijken we de bredere context van taalmodellen—wat het zijn, hoe ze werken en waar ze voor worden gebruikt. Je kunt meer lezen over wat we weten over GPT-4 in een apart artikel, leer hier meer over AI of lees over het laatste nieuws over OpenAI, Google AI en wat dat betekent voor data science.

Wat zijn grote taalmodellen?

De afgelopen jaren is er enorm veel interesse in het bouwen van grote taalmodellen, ofwel LLM’s, binnen het veld van natuurlijke taalverwerking (NLP). LLM’s, die zijn getraind op grote hoeveelheden tekst, kunnen worden ingezet voor allerlei taaltaken, waaronder tekstgeneratie, machinevertaling en vraagbeantwoording.

Taalmodellering is de taak waarbij je met kansrekening begrijpt hoe zinnen in een bepaalde taal samenkomen. Eenvoudige taalmodellen kunnen naar een woord kijken en het volgende woord (of de volgende woorden) voorspellen dat daar waarschijnlijk op volgt, op basis van statistische analyse van bestaande tekstreeksen. Zo zal de zin "I love walking my ..." eerder eindigen met het woord "dog" dan met "refrigerator". Het is belangrijk om het taalmodel met veel data te trainen om woordreeksen nauwkeurig te kunnen voorspellen.

Je kunt LLM’s zien als statistische voorspellingsmachines: je voert tekst in en krijgt voorspellingen terug.  Dit ken je waarschijnlijk van de autocorrect of suggesties op je telefoon. Als je bijvoorbeeld “good” typt, kan autocomplete suggesties doen als “morning” of “luck.” NLP-toepassingen zoals autocomplete leunen zwaar op taalmodellen. 

Hoewel taalmodellen al langer bestaan, zijn ze pas recent zo succesvol geworden. Dat komt door meerdere factoren: de beschikbaarheid van grote hoeveelheden trainingsdata, de ontwikkeling van betere trainingsalgoritmen en het gebruik van GPU’s om training te versnellen. Met meer data kunnen modellen meer leren over de relaties tussen woorden en de context waarin ze worden gebruikt. Daardoor begrijpen ze de betekenis van tekst beter en doen ze nauwkeurigere voorspellingen.

Het succes van LLM’s komt door hun vermogen om afhankelijkheden tussen woorden in een tekst vast te leggen. In de zin "The cat sat on the mat" is bijvoorbeeld het woord "cat" afhankelijk van "the", en het woord "mat" van "on". In een groot taalmodel zijn deze afhankelijkheden vastgelegd in de parameters van het model. Naarmate taalmodellen geavanceerder zijn geworden, is het aantal parameters dat ze gebruiken geëxplodeerd, zoals je ziet in de volgende grafiek die door Microsoft Research is gepubliceerd.

Trend in groottes van state-of-the-art NLP-modellen in de tijd op een logaritmische schaal
Bron: Microsoft Research-blogpost op 11 okt. 2021

Het voortrainen van grote taalmodellen vereist enorme rekenkracht, wat veel energie kost. De groeiende vraag naar deze modellen vraagt om steeds meer compute-resources. Dit brengt aanzienlijke milieukosten met zich mee, zoals onhoudbaar energieverbruik en CO2-uitstoot.

In een studie uit 2019 schatten onderzoekers van de University of Massachusetts dat het trainen van een groot deep learning-model 626.000 pond aan opwarming van de aarde veroorzakende koolstofdioxide oplevert, gelijk aan de uitstoot over de hele levensduur van vijf auto’s. Naarmate modellen groter worden, lopen hun rekenbehoeften vooruit op verbeteringen in hardware-efficiëntie. Een studie uit 2021 schat dat het trainen van GPT-3 ongeveer 552 ton CO2 heeft opgeleverd. Dat is ongeveer evenveel als 120 auto’s in een jaar rijden.

Toch merkt het Green AI-paper uit 2019 op “dat de trend om voorgetrainde modellen publiekelijk vrij te geven een groene succesfactor is”, en de auteurs moedigen organisaties aan “om hun modellen te blijven vrijgeven om anderen de kosten van hertraining te besparen.” Bedrijven zoals OpenAI, die voorgetrainde grote taalmodellen uitbrengen, onderzoeken en ontwikkelen voortdurend technieken om de CO2-voetafdruk van het trainen te verkleinen. 

GPT-3 is zeer nauwkeurig bij het uitvoeren van verschillende NLP-taken dankzij de enorme omvang van de dataset waarop het is getraind en de grote architectuur met 175 miljard parameters, waardoor het de logische relaties in die data kan begrijpen. GPT-3 is voorgetraind op een corpus van tekst uit vijf grote datasets: Common Crawl, WebText2, Books1, Books2 en Wikipedia. Dit corpus omvat samen bijna een biljoen woorden, waardoor GPT-3 verrassend veel NLP-taken succesvol kan uitvoeren in een zero-shot setting, dus zonder voorbeelddata. 

In de volgende sectie verkennen we transformers, de beroemde architectuur achter modellen die het veld van taalmodellering hebben opgeschud en de definitie van wat mogelijk is binnen NLP hebben veranderd.

Wat zijn transformermodellen?

De transformer is een type neurale netwerkarchitectuur dat bijzonder geschikt is voor taalmodelleringstaken. Het werd voor het eerst geïntroduceerd in het paper "Attention is All You Need" in 2017.  Het paper beschrijft transformers als een neurale netwerkarchitectuur die is ontworpen om sequence-to-sequence-taken efficiënt uit te voeren en daarbij langeafstandsafhankelijkheden moeiteloos aan te kunnen. Transformermodellen zijn razendsnel de standaardarchitectuur voor NLP-taken geworden en domineren het NLP-domein momenteel. 

Sequence-to-Sequence is het mechanisme dat de ruggengraat vormt van transformermodellen. Ook wel Seq2Seq genoemd, zet de architectuur een gegeven reeks elementen—zoals woorden in een zin—om in een andere reeks, bijvoorbeeld een zin in een andere taal, wat de architectuur bij uitstek geschikt maakt voor vertaaltaken. Google Translate ging eind 2016 een soortgelijke architectuur in productie gebruiken.

Bron: “The Illustrated Transformer”-blogpost door Jay Alammar

Seq2Seq-modellen bestaan uit twee delen: een encoder en een decoder. Je kunt de encoder en decoder zien als menselijke vertalers die elk twee talen spreken. Ze hebben verschillende moedertalen; in ons voorbeeld is de encoder een moedertaalspreker Chinees en de decoder een moedertaalspreker Engels. Ze delen een tweede taal; laten we zeggen Japans. Om Chinees naar Engels te vertalen, zet de encoder de Chinese zin om naar het Japans. Die Japanse zin, de context, wordt doorgegeven aan de decoder. Omdat de decoder Japans begrijpt en kan lezen, kan die nu van Japans naar Engels vertalen.

Een ander essentieel onderdeel van de transformer-architectuur is een mechanisme genaamd “attention”. Dit is een techniek die cognitieve aandacht nabootst. Cognitieve aandacht weerspiegelt hoe onze hersenen op de belangrijke delen van een zin letten, wat ons helpt de algemene betekenis te begrijpen.  Terwijl je bijvoorbeeld deze zin leest, focus je steeds op het woord dat je leest, terwijl je geheugen tegelijk de belangrijkste sleutelwoorden van de zin vasthoudt om context te bieden.

Het attention-mechanisme bekijkt een invoersequentie stukje voor stukje en beslist bij elke stap welke andere delen van de sequentie belangrijk zijn. Dit helpt de transformer om ruis te filteren en te focussen op wat relevant is, door verwante woorden met elkaar te verbinden die op zichzelf geen duidelijke aanwijzingen hebben dat ze bij elkaar horen. 

Transformermodellen profiteren van grotere architecturen en het voeren van grotere hoeveelheden data. Daardoor zijn ze beter dan welk ander neuraal netwerk dan ook in het begrijpen van de context van woorden in een zin, wat hun grote impact op machine learning verklaart. Naarmate ze blijven evolueren, zullen ze de komende jaren waarschijnlijk nog meer impact hebben—en jij kunt in een paar eenvoudige stappen beginnen met experimenteren met LLM’s.

Aan de slag met GPT-3

Navigeren door de OpenAI API

Hoewel GPT-3 misschien een van de meest geavanceerde en complexe taalmodellen ter wereld is, zijn de mogelijkheden toegankelijk via een eenvoudige interface van "tekst-in-tekst-uit". Het eerste wat je nodig hebt om aan de slag te gaan met GPT-3 is toegang tot de OpenAI API. Je kunt je hier aanmelden en binnen enkele minuten is je account ingesteld.

Zodra je toegang hebt tot een OpenAI-ontwikkelaarsaccount, kijken we naar de Playground, een privé webgebaseerde sandbox-omgeving waarmee je met de API kunt experimenteren en kunt leren hoe de verschillende componenten samenwerken.

Componenten van de OpenAI API

Hier is een overzicht van de verschillende API-componenten en hun functies:

• Execution Engine: Bepaalt welk taalmodel voor uitvoering wordt gebruikt. De juiste engine kiezen is de sleutel tot de mogelijkheden van je model en daarmee tot de juiste output. 
• Response Length: De antwoordlengte stelt een limiet aan hoeveel tekst de API opneemt in de completion. Omdat OpenAI per hoeveelheid gegenereerde tekst per API-call rekent, is antwoordlengte een cruciale parameter als je op je budget let. Een hogere antwoordlengte kost meer.
• Temperature: De temperature regelt de willekeur in het antwoord, in een bereik van 0 tot 1. Een lagere waarde betekent dat de API met het eerste plausibele antwoord komt dat het model ziet; een hogere waarde betekent dat het model mogelijke antwoorden die in de context passen overweegt voordat het het resultaat geeft.
• Top P: Top P bepaalt hoeveel willekeurige resultaten het model moet overwegen voor de completion, zoals gesuggereerd door de temperature-instelling, en daarmee de mate van willekeur. Het bereik is 0 tot 1. Een lagere waarde beperkt de creativiteit, een hogere waarde verruimt die.
• Frequency and Presence Penalty: De frequency penalty verkleint de kans dat het model dezelfde zin letterlijk herhaalt door het te “bestraffen”. De presence penalty vergroot de kans dat het over nieuwe onderwerpen gaat praten.
• Best of: Met deze parameter geef je aan hoeveel completions (n) er server-side gegenereerd moeten worden en krijg je de beste van “n” completions terug.
• Stop Sequence: Een stopsequentie is een set tekens die de API het signaal geeft om te stoppen met genereren.
• Inject Start & Restart Text: Met inject start text en inject restart text kun je respectievelijk tekst aan het begin of einde van de completion invoegen.
• Show Probabilities: Met deze optie kun je de tekstaanduiding debuggen door de kans te tonen van tokens die het model kan genereren voor een gegeven input.

De OpenAI API biedt vier verschillende execution engines die verschillen in aantal parameters, prestaties en prijs. De primaire engines in oplopende volgorde van mogelijkheden en grootte zijn Ada (vernoemd naar Ada Lovelace), Babbage (Charles Babbage), Curie (Madame Marie Curie) en Davinci (Leonardo da Vinci). 

Op basis van deze vier basismodellen heeft OpenAI een reeks verbeterde modellen gelanceerd, InstructGPT, die beter zijn in het begrijpen en volgen van instructies om precies de gewenste output te produceren. Het enige wat je hoeft te doen is het model vertellen wat je wilt dat het doet, en het zal zijn best doen je instructies op te volgen. Het proces van het geven van instructies aan het GPT-3-model heet prompt engineering. 

Prompt engineering

GPT-3 is ontworpen om taak-agnostisch te zijn. Dat betekent dat het in principe elk aantal taken kan uitvoeren, mits je de juiste trainingsprompt geeft. AI-oplossingen bouwen was nog nooit eenvoudig, maar met GPT-3 heb je vooral een zinvolle trainingsprompt in gewoon Engels nodig.

Bron: Tweet van Andrej Karpathy op 18 juni 2020

Het allerbelangrijkste bij het maken van een GPT-3-applicatie is het ontwerp en de inhoud van de trainingsprompt. Promptdesign is het belangrijkste proces om het GPT-3-model te primen voor een gunstige en contextuele reactie. 

De prompt is de tekstinvoer die je het model geeft om de gewenste output te genereren. Een goede prompt ontwerpen betekent dat je het model genoeg context geeft over de taak in de tekstinvoer. GPT-3 kijkt naar de input en probeert te reageren met de tekst die volgens het model de input het best completeert. 

In zekere zin is promptdesign net als hints geven bij hints en pantomime!

Het geheim van goede prompts is begrijpen wat GPT-3 weet over de wereld en hoe je het model zover krijgt die kennis te gebruiken om bruikbare resultaten te genereren. Bij hints en pantomime is het doel om spelers net genoeg informatie te geven zodat ze met hun intelligentie op het juiste woord komen. Op dezelfde manier moeten we GPT-3 net genoeg context geven in de vorm van een trainingsprompt, zodat het model de patronen kan afleiden en de taak kan uitvoeren. We willen de natuurlijke intelligentiestroom van het model niet onderbreken door het te overladen met informatie, maar te weinig context kan tot onnauwkeurige resultaten leiden.

Als vuistregel geldt: richt je bij het ontwerpen van de trainingsprompt eerst op een zero-shot antwoord van het model. Als dat niet lukt, ga dan verder met een paar voorbeelden in plaats van een heel corpus te geven. De standaardflow voor het ontwerpen van trainingsprompts ziet er zo uit: 

Zero-shot → few shots → corpus-based priming

Als het model in je tekstdinvoer de letter “Q” en een vraag ziet, zal het proberen een antwoord te schrijven, maar niet per se het antwoord dat jij verwacht. Zonder voldoende context kan het bijvoorbeeld aannemen dat je een lijst met vragen en foute antwoorden aan het maken bent. Als je het beste antwoord wilt, moet je GPT-3 laten weten wat voor soort antwoorden je wilt.

In plaats van GPT-3 te vragen om deze input aan te vullen:

Q:
A:

Waarbij onze eerste completion was:

Q:
A:

Q:
A:

Verbeter je output voor vragen aanzienlijk met een prompt als deze (of een variant, afhankelijk van het type vragen dat je het model wilt laten genereren):

Write a few trivia questions.

Q:
A:

Waarbij we de volgende completion kregen bij de eerste poging:

What is the name of the longest river in Africa?
The Nile

What are the top 5 most spoken languages in the world?
Mandarin, Spanish, English, Hindi, Arabic

Eenvoudige instructies zoals bovenstaande zijn al genoeg voor GPT-3 om te begrijpen dat het antwoorden moet geven die beter aansluiten bij wat je zoekt; in dit geval meerdere triviavragen. Je kunt ook een zin als “Factual answer:” gebruiken in plaats van “A:” om het resultaat te verbeteren.

Write a few trivia questions.

Question:
Factual answer:

Op deze input kregen we de volgende completion:

1. What is the world’s largest desert?

The Sahara desert.

2. What is the world’s deepest Ocean?

The Pacific Ocean.

GPT-3 Sandbox—de OpenAI API gebruiken met Python

In deze sectie nemen we je mee door de GPT-3 Sandbox, een open-sourcetool om je ideeën met slechts een paar regels Python om te zetten in iets werkends. We laten zien hoe je het gebruikt en aanpast voor jouw specifieke toepassing. Het doel van deze sandbox is om je in staat te stellen gave webapplicaties te maken, ongeacht je technische achtergrond. 

Volg deze interactieve videoserie voor een stapsgewijze walkthrough over het bouwen en deployen van een GPT-3-applicatie. Je hebt de volgende technische stack nodig om de GPT-3-sandbox te gebruiken:

• Python 3.7+
• Een IDE, zoals VS Code

Kloon de code uit deze repository door een nieuwe terminal in je IDE te openen en de volgende opdracht te gebruiken:

git clone https://github.com/Shubhamsaboo/kairos_gpt3

Alles wat je nodig hebt om een webapplicatie te bouwen en te deployen, staat al in de code. Je hoeft slechts een paar bestanden aan te passen om de sandbox te personaliseren voor jouw usecase. Maak nu een virtuele Python-omgeving om te beginnen. Na het aanmaken van de virtuele omgeving kun je de vereiste dependencies installeren met de volgende opdracht: 

pip install -r requirements.txt

Nu kun je de sandboxcode gaan aanpassen. Het eerste bestand dat je moet bekijken is training_data.py. Open dat bestand en vervang de standaardprompt door de trainingsprompt die je wilt gebruiken. Je kunt de GPT-3 playground gebruiken om met verschillende trainingsprompts te experimenteren (zie hoofdstuk 2 van het boek en de volgende video voor meer over het aanpassen van de sandbox).

Je bent nu klaar om de API-parameters aan te passen (Maximum tokens, Execution Engine, Temperature, Top-p, Frequency Penalty, Stop Sequence). We raden aan om in de playground met verschillende waardes te experimenteren voor een gegeven trainingsprompt om te bepalen wat het beste werkt voor jouw usecase. Zodra je tevreden bent met de resultaten, kun je de waardes aanpassen in het bestand training_service.py.

Dat is alles! Je GPT-3-gebaseerde webapplicatie is nu klaar. Je kunt ’m lokaal draaien met de volgende opdracht:

streamlit run gpt_app.py

Je kunt Streamlit sharing gebruiken om de applicatie te deployen en met een breder publiek te delen. Volg deze video voor een volledige walkthrough van het deployen van je applicatie.

Wat kun je bouwen met GPT-3? 

Voor de release van GPT-3 was de meeste interactie van mensen met AI beperkt tot specifieke taken, zoals Alexa vragen je favoriete nummer af te spelen of Google Translate gebruiken om in andere talen te praten. Met de ontwikkeling van LLM’s zien we een grote paradigmaverschuiving. LLM’s hebben laten zien dat door modellen te vergroten, AI-toepassingen creatieve en complexe taken kunnen uitvoeren die lijken op die van mensen. 

GPT-3 stuwt de volgende golf aan startups door de verbeelding van creatieve ondernemers te voeden met de juiste technologie. Kort na de release van de API vulde het startuplandschap zich met bedrijven die die gebruiken om problemen op te lossen. Laten we dit dynamische ecosysteem verkennen door te kijken naar enkele van de best presterende startups die GPT-3 aan de kern van hun product hebben in domeinen zoals creatieve kunsten, data-analyse, chatbots, copywriting en developertools. 

1. Creatieve toepassingen van GPT-3: Fable Studio

Een van de meest spannende capaciteiten van GPT-3 is storytelling. Je kunt het model een onderwerp geven en vragen een verhaal te schrijven in een zero-shot setting. De mogelijkheden laten schrijvers hun verbeelding verruimen en met uitzonderlijk werk komen. Zo toont het toneelstuk AI, geregisseerd door Jennifer Tang en ontwikkeld met Chinonyerem Odimba en Nina Segal, een unieke samenwerking tussen menselijke en computerminds met behulp van GPT-3. 

Fable Studio is een bedrijf dat de creatieve storytellingmogelijkheden van het model benut. Ze hebben Neil Gaiman en Dave McKeans kinderboek Wolves in the Walls aangepast tot een Emmy Award-winnende VR-filmervaring. Lucy, de hoofdpersoon van de film, kan natuurlijke gesprekken voeren dankzij door GPT-3 gegenereerde dialogen. Het bedrijf gelooft dat het met toekomstige iteraties van het model mogelijk is een AI-verhalenverteller te ontwikkelen die net zo vaardig en creatief is als de beste menselijke schrijvers.

2. Data-analysetoepassingen van GPT-3: Viable

Viable is een tool voor het samenbrengen van feedback die thema’s, emoties en sentimenten identificeert in enquêtes, helpdesktickets, live chatlogs en klantreviews. Het geeft vervolgens binnen enkele seconden een samenvatting van de resultaten. Als je bijvoorbeeld vraagt: “Wat frustreert onze klanten aan de checkout-ervaring?” kan Viable antwoorden: “Klanten zijn gefrustreerd over de checkout-flow omdat het laden te lang duurt. Ze willen ook hun adres kunnen wijzigen tijdens het afrekenen en meerdere betaalmethoden kunnen opslaan.”

Zoals je verwacht van specialisten in klantfeedback, heeft Viable duim-omhoog- en duim-omlaagknoppen naast elk antwoord dat de software genereert. Ze gebruiken deze feedback bij hertraining. Mensen maken ook deel uit van het proces: Viable heeft een annotatieteam dat verantwoordelijk is voor het bouwen van trainingsdatasets, zowel voor interne modellen als voor GPT-3-finetuning. Ze gebruiken de huidige iteratie van dat gefinetunede model om output te genereren, die vervolgens door mensen op kwaliteit wordt beoordeeld. Als de output niet logisch is of niet klopt, herschrijven ze die. En zodra ze een lijst met outputs hebben waar ze tevreden mee zijn, voeren ze die lijst terug in de volgende iteratie van de trainingsdataset.

3. Chatbottoepassingen van GPT-3: Quickchat

Emerson AI is de chatbotpersona van het bedrijf Quickchat en staat bekend om zijn algemene wereldkennis, ondersteuning voor meerdere talen en het vermogen om een gesprek te voeren. Emerson AI wordt gebruikt om de mogelijkheden van door GPT-3 aangestuurde chatbots te tonen en gebruikers te stimuleren om met Quickchat samen te werken aan zo’n persona voor hun bedrijf. Het productaanbod van Quickchat is een conversational AI voor algemene doeleinden die over elk onderwerp kan praten. Klanten kunnen de chatbot aanpassen door extra informatie toe te voegen die specifiek is voor hun product. Quickchat ziet uiteenlopende toepassingen, zoals het automatiseren van klantenondersteuning en het implementeren van een AI-persona om gebruikers te helpen zoeken in een interne bedrijfskennisbank.

In tegenstelling tot typische chatbotproviders bouwt Quickchat geen gesprekstakken of starre scenario’s, en hoeft de chatbot niet te worden aangeleerd om vragen op een bepaalde manier te beantwoorden. In plaats daarvan volgen klanten een eenvoudig proces: je plakt tekst die alle informatie bevat die je wilt dat je AI gebruikt en klikt op de retrain-knop, wat een paar seconden duurt om de kennis op te nemen—en dat is het. Nu getraind op jouw data, is de chatbot klaar voor een testgesprek. 

4. Marketingtoepassingen van GPT-3: Copysmith

Een van de populairste toepassingen van GPT-3 is het on the fly genereren van creatieve content. Copysmith is zo’n voorbeeld van een contentgeneratieplatform. Het gebruikt GPT-3 om prompts te genereren die vervolgens worden omgezet in copy voor e-commercebedrijven. GPT-3 lijkt uit te blinken op het gebied van marketing, waar het helpt om snel kwalitatieve content te genereren, samen te werken en te lanceren. Dankzij het model kunnen kleine en middelgrote online bedrijven betere call-to-actions en productbeschrijvingen schrijven en hun marketing opschalen om die van de grond te krijgen.

5. Codetoepassingen van GPT-3: Stenography

Bram Adams, een OpenAI Community Ambassador, creëerde Stenography, een programma dat GPT-3 en Codex gebruikt om het schrijven van codedocumentatie te automatiseren. 

Stenography was meteen een succes en lanceerde als #1-product op ProductHunt. Adams ziet documentatie als een manier voor mensen om anderen in hun team, hun toekomstige zelf, of toevallige belangstellenden die een dev-project op GitHub tegenkomen, te bereiken. Het doel van Stenography is om een project begrijpelijk te maken voor anderen.

Wil je meer weten over het groeiende GPT-3-ecosysteem, bekijk dan Hoofdstuk 4 (GPT-3 als lanceerplatform voor next-gen startups) en Hoofdstuk 5 (GPT-3 voor bedrijven) van ons aankomende O’Reilly-boek.

Conclusie

• GPT-3 markeert een belangrijke mijlpaal in de geschiedenis van AI. Het maakt ook deel uit van een grotere LLM-trend die in de toekomst zal blijven groeien. De revolutionaire stap om API-toegang te bieden, heeft het nieuwe model-as-a-service-bedrijfsmodel gecreëerd.
• De algemene, taalkundige capaciteiten van GPT-3 openen deuren naar het bouwen van innovatieve producten. Het is vooral goed in het oplossen van taken zoals tekstgeneratie, samenvatten, classificatie en conversatie.
• Er zijn verschillende succesvolle bedrijven die grotendeels of volledig op GPT-3 zijn gebouwd. Onze favoriete usecases zijn creatieve storytelling, data-analyse, chatbots, marketingcopywriting en developertools.