De afgelopen maanden gonzen de data science- en AI-wereld van de komst van GPT-3, OpenAI’s nieuwste taalmodel. Voor velen vormt het model een grote sprong voorwaarts in het vermogen van één algoritme om met menselijke taal te redeneren over uiteenlopende taken.
Ontwikkelaars die GPT-3 testen, hebben tal van intrigerende use-cases gedeeld. Voorbeelden van automatische codegeneratie op basis van een Engelstalige prompt, het beantwoorden van medische vragen en het vertalen van juridische taal hebben de verbeelding aangewakkerd van veel datawetenschappers die nadenken over de volgende generatie AI-aangedreven software.
Hoewel veel van de waarde van machine learning op organisatieniveau in laaghangend fruit zit, zoals het voorspellen van churn, eenvoudige verkoopprognoses en klantsegmentatie—is het nuttig om te bekijken wat de commercialisering van GPT-3 betekent voor de toekomst. Het heeft de potentie om te veranderen hoe we over kunstmatige intelligentie denken en die in de praktijk brengen.
Kunstmatige intelligentie, machine learning en deep learning definiëren
De zakenwereld en media wemelen van de modewoorden als kunstmatige intelligentie (AI), machine learning (ML) en deep learning (DL). Laten we deze termen kort definiëren voordat we ingaan op hoe GPT-3 werkt.
Andrew Ng, medeoprichter van Google Brain en voormalig Chief Scientist bij Baidu, omschrijft kunstmatige intelligentie als een “enorme set tools om computers zich intelligent te laten gedragen.” Dit omvat expliciet geprogrammeerde software zoals rekenmachines, maar ook ML-toepassingen zoals aanbevelingssystemen en zelfrijdende auto’s.
Machine learning is volgens Arthur Samuel, pionier in kunstmatige intelligentie en computergames, het “vakgebied dat computers het vermogen geeft te leren zonder expliciet geprogrammeerd te worden.” Er zijn grofweg twee typen machinelearning-algoritmen. De eerste is supervised learning, waarbij algoritmen de patronen leren tussen bestaande data (inputs) en labels (outputs) en de output voorspellen op onzichtbare data, zoals of een nieuwe klant zal weglopen op basis van historische churn-data. De tweede is unsupervised learning, waarbij algoritmen algemene patronen in de data ontdekken en verschillende datapunten clusteren die op elkaar lijken, zoals bij het segmenteren van klanten op basis van gemeenschappelijke gedragspatronen.
Deep learning is een vorm van machine learning gebaseerd op meerlagige kunstmatige neurale netwerken, grofweg geïnspireerd op biologische neurale netwerken in de hersenen. Ze kunnen zowel supervised als unsupervised zijn en zijn in grote mate verantwoordelijk voor de spraakmakende ML-use-cases van het afgelopen decennium, zoals beeldherkenning en sentimentanalyse. Deep learning-modellen verschillen qua architectuur, van eenvoudig tot complex, afhankelijk van het aantal lagen en knooppunten in de neurale netwerkarchitectuur. Hoe complexer een model, hoe meer parameters het heeft. Wil je meer leren over hoe deep learning-modellen worden gebouwd, bekijk dan DataCamp’s deep learning skill track.
Voor een diepgaandere verkenning van deze onderwerpen, lees onze e-book, The Definitive Guide to Machine Learning for Business Leaders.
Hoe GPT-3 werkt
Waar kruist GPT-3 kunstmatige intelligentie, machine learning en deep learning? Het acroniem GPT staat voor “generative pre-trained transformer”—een unsupervised deep learning-algoritme dat doorgaans vooraf getraind is op een grote hoeveelheid ongetagde tekst. Het wordt verfijnd en getraind op een grote, taakspecifieke, gelabelde dataset (bijv. vertaling van Engels naar Frans) en krijgt vervolgens de taak om de meest waarschijnlijke set outputs (Franse vertaling) af te leiden op basis van een specifieke set inputs (Engelse woorden). Je kunt dit zien als een zeer geavanceerde vorm van automatisch aanvullen voor uiteenlopende taaltaken.
GPT-3 is de derde iteratie van dit model en hoewel het niet innoveert op de architectuur van zijn voorgangers, is het vooraf getraind op extreem grote datasets die een groot deel van het internet omvatten, waaronder de Common Crawl-dataset, en bevat het veel meer lagen in de netwerkarchitectuur. Dit maakt GPT-3 tot het meest complexe taalmodel ooit bedacht, met 175 miljard parameters in zijn netwerkarchitectuur. Dat is tien keer meer parameters dan het meest complexe model vóór de release van GPT-3, Turing-NLG van Microsoft, en 117 keer complexer dan GPT-2.
Het belangrijkste is dat GPT-3 profiteert van few-shot learning, waarbij het vooraf getrainde model niet hoeft te worden verfijnd met grote gelabelde trainingsdata voor een specifieke taaltaak. Het krijgt in plaats daarvan alleen een taakbeschrijving—vertaal Engelse woorden naar Frans—en een paar voorbeelden van inputs die aan outputs zijn gekoppeld. In combinatie met een gebruiksvriendelijke plug-and-play-interface haalt GPT-3 drempels grotendeels weg en stelt het niet-experts in staat om betekenisvolle resultaten te behalen op verschillende taaltaken.
Waarom GPT-3 belangrijk is
Met slechts een paar voorbeelden en taakbeschrijvingen evenaart GPT-3 fijngeslepen taalmodellen die zijn getraind op taakspecifieke trainingsdata voor uiteenlopende taaltaken. GPT-3 vertoont ook enig succes op taken die redeneren vereisen, zoals rekenkunde, die niet per se taaltaken zijn. Zo haalde GPT-3 100% nauwkeurigheid op optellen en aftrekken met twee cijfers nadat het een paar voorbeelden van optellen en aftrekken kreeg. Minder complexe modellen met minder parameters zijn er niet in geslaagd de grens van 60% nauwkeurigheid op deze taken te doorbreken. Hoewel GPT-3 hapert bij complexere vormen van rekenkunde, suggereert dit dat complexere modellen het vermogen kunnen hebben om te generaliseren buiten het domein waarop ze zijn getraind.
Interessant is dat dit suggereert dat verdere winst kan worden behaald door puur de dataset- en modelgroottes te vergroten. Op dit moment lijkt de totale prestatie van het model over verschillende taken niet te stagneren bij 175B parameters. Uitgaande van dezelfde toename in parameterschaling van GPT-2 naar GPT-3, kun je je alleen maar afvragen hoe de modelprestatie zou schalen als GPT-4 117 keer meer parameters had dan GPT-3.
Hoewel het momenteel wordt gekalibreerd in een private beta-release, betekent het verpakken van GPT-3 in een plug-and-play-API dat het op schaal kan worden ingezet zodra het uit private beta komt. Zoals AI-onderzoeker Shreya Shankar opmerkte, zal een belangrijke uitdaging zijn om deze API efficiënt en gemakkelijk beschikbaar te maken voor organisaties.
Wat dit betekent voor de toekomst
Nieuwe technologieën volgen vaak de hypecyclus van Gartner—sterker nog, OpenAI-CEO Sam Altman heeft al aan de bel getrokken over de hype rond GPT-3.
De use-cases die GPT-3-ontwikkelaars delen, werpen echter licht op het type AI-aangedreven toepassingen dat we op middellange tot lange termijn kunnen verwachten. Mogelijke toepassingen zijn tools die ontwerpers helpen om eenvoudig te prototypen, data-analyse stroomlijnen, robuuster onderzoek mogelijk maken, contentcreatie voor contentmarketeers automatiseren, en meer.
Daarnaast kan het verpakken van het model in een eenvoudige plug-and-play-interface de dynamiek veranderen van hoe AI binnen de organisatie wordt ingezet. Dit zou organisaties er bijvoorbeeld van kunnen weerhouden om eigen in-house modellen te ontwikkelen en minder technische experts in staat stellen oplossingen te bouwen met GPT-3.
Tot slot moet je, wanneer je nadenkt over het grootschalig uitrollen van AI-systemen, je bewust zijn van de mogelijkheid om schade te veroorzaken via bias. Zoals veel onderzoekers opmerkten tijdens het testen van GPT-3, is het relatief eenvoudig om schadelijke outputs te genereren die stereotypes en vooroordelen versterken op basis van neutrale input.
Zoals elk machinelearning-algoritme dat op schaal wordt ingezet, vereist GPT-3 serieuze controle en monitoring op potentiële schade.
