Ik moet schaduwen op mijn pad hebben
Als ik wil lopen moet ik
Elke stap langzaam en alleen zetten
Om het kant-en-klaar te hebben
En ik moet in grijstinten denken
Om vage gedachten als gids te hebben
Moet naar blauw en groen kijken
En mijn oog nooit laten vergeten
Dat kleur mijn vriend is
En paars moet me ook omringen
Het geel van de zon is niet meer
Opdringerig dan de blauwige sneeuw
Die op ons allen valt. Ik moet
Grijze gedachten en blauw met me mee laten gaan
Als ik al ergens heen wil gaan.
A poem generated by GPT-3, OpenAI's latest language model
Large language models verbluften de wereld met hun taalkundige kunde. Zonder expliciete training konden ze een groot scala aan taken uitvoeren met state-of-the-art prestaties.
Gelukkig zijn deze large language models niet uitsluitend voor Big Tech. De toegang ertoe wordt breder dankzij de inspanningen van een snelgroeiende open-source NLP-community en de toenemende beschikbaarheid van model-API’s. Het is makkelijker dan ooit om de kracht van een large language model te benutten.
De groei van NLP heeft de interesse gewekt van zowel bedrijven als investeerders. 60% van de techleiders gaf aan dat hun NLP-budgetten met minstens 10% zijn gegroeid ten opzichte van 2020, volgens een onderzoek van John Snow Labs en Gradient Flow. We zien ook een ongelooflijke groei van NLP-start-ups die strijden om marktaandeel. Terwijl NLP in sneltreinvaart groeit, heeft de AI-community terecht zorgen geuit over de gevaren van large language models. Voordat deze modellen breed worden ingezet, moeten we ervoor zorgen dat ze onpartijdig en veilig zijn.
In deze blogpost verkennen we verschillende aspecten van NLP en large language models—wat ze zijn, hoe ze worden gebruikt en hoe we ze veilig kunnen inzetten.
De vooruitgang van NLP—van Word2Vec tot Transformer
Een van de eerste doorbraken in NLP in het afgelopen decennium is Word2Vec. De auteurs Mikolov et al. ontdekten dat wanneer een model woordassociaties leert, het niet alleen aanzienlijk beter presteert dan de destijds populaire N-grammodellen, maar ook efficiënter en sneller is.
Toch slaagt het Word2Vec-model er niet in om de volgorde van woorden als nuttige informatie te gebruiken. De komst van het Recurrent Neural Network (RNN) pakte dat probleem aan. In tegenstelling tot Word2Vec gebruikt RNN informatie uit eerdere inputs om de huidige input en output te beïnvloeden. Dit geeft RNN “geheugen”, waardoor het ideaal is om relaties tussen teksten te leren.
Het geheugen van RNN is echter tamelijk kort door het probleem van de verdwijnende gradiënt. Terwijl RNN’s relatief goed presteren op korte zinnen, falen ze op lange alinea’s. De introductie van Long Short Term Memory (LSTM), een speciaal type RNN, heeft “poorten” die LSTM in staat stellen informatie veel langer te onthouden.
LSTM’s golden als het de facto NLP-model totdat het artikel “Attention is All You Need” de show stal. Het in het artikel geïntroduceerde aandachtmechanisme geeft RNN’s de mogelijkheid zich op een subset van informatie te concentreren bij het produceren van een output. Een speciaal type aandachtgebaseerd netwerk, het Transformer-netwerk, blijkt extreem eenvoudig, efficiënt en krachtig.
Specifiek werd het BERT (Bidirectional Encoder Representations from Transformer)-model gezien als een baanbrekende prestatie op het gebied van NLP (zie deze NLP-tutorial voor een overzicht van BERT voor NLP). In tegenstelling tot directionele modellen die teksten sequentieel lezen, leest BERT de hele woordreeks in één keer. Het meest indrukwekkend is dat een voorgetraind BERT-model met slechts één extra outputlaag fijn-afgestemd kon worden om state-of-the-art prestaties te leveren voor diverse taken. Sindsdien hebben meerdere aandachtgebaseerde architecturen BERT overtroffen. Daaronder XLNet, Baidu’s ERNIE en RoBERTa. Deze modellen worden vandaag de dag nog steeds veel gebruikt voor tal van NLP-taken.
De opkomst van large language models
Techliefhebbers kennen large language models als Megatron-LM, GPT-3 en T5 maar al te goed. Bekend om hun enorme aantal parameters, domineren deze modellen de headlines met hun opmerkelijke vermogen in taaltaken.
Het bekendste voorbeeld is wellicht OpenAI’s Generative Pre-trained Transformer 3 (GPT-3). GPT-3 heeft meer dan 175 miljard parameters en is getraind op 570 gigabyte aan tekst, waarmee het 100 keer groter is dan voorganger GPT-2.
De toename in omvang gaf large language models een onverwacht cadeau—het uitvoeren van taken waarop ze niet expliciet zijn getraind. Zo kon GPT-3 zinnen van het Engels naar het Duits vertalen met weinig tot geen trainingsvoorbeelden. Het kon ook vragen beantwoorden, essays schrijven, lange teksten samenvatten en zelfs computercode genereren. Verrassend genoeg overtrof het ook enkele state-of-the-art modellen die expliciet waren getraind om die taken op te lossen.
Met andere woorden, large language models zijn “few-shot”-leerders. Deze modellen hoeven slechts op een kleine hoeveelheid domeinspecifieke trainingsdata te worden getraind om goed te presteren op een specifieke taak. Voor sommige taken kunnen large language models zelfs “zero-shot”-leerders zijn, waarbij ze een taak kunnen uitvoeren zonder demonstratie.
Demonstratie van few-shot-, one-shot- en zero-shot-leren (Bron)
Bedrijven racen nog steeds om steeds grotere language models te bouwen. In 2021 brachten Microsoft en Nvidia Megatron-Turing NLG 530B uit, met 530 miljard parameters. In mei 2022 deelde Meta zijn Open Pretrained Transformer (OPT-175B) met de AI-onderzoekscommunity. DeepMind kondigde ook aan dat het zijn taalmodel met 7 miljard parameters, de Retrieval Enhanced Transformer (RETRO), zal uitbrengen, waarvan wordt verwacht dat het presteert op hetzelfde niveau als neurale netwerken die 25 keer zo groot zijn.
Large language models worden elk jaar groter (Bron)
De democratisering van large language models
Niet zo lang geleden waren large language models het domein van kapitaalkrachtige Big Tech met krachtige interne supercomputers. Het aantal parameters is zo groot dat zelfs de grootste consumenten-GPU ze niet kan bevatten. En zelfs als die beperking wordt overwonnen, is de tijd om zo’n model te trainen onrealistisch zonder parallelisatie. Nvidia voorspelde bijvoorbeeld dat het 36 jaar zou duren om GPT-3 te trainen op acht V100-GPU’s. Lambda Labs schat de initiële kosten om GPT-3 te ontwikkelen op minimaal $11,5 miljoen tot $27,6 miljoen, en berekent de jaarlijkse terugkerende kosten in de cloud op minimaal $87.000.
Start-ups met krappe budgetten hebben daar zeker geen tijd of geld voor, maar dankzij API’s voor large language models kunnen ze de kracht van GPT-3 benutten zonder buitensporige rekencapaciteit aan te schaffen of te investeren in high-performance hardware. Oprichters kunnen bijvoorbeeld de kracht van modellen als GPT-3 integreren in hun bedrijf via API’s van OpenAI, Cohere en AI21.
Vanaf maart 2021 zei OpenAI dat meer dan 300 verschillende apps dagelijks 4,5 miljard woorden leveren via hun GPT-3 API. Dankzij de API is het ontwikkelen van krachtige NLP-toepassingen sneller en schaalbaarder dan ooit.
De toename van NLP-start-ups
Nu de toegang tot large language models toeneemt, is het geen verrassing dat start-ups met een waaier aan diensten de laatste jaren in rap tempo opduiken.
Praktijkmensen verbaasden zich over GPT-3’s vermogen om samenhangende longform-teksten te genereren, zoals de meeslepende ervaring van AI Dungeon, een tekstgebaseerd fantasy-avonturenspel dat GPT-3 gebruikt om content te genereren. Een andere start-up, Fable Studio, gebruikte GPT-3 om een nieuw genre interactieve verhalen te creëren die “Virtual Beings” tot leven brengen.
Een screenshot van AI Dungeon. Wat ga jij nu doen?
Sindsdien wordt GPT-3 niet alleen gebruikt om fictieve verhalen te genereren, maar ook marketingcontent voor bedrijven. Boeiende blogposts, socialmediacontent, advertentieteksten en e-mails kunnen worden gegenereerd met een korte prompt. Opvallende start-ups in deze ruimte zijn onder andere copy.ai (momenteel gewaardeerd op $13,9 miljoen), CopySmith (gewaardeerd op $10 miljoen) en Rtyr. Hoewel sommige critici neerbuigend doen over zulke start-ups en zeggen dat ze botgeschreven content er zo uitpikken, zouden ze hun standpunt kunnen herzien als ze het verhaal kenden van een door GPT-3 gegenereerde blogpost die de top van Hacker News bereikte.
NLP-start-ups slaan ook hun slag in de zoekmarkt. Een recente blogpost getiteld “Google Search is Dying” kaartte problemen aan met de huidige zoekmachines en ontketende een fel debat over hoe start-ups de markt kunnen opschudden. Zo haalde you.com, geleid door een voormalig chief scientist van Salesforce, zo’n $20 miljoen aan financiering op. Om Google frontaal uit te dagen, gebruikt het NLP om zoekopdrachten semantisch te begrijpen en resultaten van het web samen te vatten. Een andere start-up, Zir AI, opgericht door een voormalig Cloudera-CTO, levert ondernemingen interne zoekmachines die intentie en semantiek begrijpen.
De opkomst van HuggingFace🤗 als NLP-vermogenhuis
Een andere opvallende NLP-start-up is HuggingFace, dat tools biedt om state-of-the-art transformergebaseerde NLP-modellen eenvoudig te bouwen, trainen en uit te rollen. Met de slogan “AI community building the future” heeft HuggingFace een actieve open-source community die geavanceerde NLP-modellen en datasets deelt. De gebruiksvriendelijkheid versterkt zijn positie als voorloper onder NLP-tools.
De interface van HuggingFace
Sinds de start in 2016 heeft HuggingFace veel buzz gecreëerd en enorme populariteit verworven binnen de AI-community. Het is gebruikt door meer dan 5.000 organisaties, waaronder techgiganten als Google AI, Facebook AI, Microsoft en het Allen Institute for AI. De Github-repository heeft ook zo’n 60.000 sterren verzameld, waardoor het een van de populairste repositories is. Deze factoren dragen bij aan de indrukwekkende waardering van $61,3 miljoen in maart 2021. Nieuwe financiering zou de waardering volgens Business Insider in april 2022 verder kunnen opdrijven tot $2 miljard.
Volgens CTO Julien Chaumond zal de democratisering van AI een van de grootste maatschappelijke verwezenlijkingen zijn. Het is dan ook geen wonder dat HuggingFace zich inzet om de toegang tot NLP-toepassingen te vergroten. De Model-bibliotheek bevat zo’n 42.000 modellen uit verschillende libraries, waaronder PyTorch, TensorFlow en Keras. Het populairste model, de transformergebaseerde gpt2, is meer dan 100 miljoen keer gedownload.
Toepassingen mogelijk gemaakt door HuggingFace
Deze modellen vinden hun weg naar een duizelingwekkende reeks taken. Naast NLP-use-cases zoals vertaling, samenvatten en tekstgeneratie, bevat de repository ook modellen voor computervisie (beeldclassificatie, beeldsegmentatie) en audiobewerking (audioclassificatie, tekst-naar-spraak).
HuggingFace heeft onlangs zijn inspanningen opgevoerd om NLP te democratiseren voor doorgewinterde professionals, beginners en iedereen daartussenin. Studenten die nieuw zijn met NLP profiteren van de gratis HuggingFace NLP-cursus met praktische tutorials over het gebruik van transformergebaseerde modellen. Wie ML-projecten wil bouwen en uitrollen, kan profiteren van de gratis rekenresources op HuggingFace’s Spaces.
NLP-liefhebbers kunnen ook de enorme tekstcorpora verkennen met de Datasets-bibliotheek van HuggingFace. Data scientists en machine learning engineers zullen blij zijn te horen dat HuggingFace onlangs de open-source Optimum heeft uitgebracht voor het opschalen en optimaliseren van transformers.
De Datasets-bibliotheek van HuggingFace bevat meer dan 4.500 unieke datasets uit 467 talen en dialecten, die je met een paar regels code kunt downloaden.
Het aankomende BigScience Large Language Model is het summum van de democratiseringsinspanningen van het bedrijf. BigScience is een meertalig taalmodel met 176 miljard parameters, gezamenlijk gebouwd door meer dan 1.000 onderzoekers wereldwijd. De training van het model wordt medio 2022 voltooid. Tot die tijd kunnen we slechts in spanning afwachten welke technologie BigScience mogelijk zal maken. Je kunt de training van het BigScience Large Language Model volgen op Twitter.
Nu we de typen diensten van NLP-start-ups hebben behandeld, bekijken we hoe deze diensten kunnen worden toegepast op twee specifieke sectoren.
De toekomst van NLP in de gezondheidszorg
De gezondheidszorg is een industrie van $4 biljoen per jaar die één op de tien Amerikaanse werknemers in dienst heeft en goed is voor 25% van de Amerikaanse overheidsuitgaven. Ondanks het enorme belang wordt het Amerikaanse zorgsysteem geplaagd door inefficiënties. NLP kan de zorg ingrijpend veranderen.
Een manier is door de efficiëntie en nauwkeurigheid van zorgverleners te verbeteren. Artsen besteden bijna 6 uur per dag, gelijk aan 50% van hun werktijd, aan elektronische patiëntendossiers (EPD), volgens een studie uit 2019 van de American Medical Association. Afgezien van de tijdrovendheid leiden handmatige invoeren in EPD’s onvermijdelijk tot vermijdbare medische fouten.
NLP kan dat veranderen door het aanmaken en analyseren van EPD’s te automatiseren. Met spraak-naar-tekst-modellen kunnen gesprekken tussen arts en patiënt automatisch worden uitgetypt. Met tekstsamenvattingsmodellen kunnen samenvattingen van patiëntbezoeken snel worden gegenereerd. Met NLP-modellen die zijn getraind op grootschalige EPD’s kunnen medische diagnoses en behandelingen worden voorspeld.
NLP kan ook de medische ervaring van patiënten verbeteren. NLP-modellen kunnen worden gebruikt om chatbots te bouwen die relevante informatie over afspraken geven, patiënten herinneren en vragen van patiënten over hun gezondheid beantwoorden.
Voorbeeld van een patiëntvraag beantwoord door NLP (Bron)
In een onderzoek rapporteerden borstkankerpatiënten bijna 94% tevredenheid met een medische chatbot waarmee ze meer dan een jaar hadden gecommuniceerd. Het is dan ook geen verrassing dat bedrijven als Babylon Health en AdaHealth op deze kans inspeelden en chatbotdiensten zijn gaan aanbieden aan zorginstellingen over de hele wereld. De potentie van NLP om de zorg te veranderen, wordt goed samengevat door Neal Khosla, CEO van Curai, een MedTech-start-up: “AI en NLP bieden de mogelijkheid om hoogwaardige eerstelijnszorg op grote schaal beschikbaar te maken, toegankelijker voor meer mensen en tegen lagere kosten.”
De toekomst van NLP in het onderwijs
Een andere interessante toepassing van NLP is het onderwijs. Onderwijs van hoge kwaliteit op schaal leveren brengt aanzienlijke economische uitdagingen met zich mee. Daarom onderzoeken onderzoekers schaalbare computationele benaderingen die leraren helpen beter en efficiënter te onderwijzen. De krachtigste NLP-modellen van vandaag kunnen worden getraind tot vakspecialisten in specifieke domeinen. Zulke modellen kunnen docenten assisteren bij nakijken, feedback geven en zelfs het genereren van vragen.
Een concreet voorbeeld is ProtoTransformer, een model dat een open-eindetentamen Inleiding Informatica aan Stanford University heeft nagekeken. ProtoTransformer was even effectief als menselijke studentassistenten dankzij het vermogen om meerdere informatiemodaliteiten te verwerken, zoals de opdracht, een diagram bij een vraag en de beoordelingsrubriek.
NLP kan ook gepersonaliseerde feedback bieden, een taak die logistiek onhaalbaar is in grote klassen. Dat kan veranderen als NLP het proces van feedback geven automatiseert. Een voorbeeld is MathBERT, een BERT-model getraind op een grote wiskundige corpus, van kleuterklas tot en met postdoctoraal niveau.
NLP kan ook het proces van vraaggeneratie automatiseren. Onderzoekers van Stanford ontdekten met name dat moderne taalmodellen nieuwe reverse-translation-vragen kunnen genereren met een beoogde moeilijkheidsgraad.
Taalmodellen genereerden vertaalvragen van Engels naar Spaans met uiteenlopende moeilijkheidsgraden. Schuingedrukte vragen zijn nieuw en komen niet voor in de oorspronkelijke dataset.
Onderzoek van McKinsey suggereert dat 20 tot 40 procent van de huidige lerarenuren kan worden geautomatiseerd met bestaande technologie. Edtech-start-ups zoals Noodle Factory zijn een stap in die richting. Als leraren worden bevrijd van handmatige, repetitieve taken, kunnen ze meer tijd besteden aan coachen en begeleiden van studenten—taken die AI niet kan evenaren.
De risico’s van large language models
Tot nu toe zagen we hoe large language models NLP-mogelijkheden hebben ontgrendeld die voorheen onmogelijk waren. Toch waarschuwen critici en onderzoekers voor ongecontroleerd optimisme zonder oog voor de risico’s van AI. Large language models staan op het punt wetenschap, samenleving en AI te transformeren, stellen onderzoekers van Stanford. Of zulke transformaties positief of negatief uitpakken, hangt af van hoe we de risico’s beheersen.
Een van die risico’s is het bestaan van vooroordelen en schadelijke content. Taalmodellen worden vandaag getraind op ongecureerde datasets die van het web zijn geschraapt. Zulke informatie kan onjuist of schadelijk zijn. Dat betekent dat ze leren van taal—met alle gebreken van dien—en de biases van onze bestaande wereld versterken.
Een schoolvoorbeeld van een taalmodel dat schade toebrengt aan minderheidsgroepen is Microsofts chatbot Tay uit 2016, die racistische en seksueel getinte berichten tweette naar andere Twitter-gebruikers. Recente ontdekkingen van Wallace et al. toonden schokkend aan dat een enkele trigger, toegevoegd aan welke input dan ook, GPT-2 kan laten racistische outputs spuien, zelfs bij niet-raciale contexten. In hetzelfde experiment zorgde een andere trigger ervoor dat het SQuAD-model alle “waarom”-vragen beantwoordde met “to kill American people”.
In dezelfde lijn kan de data die gebruikt wordt om taalmodellen te trainen, vergiftigd zijn, waardoor downstream-toepassingen risico lopen door schadelijke modellen. Verontrustend genoeg toonden Schuster et al. aan dat een code-completion-NLP-systeem onveilige code kan leren produceren door slechts een paar kwaadaardige bestanden te injecteren. Het is voorstelbaar dat ook andere generatieve modellen schadelijke content kunnen leren produceren via kwaadaardige injecties.
Ook de aanbieders van taalmodellen kunnen falen. Momenteel vereist GPT-3 dat praktijkmensen de data die voor inferentie wordt gebruikt, uploaden naar OpenAI. Een lek van zulke mogelijk gevoelige data kan een privacyschending betekenen. Veel taalmodellen worden vandaag ook direct gehost op de infrastructuur van HuggingFace. Een aanval op die gedeelde infrastructuur kan tal van taalmodellen in productie verstoren.
Deze risico’s worden versterkt wanneer onderliggende voorgetrainde taalmodellen overweldigend populair zijn. Zodra een tegenstander een maas vindt in een populair model, kan die worden misbruikt in andere toepassingen die hetzelfde onderliggende model delen.
Het gebrek aan verklaarbaarheid
Verklaarbaarheid wordt gedefinieerd als de mate waarin een mens de oorzaak van een beslissing kan begrijpen. Helaas zijn veel NLP-modellen vandaag verre van ideaal op het gebied van verklaarbaarheid.
Large language models zijn black boxes die weinig tot geen inzicht geven in hoe ze een beslissing nemen. Het is wellicht onverstandig om beslissingen met hoge inzet te nemen zonder volledig begrip van het beslissingsproces. Zo moet een NLP-systeem dat bepaalt of een gevangene voorwaardelijk vrij komt zijn beslissingen kunnen uitleggen op basis van feiten. Zulke verklaringen bieden een concrete manier om de eerlijkheid en consistentie van beslissingen te toetsen.
Toegegeven, er zijn explainable-AI-methoden die uitleg geven over modelgedrag. Dit zijn aparte modellen die zijn ontworpen om een blackbox-model toe te lichten. Voorbeelden zijn Google’s Language Interpretability Tool (LIT) en LIME.
Een demo van Google’s LIT (Bron)
Toch kunnen de verklaringen van zulke modellen ontrouw zijn aan het daadwerkelijke redeneerproces en er niet in slagen dat accuraat te representeren. Bovendien kunnen ze onbetrouwbaar, misleidend en gevaarlijk zijn. Aannemelijke maar ontrouwe verklaringen kunnen praktijkmensen in slaap sussen en ze ertoe verleiden onjuiste modellen te vertrouwen, zoals uitgelegd in het baanbrekende artikel “Stop Explaining Black-Box Machine Learning Models for High Stake Decisions and Use Interpretable Models Instead”.
Large language models zullen de toekomst van AI transformeren
“Dit is pas het begin van een paradigmaverschuiving: large language models zijn nog maar net begonnen de manier waarop AI-systemen worden gebouwd en ingezet te transformeren,” concludeerde een groep befaamde AI-onderzoekers bij het bespreken van de kansen en risico’s van large language models.
De use-cases die mogelijk worden gemaakt door large language models zijn ronduit adembenemend. Maar niet alles wat glanst is goud. Als AI-praktijkmensen moeten we ons bewust zijn van de nadelen van large language models en ze verantwoordelijk en zorgvuldig gebruiken. Alleen dan kunnen we het volledige potentieel van deze modellen benutten.
Leer hier meer over natural language processing:
