Wat zijn foundation models?

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM; dit zijn enkele sterren van de AI-revolutie die we meemaken sinds de release van ChatGPT. Wat hebben deze modellen gemeen? Precies: het zijn allemaal foundation models.

Foundation models zijn een recente ontwikkeling in AI. Deze modellen zijn ontwikkeld met algoritmen die geoptimaliseerd zijn voor de algemene toepasbaarheid en veelzijdigheid van de output. Ze zijn gebaseerd op grootschalige neurale netwerken die vaak zijn getraind op een brede reeks databronnen en enorme hoeveelheden data, zodat ze een breed scala aan downstream-taken kunnen uitvoeren, inclusief taken waarvoor ze niet specifiek zijn ontwikkeld en getraind.

De populariteit van foundation models wakkert het klassieke debat aan tussen smalle AI (Narrow AI) en Artificial General Intelligence (AGI), ook wel Strong AI genoemd. Narrow AI verwijst naar AI-systemen die ontworpen zijn voor specifieke taken, maar niet in staat zijn taken buiten hun geplande scope uit te voeren. AGI daarentegen is een hypothetisch AI-systeem dat, net als een mens, kan begrijpen, leren en kennis toepassen over een breed scala aan taken.

Hoewel foundation models nog niet in staat zijn om als een mens te denken, leveren ze baanbrekende resultaten die ons dichter bij de drempel van AGI brengen. Daarom is het belangrijk dat zowel data-professionals als niet-experts deze modellen kennen.

Voor wie nieuw is met dit onderwerp biedt onze AI Essentials Skill Track een diepgaand overzicht van next-gen AI-modellen. Voor wie al ervaring heeft, geeft ons artikel over projecten met generatieve AI je de kans om je kennis in de praktijk te brengen.

Laten we foundation models van dichterbij bekijken!

Wat zijn foundation models? Inzicht in kernbegrippen

Foundation model is een relatief nieuwe term die overlapt met andere populaire concepten, zoals generative AI, transformer en large language models (LLM’s).

De terminologie in AI is echter nog onderwerp van discussie. Hieronder vind je een lijst met definities die je helpen navigeren in het snel evoluerende AI-veld:

• Generatieve AI. Dit is een brede term voor AI-systemen waarvan de primaire functie het genereren van content is, in tegenstelling tot andere AI-systemen die zijn ontworpen voor taken zoals classificatie en voorspelling.
• Transformer. Transformers hebben het vakgebied van deep learning veranderd. Ze bieden een innovatieve architectuur om sequentiële data effectiever te verwerken. Transformers zijn bij uitstek geschikt voor het verwerken van tekst en zijn daarom een hoeksteen geworden in natural language processing (NLP) en natural language generation (NLG). Maar transformers worden ook toegepast op andere datatypes, zoals afbeeldingen, met even succesvolle resultaten.
• Large Language Model. LLM’s zijn AI-systemen die menselijke taal modelleren en verwerken. Transformers vormen de onderliggende technologie achter LLM’s. Ze heten “large” omdat ze honderden miljoenen of zelfs miljarden parameters hebben, die worden voorgetraind op een enorme corpus aan tekstdata.
• Foundation model. Dit is een overkoepelende term voor AI-modellen die zijn ontworpen om een brede, algemene variëteit aan outputs te produceren. Ze kunnen uiteenlopende taken en toepassingen aan, zoals het genereren van tekst, video, afbeeldingen of audio. Een bijzonder kenmerk is dat ze als losstaand systeem kunnen werken of als ‘fundament’ voor andere toepassingen. Zo fungeert het LLM GPT als het foundation model van ChatGPT.

Hoe werken foundation models?

De onderliggende technologie van foundation models – ongeacht de taak waarvoor ze zijn ontworpen en het type data waarop ze zijn getraind – is de transformer.

Ontwikkeld door onderzoekers van Google in 2017, bieden transformers een alternatief voor traditionele recurrente neurale netwerken (RNN’s) en convolutionele neurale netwerken (CNN’s) om sequentiële data te verwerken, met name tekst.

Transformers werken door het volgende woord in een reeks te voorspellen om zo een samenhangend antwoord te vormen. Dit gebeurt met een mechanisme dat attention heet, waarmee de invloed van verschillende woorden wordt gewogen bij het genereren van een antwoord.

Het trainen van transformers bestaat uit twee stappen: pretraining en fine-tuning.

Pre-training

In deze fase worden transformers getraind op grote hoeveelheden ruwe (tekst)data, waarbij het internet de primaire databron is.

De training gebeurt via self-supervised learning, een innovatieve trainingsmethode waarbij geen menselijke actie nodig is om data te labelen.

Het doel van pre-training is het leren van de statistische patronen van de taal. Omdat de gangbare strategie om betere prestaties uit transformers te halen is om de modelgrootte (dus het aantal parameters) en de hoeveelheid data tijdens pre-training te vergroten, is deze fase doorgaans tijdrovend en kostbaar.

Fine-tuning

Pre-training geeft een transformer een basisbegrip van taal, maar dat is niet genoeg om specifieke, praktische taken uit te voeren. Daarom ondergaat het model een fine-tuningfase, waarin het wordt getraind op een smaller, domeinspecifiek dataset dat is samengesteld met hulp van menselijke reviewers volgens bepaalde richtlijnen.

Modaliteit

Een andere belangrijke eigenschap van foundation models is modaliteit. Afhankelijk van het type data dat foundation models als input kunnen verwerken, zijn ze unimodaal of multimodaal. De eerste kunnen maar één datatype verwerken en genereren hetzelfde type output, terwijl de laatste meerdere inputmodaliteiten kunnen ontvangen en meerdere typen outputs kunnen genereren (bijvoorbeeld: GPT-4 kan zowel beeld- als tekstinputs accepteren en tekstoutputs genereren).

Begrijpen hoe transformers werken kan lastig zijn en valt buiten de scope van dit artikel. Voor een meer gedetailleerde uitleg, bekijk ons artikel Wat is ChatGPT, waarin we de vraag rechtstreeks aan ChatGPT stelden, en lees meer over Transformers en Hugging Face voor een technischer perspectief.

Wil je meer details over hoe LLM’s werken? Onze Large Language Models (LLM’s) Concepts-cursus is een uitstekend startpunt.

Toepassingen van foundation models

Foundation models kunnen worden gebruikt als losstaand systeem of als basis voor talloze downstream-AI-systemen en -toepassingen. Hoewel de meeste moderne foundation-systemen zijn ontworpen om tekst of code te genereren en NLP-taken uit te voeren, groeit het aantal systemen dat andere soorten output kan genereren, zoals beelden of muziek.

Hieronder vind je een tabel met enkele van de populairste foundation models.