Small Language Models: een gids met voorbeelden

Wat zijn small language models?

Small language models zijn compacte, zeer efficiënte versies van de enorme large language models waar we zoveel over horen. LLM’s zoals GPT-4o hebben honderden miljarden parameters, maar SLM’s gebruiken er veel minder—meestal van miljoenen tot enkele miljarden.

De belangrijkste eigenschappen van SLM’s zijn:

1. Efficiëntie: SLM’s hebben niet de enorme rekenkracht nodig die LLM’s vragen. Daardoor zijn ze ideaal voor apparaten met beperkte resources, zoals smartphones, tablets of IoT-apparaten—lees hier meer over in deze blog over edge AI.
2. Toegankelijkheid: Mensen met een beperkt budget kunnen SLM’s implementeren zonder high-end infrastructuur. Ze zijn ook geschikt voor on-premise implementaties waar privacy en gegevensbeveiliging heel belangrijk zijn, omdat ze niet altijd afhankelijk zijn van cloudinfrastructuur.
3. Personalisatie: SLM’s zijn gemakkelijk te fine-tunen. Door hun kleinere omvang kunnen ze zich snel aanpassen aan niche-taken en gespecialiseerde domeinen. Daardoor zijn ze goed inzetbaar voor specifieke toepassingen zoals klantenservice, gezondheidszorg of onderwijs (daar komen we later uitgebreider op terug!). 
4. Snellere inferentie: SLM’s reageren sneller omdat ze minder parameters hoeven te verwerken. Daardoor zijn ze perfect voor realtime toepassingen zoals chatbots, virtuele assistenten of elk systeem waarin snelle beslissingen cruciaal zijn. Je hoeft niet te wachten op reacties, wat ideaal is in omgevingen waar lage latentie een must is.

Voorbeelden van small language models

De ontwikkeling van SLM’s van 2019 tot 2024 ging snel, met veel nieuwe modellen om te voldoen aan de behoefte aan efficiëntere AI. Het begon met GPT-2 in 2019 en door de jaren heen werden modellen gerichter en sneller. In 2022 konden modellen zoals Bloom en Galactica meerdere talen en wetenschappelijke data aan, en in 2023 werden modellen zoals Pythia en Cerebras-GPT ontworpen voor taken als coderen en logisch redeneren.

In 2024 verschenen nog meer SLM’s, zoals LaMini-GPT, MobileLLaMA en TinyLlama, die zijn gemaakt om goed te werken op mobiele apparaten en andere systemen met weinig stroomverbruik. Bedrijven zoals Meta, Google en Microsoft leiden de ontwikkeling van deze modellen, waarvan sommige openbaar zijn en andere privé blijven.

Bron: Lu et al., 2024

Praktijkmensen gebruiken SLM’s in veel sectoren omdat ze licht, snel en zuinig in gebruik zijn. Hier zijn enkele van deze modellen met hun parameters en kernfeatures:

*Met gebruiksbeperkingen

**Alleen voor onderzoeksdoeleinden

Lees meer over deze modellen in dit aparte artikel dat ik schreef over top small language models.

Hoe SLM’s werken

Laten we ingaan op hoe small language models werken.

Volgend woord voorspellen

Net als LLM’s werken SLM’s door het volgende woord te voorspellen in een tekstreeks. SLM’s gebruiken patronen uit de tekst waarop ze zijn getraind om te raden wat erop volgt. Het is een eenvoudig maar krachtig concept dat aan de basis ligt van alle taalmodellen.

Bijvoorbeeld, gegeven de input: "In de Harry Potter-serie heet de beste vriend van het hoofdpersonage Ron..." Een SLM zou deze context analyseren en het meest waarschijnlijke volgende woord voorspellen—in dit geval "Weasley".

Transformer-architectuur

De transformer-architectuur is cruciaal voor hoe LLM’s en SLM’s taal begrijpen en genereren. Transformers kun je zien als het brein achter taalmodellen. Ze gebruiken self-attention om te bepalen welke woorden in een zin het meest relevant voor elkaar zijn. Dit helpt het model de context te begrijpen—bijvoorbeeld herkennen dat "Paris" verwijst naar de stad of naar die collega die je van het werk kent.

Balans tussen omvang en prestaties

De kracht van SLM’s zit in hun vermogen om omvang en prestaties in balans te houden. Ze gebruiken aanzienlijk minder parameters dan LLM’s, meestal van miljoenen tot enkele miljarden, vergeleken met honderden miljarden in LLM’s.

Met minder parameters hebben SLM’s minder rekenkracht en data nodig om te trainen, waardoor ze toegankelijker zijn als je beperkte middelen hebt. De compacte omvang zorgt ervoor dat SLM’s input sneller verwerken en output genereren, wat superbelangrijk is voor realtime toepassingen zoals mobiele toetsenborden of spraakassistenten.

SLM’s zijn misschien niet zo veelzijdig of diepgaand begrijpend als grote modellen, maar ze kunnen specifieke taken uitstekend aan. Een SLM die bijvoorbeeld is getraind om juridische teksten te analyseren, kan het in dat domein beter doen dan een algemeen LLM.

Hoe SLM’s worden gemaakt: technieken en aanpakken

SLM’s gebruiken technieken zoals distillatie, pruning en kwantisatie om kleiner, sneller en efficiënter te worden.

Distillatie

Dit is een techniek om SLM’s te creëren door kennis over te dragen van een grotere "teacher"-model naar een kleiner "student"-model. Het doel is om wat het teachermodel heeft geleerd te comprimeren in het studentmodel zonder al te veel prestatieverlies.

Hierdoor behouden SLM’s veel van de nauwkeurigheid van grotere modellen, terwijl ze veel beter hanteerbaar zijn qua omvang en rekenbehoefte. Met deze techniek leert het kleinere model niet alleen de uiteindelijke voorspellingen van de teacher, maar ook de onderliggende patronen en nuances.

Er zijn verschillende methoden van knowledge distillation:

• Response-based: het studentmodel leert de uiteindelijke outputlaag van het teachermodel te reproduceren, vaak met "soft targets" voor meer nuance.
• Feature-based: richt zich op het reproduceren van tussenlagen van het teachermodel, waardoor de student vergelijkbare patronen uit data leert halen.
• Relation-based: traint de student om relaties tussen verschillende onderdelen van het teachermodel te begrijpen en zo complex redeneren te imiteren.

Pruning

Pruning is een beetje als het wegsnoeien van wat niet nodig is. Tijdens pruning worden onderdelen van het model die minder belangrijk zijn—zoals neuronen of parameters die weinig bijdragen aan de algehele prestatie—verwijderd. Deze techniek helpt het model te verkleinen zonder de nauwkeurigheid noemenswaardig te beïnvloeden. Pruning kan echter lastig zijn: als je te agressief snoeit, loop je het risico te veel weg te halen en de prestaties te schaden.

Pruning kan de modelgrootte aanzienlijk verminderen terwijl veel van de oorspronkelijke prestaties behouden blijven, wat het een effectieve techniek maakt voor het creëren van SLM’s.

Kwantisatie

Kwantisatie houdt in dat je minder bits gebruikt om de getallen van het model op te slaan. Normaal gebruikt een model 32-bit getallen, maar met deze methode worden die teruggebracht naar 8-bit waarden, die veel kleiner zijn. Zo neemt het model minder ruimte in en kan het sneller draaien. Het mooiste is dat, hoewel de getallen minder precies zijn, het model nog steeds goed werkt met slechts een kleine impact op de nauwkeurigheid.

Stel dat je temperatuurwaarden opslaat in een weerapp. Je zou ze met hoge precisie opslaan (zoals 32-bit getallen), wat meer is dan nodig. Door de precisie terug te brengen naar 8-bit verlies je misschien details, maar de app blijft nuttig terwijl hij sneller draait en minder geheugen gebruikt.

Dit is vooral nuttig om AI te draaien op apparaten met beperkte geheugen- en rekenkracht, zoals smartphones of edge-apparaten.

Kwantisatie is bijzonder effectief voor het inzetten van modellen op apparaten met beperkte resources, omdat het het geheugenverbruik verlaagt en de inferentiesnelheid verbetert.

Toepassingen van small language models

Het mooie van SLM’s is dat ze krachtige AI leveren zonder enorme infrastructuur of constante internetverbinding, waardoor heel veel toepassingen mogelijk worden.

On-device AI

Denk aan mobiele assistenten—die spraakassistenten op je telefoon die je door je dag helpen. SLM’s maken dit mogelijk. Ze zorgen voor realtime tekstvoorspelling, spraakopdrachten en zelfs vertaling zonder data naar de cloud te sturen. Alles gebeurt lokaal, wat snellere reacties en meer privacyvriendelijke interacties betekent.

Zo gebruiken SwiftKey en Gboard SLM’s om contextueel nauwkeurige tekstsuggesties te geven, wat de typesnelheid en -nauwkeurigheid verbetert.

Dit strekt zich ook uit tot offline toepassingen waarbij AI blijft functioneren zonder internetverbinding, wat handig is in gebieden met beperkte connectiviteit. 

Google Translate biedt bijvoorbeeld offline vertaalmogelijkheden, aangedreven door SLM’s, wat communicatie in gebieden met beperkte internettoegang vergemakkelijkt.

Gepersonaliseerde AI

Een van de mooie dingen aan SLM’s is dat ze aangepast kunnen worden aan specifieke taken of gebruikersvoorkeuren. Stel je een chatbot voor die specifiek is gefine-tuned voor klantenservice binnen jouw bedrijf, of een AI die precies weet hoe je te helpen op basis van eerdere interacties. Omdat deze modellen kleiner zijn, zijn ze veel makkelijker te fine-tunen en uit te rollen in verschillende sectoren.

Een paar voorbeelden:

• Zorg: SLM’s kunnen worden aangepast voor medische tekstanalyse om realtime gezondheidsmonitoring en advies te bieden op slimme wearables. Ze werken onafhankelijk van continue cloudverbinding.
• Slimme huisapparaten: SLM’s die in slimme huissystemen zijn ingebed, kunnen individuele voorkeuren voor temperatuur en verlichting leren en instellingen automatisch aanpassen voor verschillende tijden of gelegenheden.
• Onderwijs: Onderwijsapps die SLM’s gebruiken kunnen zich aanpassen aan individuele leerstijlen en -tempo’s, en zo gepersonaliseerde begeleiding en ondersteuning bieden aan studenten.

Internet of Things

SLM’s draaien geruisloos op de achtergrond op alledaagse apparaten zoals je slimme huissysteem of andere gadgets. Ze helpen deze apparaten je direct te begrijpen en te reageren zonder internetverbinding, waardoor ze sneller en slimmer worden.

Andere toepassingen

SLM’s vinden toepassingen in tal van andere domeinen:

• Realtime taalvertaling: SLM’s maken directe vertaling mogelijk, wat belangrijk is voor wereldwijde communicatie. Sommige reisapps gebruiken SLM’s om borden, menu’s of gesproken aanwijzingen in realtime te vertalen. Dit helpt gebruikers zich door vreemde talen te navigeren.
• Automotivesystemen: In auto’s verzorgen SLM’s slimme navigatie, met realtime verkeersupdates en de beste routevoorstellen. Ze verbeteren ook spraakbesturing, zodat bestuurders muziek kunnen bedienen, bellen of berichten sturen zonder handen te gebruiken.
• Entertainment systemen: Smart-tv’s en gameconsoles gebruiken SLM’s voor spraakbediening en om shows of games aan te bevelen op basis van wat je eerder hebt gekeken of gespeeld.
• Klantenservice: SLM’s helpen bedrijven klantvragen efficiënter af te handelen. Winkels gebruiken SLM om vragen te beantwoorden over producten, bestelstatus of retourbeleid. Dit vermindert de noodzaak van menselijke support.

LLM’s vs. SLM’s

Laten we nu kijken wanneer je groot inzet met LLM’s en wanneer SLM’s de betere keuze zijn.

Taakcomplexiteit

Voor zeer complexe taken zoals diep begrip, lange contentcreatie of het oplossen van lastige problemen presteren grote modellen zoals GPT-4o meestal beter dan SLM’s. Ze kunnen dit aan doordat ze putten uit enorme hoeveelheden data om meer gedetailleerde antwoorden te geven. Keerzijde is dat dit veel rekenkracht en tijd kost.

Als je bijvoorbeeld een algemene chatbot ontwikkelt die verschillende onderwerpen en complexe vragen moet aankunnen, is een LLM geschikter. Voor een gespecialiseerde klantenservicebot voor één productlijn kan een SLM echter ruimschoots voldoende zijn en zelfs beter presteren dan een LLM dankzij de gerichte training.

Beperkingen in resources

Wanneer je resources beperkt zijn, scoren SLM’s. Ze hebben veel minder rekenkracht nodig om te trainen en te deployen. Ze zijn een prima optie als je in een omgeving met beperkte middelen werkt. 

In situaties met beperkte rekenkracht, zoals op mobiele apparaten of bij edge computing, zijn SLM’s vaak de betere keuze doordat ze prestaties en efficiëntie goed combineren.

Implementatieomgeving

Als je AI inzet op een cloudserver waar resources geen probleem zijn, kan een LLM de juiste keuze zijn, zeker als je hoge nauwkeurigheid en vloeiende antwoorden nodig hebt. Werk je echter op apparaten met beperkte CPU- of GPU-kracht, zoals IoT-apparaten of mobiele apps, dan zijn SLM’s een perfecte match.

Bij het kiezen van de implementatieomgeving is het belangrijk om factoren als internetconnectiviteit, latentie-eisen en privacy mee te nemen. Voor toepassingen die offline moeten werken of minimale latentie vereisen, zijn SLM’s on-device of aan de edge vaak de betere keuze.

De keuze tussen LLM’s en SLM’s hangt af van de complexiteit van de taak, de beschikbare resources en de beoogde inzetplek. LLM’s zijn geweldig voor complexe taken die hoge nauwkeurigheid vragen, terwijl SLM’s efficiënt zijn en op meer plekken kunnen draaien.

Conclusie

SLM’s maken AI een stuk toegankelijker. In tegenstelling tot large language models die enorme rekenkracht nodig hebben, draaien SLM’s op minder resources. Dat betekent dat kleinere bedrijven, individuele ontwikkelaars en zelfs startups ze kunnen gebruiken zonder gigantische servers of enorme budgetten.

Wil je meer leren over small language models, dan raad ik deze twee bronnen aan:

• Top Small Language Models
• How to Run Llama 3.2 1B on an Android Phone With Torchchat