Cursus
Werken met Llama 3
2 uur
15.7K
Wat is Llama 3.1 405B?
Llama 3.1 is een point-release van Llama 3 (aangekondigd in april 2024). Llama 3.1 405B is de vlaggenschipversie van het model, dat, zoals de naam al aangeeft, 405 miljard parameters heeft.
Bron: Meta AI
Llama3.1 405B op het LMSys Chatbot Arena Leaderboard
Met 405 miljard parameters dingt het mee naar een hoge positie op het LMSys Chatbot Arena Leaderboard, een maatstaf voor prestaties op basis van blinde gebruikersstemmen.
De afgelopen maanden wisselde de koppositie tussen versies van OpenAI GPT-4, Anthropic Claude 3 en Google Gemini. Momenteel voert GPT-4o de lijst aan, maar het kleinere Claude 3.5 Sonnet staat op twee, en het aanstaande Claude 3.5 Opus neemt waarschijnlijk de eerste plek over als het uitkomt voordat OpenAI GPT-4o bijwerkt.
De concurrentie aan de top is dus zwaar, en het wordt interessant om te zien hoe Llama 3.1 405B zich verhoudt tot deze rivalen. Terwijl we wachten tot Llama 3.1 405B op het leaderboard verschijnt, vind je later in het artikel enkele benchmarks.
Meertalige mogelijkheden
De belangrijkste update van Llama 3 naar Llama 3.1 is betere ondersteuning voor niet-Engels. De trainingsdata voor Llama 3 was 95% Engels, waardoor het slecht presteerde in andere talen. De 3.1-update biedt ondersteuning voor Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thais.
Langere context
Llama 3-modellen hadden een contextvenster—de hoeveelheid tekst waarover in één keer geredeneerd kan worden—van 8k tokens (ongeveer 6k woorden). Llama 3.1 brengt dit naar een modernere 128k, waardoor het kan concurreren met andere state-of-the-art LLM’s.
Dit herstelt een belangrijke zwakte van de Llama-familie. Voor enterprise-use-cases zoals het samenvatten van lange documenten, het genereren van code die context uit een grote codebase gebruikt, of uitgebreide gesprekken met supportchatbots, is een lang contextvenster dat honderden pagina’s tekst kan omvatten essentieel.
Open modellicentieovereenkomst
De Llama 3.1-modellen zijn beschikbaar onder Meta’s eigen Open Model License Agreement. Deze soepele licentie geeft onderzoekers, ontwikkelaars en bedrijven de vrijheid om het model te gebruiken voor zowel onderzoek als commerciële toepassingen.
In een belangrijke update heeft Meta de licentie ook uitgebreid, zodat ontwikkelaars de outputs van Llama-modellen, waaronder het 405B-model, mogen gebruiken om andere modellen te verbeteren.
Kortom, dit betekent dat iedereen de mogelijkheden van het model kan benutten om werk te versnellen, nieuwe toepassingen te bouwen en de mogelijkheden van AI te verkennen, zolang ze zich houden aan de voorwaarden in de overeenkomst.
Hoe werkt Llama 3.1 405B?
In dit onderdeel leggen we de technische details uit van hoe Llama 3.1 405B werkt, waaronder de architectuur, het trainingsproces, datapreparatie, rekeneisen en optimalisatietechnieken.
Transformer-architectuur met aanpassingen
Llama 3.1 405B is gebaseerd op een standaard decoder-only Transformer-architectuur, een ontwerp dat veel voorkomt bij succesvolle grote taalmodellen.
Hoewel de kernstructuur gelijk blijft, heeft Meta kleine aanpassingen doorgevoerd om de stabiliteit en prestaties tijdens training te verbeteren. Opvallend is dat de Mixture-of-Experts (MoE)-architectuur bewust is weggelaten, met prioriteit voor stabiliteit en schaalbaarheid in het trainingsproces.
Bron: Meta AI
Het diagram laat zien hoe Llama 3.1 405B taal verwerkt. Het begint met het opdelen van de invoertekst in kleinere eenheden, genaamd tokens, die vervolgens worden omgezet in numerieke representaties, token-embeddings genoemd.
Deze embeddings gaan vervolgens door meerdere lagen self-attention, waar het model de relaties tussen tokens analyseert om hun belang en context binnen de input te begrijpen.
De informatie uit de self-attention-lagen gaat daarna door een feedforward-netwerk, dat de informatie verder verwerkt en combineert om betekenis af te leiden. Dit proces van self-attention en feedforward wordt meerdere keren herhaald om het begrip van het model te verdiepen.
Tot slot gebruikt het model deze informatie om responsen token voor token te genereren, voortbouwend op eerdere outputs om een samenhangende en relevante tekst te creëren. Dit iteratieve proces, bekend als autoregressieve decodering, stelt het model in staat vloeiende en contextueel passende antwoorden te geven op de inputprompt.
Meerfasig trainingsproces
De ontwikkeling van Llama 3.1 405B omvatte een meerfasig trainingsproces. Aanvankelijk onderging het model pretraining op een enorme en diverse verzameling datasets met triljoenen tokens. Deze blootstelling aan enorme hoeveelheden tekst laat het model grammatica, feiten en redeneervermogen leren uit patronen en structuren die het tegenkomt.
Na de pretraining ondergaat het model iteratieve rondes van supervised fine-tuning (SFT) en direct preference optimization (DPO). Bij SFT wordt getraind op specifieke taken en datasets met menselijke feedback, die het model stuurt naar gewenste outputs.
DPO richt zich daarentegen op het verfijnen van de reacties van het model op basis van voorkeuren verzameld door menselijke beoordelaars. Dit iteratieve proces verbetert stap voor stap het vermogen van het model om instructies op te volgen, de kwaliteit van zijn antwoorden te verhogen en veiligheid te waarborgen.
Kwaliteit en kwantiteit van data
Meta zegt sterk te hebben ingezet op de kwaliteit en kwantiteit van de trainingsdata. Voor Llama 3.1 405B betekende dit een rigoureus datapreparatieproces, met uitgebreide filtering en opschoning om de algehele kwaliteit van de datasets te verhogen.
Interessant is dat het 405B-model zelf wordt gebruikt om synthetische data te genereren, die vervolgens wordt opgenomen in het trainingsproces om de mogelijkheden van het model verder te verfijnen.
Opschalen qua rekenkracht
Het trainen van een model zo groot en complex als Llama 3.1 405B vereist enorme rekenkracht. Ter illustratie: Meta gebruikte meer dan 16.000 van NVIDIA’s krachtigste GPU’s, de H100, om dit model efficiënt te trainen.
Ze hebben ook aanzienlijke verbeteringen aangebracht in hun volledige traininginfrastructuur om de enorme schaal van het project aan te kunnen, zodat het model effectief kon leren en verbeteren.
Kwantisatie voor inferentie
Om Llama 3.1 405B bruikbaarder te maken in praktische toepassingen, paste Meta een techniek toe die kwantisatie heet, waarbij de gewichten van het model worden omgezet van 16-bit precisie (BF16) naar 8-bit precisie (FP8). Dit is vergelijkbaar met overschakelen van een hoge resolutie afbeelding naar een iets lagere: de essentie blijft behouden terwijl de bestandsgrootte afneemt.
Net zo vereenvoudigt kwantisatie de interne berekeningen van het model, waardoor het veel sneller en efficiënter draait op een enkele server. Deze optimalisatie maakt het makkelijker en kostenefficiënter voor anderen om de mogelijkheden van het model te benutten.
Use-cases voor Llama 3.1 405B
Llama 3.1 405B biedt dankzij zijn open-source karakter en grote capaciteiten diverse potentiële toepassingen.
Synthetische datageneratie
Het vermogen van het model om tekst te genereren die sterk op natuurlijke taal lijkt, kan worden gebruikt om grote hoeveelheden synthetische data te maken.
Deze synthetische data is waardevol voor het trainen van andere taalmodellen, het verbeteren van data-augmentatietechnieken (bestaande data diverser maken) en het ontwikkelen van realistische simulaties voor uiteenlopende toepassingen.
Modeldistillatie
De kennis die in het 405B-model is vervat, kan worden overgedragen aan kleinere, efficiëntere modellen via een proces dat distillatie heet.
Zie modeldistillatie als een expert (het grote Llama 3.1 405B-model) die zijn kennis overdraagt aan een student (een kleiner AI-model). Zo kan het kleinere model leren en taken uitvoeren zonder dezelfde complexiteit of rekenkracht als het grote model nodig te hebben.
Daardoor wordt het mogelijk om geavanceerde AI-mogelijkheden te draaien op apparaten zoals smartphones of laptops, die minder krachtig zijn dan de servers waarop het oorspronkelijke model is getraind.
Een recent voorbeeld van modeldistillatie is OpenAI’s GPT-4o mini, een gedistilleerde versie van GPT-4o.
Onderzoek en experimentatie
Llama 3.1 405B is een waardevol onderzoeksinstrument waarmee wetenschappers en ontwikkelaars nieuwe grenzen in natural language processing en kunstmatige intelligentie kunnen verkennen.
Het open karakter stimuleert experimenteren en samenwerking, wat de ontdekkingssnelheid verhoogt.
Sectorspecifieke oplossingen
Door het model aan te passen aan data uit specifieke sectoren, zoals gezondheidszorg, financiën of onderwijs, kun je maatwerk-AI-oplossingen bouwen die inspelen op de unieke uitdagingen en eisen van die domeinen.
Veiligheidsfocus bij Llama 3.1 405B
Meta zegt sterke nadruk te leggen op de veiligheid van hun Llama 3.1-modellen.
Bron: Meta AI
“Red teaming”-oefeningen werden uitgebreid uitgevoerd voordat Llama 3.1 405B werd vrijgegeven. Bij deze oefeningen treden interne en externe experts op als tegenstanders die proberen het model schadelijk of ongepast te laten gedragen. Dit helpt om potentiële risico’s of kwetsbaarheden in het gedrag van het model te identificeren.
Naast testen vóór ingebruikname ondergaat Llama 3.1 405B veiligheids-fine-tuning. Dit omvat technieken zoals Reinforcement Learning from Human Feedback (RLHF), waarbij het model leert zijn antwoorden af te stemmen op menselijke waarden en voorkeuren. Dit helpt schadelijke of bevooroordeelde outputs te beperken en maakt het model veiliger en betrouwbaarder voor gebruik in de praktijk.
Meta introduceerde ook Llama Guard 3, een nieuw meertalig veiligheidsmodel dat is ontworpen om schadelijke of ongepaste content die door Llama 3.1 405B wordt gegenereerd te filteren en te markeren. Deze extra beschermingslaag helpt te waarborgen dat de outputs van het model voldoen aan ethische en veiligheidsrichtlijnen.
Bron: Meta AI
Een andere veiligheidsfunctie is Prompt Guard, dat is bedoeld om prompt-injection-aanvallen te voorkomen. Bij dergelijke aanvallen worden kwaadaardige instructies in gebruikersprompts ingevoegd om het gedrag van het model te manipuleren. Prompt Guard filtert zulke instructies eruit en beschermt het model tegen mogelijk misbruik.
Bron: Meta AI
Daarnaast heeft Meta Code Shield geïntroduceerd, een functie die zich richt op de veiligheid van door Llama 3.1 405B gegenereerde code. Code Shield filtert onveilige codevoorstellen in realtime tijdens inferentie en biedt beveiligde commando-uitvoeringsbescherming voor zeven programmeertalen, met een gemiddelde latentie van 200 ms. Dit helpt het risico te beperken dat er code wordt gegenereerd die kan worden misbruikt of een beveiligingsdreiging vormt.
Bron: Meta AI
Llama 3.1 405B-benchmarks
Meta heeft Llama 3.1 405B rigoureus geëvalueerd op meer dan 150 uiteenlopende benchmarkdatasets. Deze benchmarks bestrijken een breed spectrum aan taalopgaven en -vaardigheden, van algemene kennis en redeneren tot programmeren, wiskunde en meertaligheid.
Bron: Meta AI
Llama 3.1 405B presteert concurrerend met toonaangevende closed-source modellen zoals GPT-4, GPT-4o en Claude 3.5 Sonnet op veel benchmarks. Het blinkt met name uit in redeneertaken, met scores van 96,9 op ARC Challenge en 96,8 op GSM8K. Ook in codegeneratie scoort het sterk, met 89,0 op de HumanEval-benchmark.
Naast geautomatiseerde benchmarks heeft Meta AI uitgebreide menselijke evaluaties uitgevoerd om de prestaties van Llama 3.1 405B in praktijkscenario’s te beoordelen.
Bron: Meta AI
Hoewel Llama 3.1 405B in deze evaluaties competitief is, overtreft het de andere modellen niet consequent. Het presteert vergelijkbaar met GPT-4-0125-Preview (OpenAI’s GPT-4-model dat begin 2024 als preview is uitgebracht) en Claude 3.5 Sonnet, met ongeveer evenveel winst- als verliespercentages. Het blijft iets achter bij GPT-4o en wint slechts 19,1% van de vergelijkingen.
Waar kan ik Llama 3.1 405B gebruiken?
Je kunt Llama 3.1 405B via twee primaire kanalen gebruiken:
- Directe download van Meta: De modelgewichten zijn rechtstreeks te downloaden via Meta’s officiële Llama-website: llama.meta.com
- Hugging Face: Llama 3.1 405B is ook beschikbaar op het Hugging Face-platform, een populair knooppunt voor het delen en gebruiken van machinelearningmodellen.
Door het model eenvoudig beschikbaar te maken, wil Meta onderzoekers, ontwikkelaars en organisaties in staat stellen de mogelijkheden te benutten voor uiteenlopende toepassingen en bij te dragen aan de verdere vooruitgang van AI-technologie—lees meer over Meta’s principes rond open-source AI in de brief van Mark Zuckerberg.
Llama 3.1-familie van modellen
Hoewel Llama 3.1 405B met zijn omvang de krantenkoppen haalt, biedt de Llama 3.1-familie andere modellen die zijn ontworpen voor verschillende use-cases en resourcebeperkingen. Deze modellen delen de vooruitgang van de 405B-versie, maar zijn afgestemd op specifieke behoeften.
Llama 3.1 70B: veelzijdig
Het Llama 3.1 70B-model biedt een balans tussen prestaties en efficiëntie, waardoor het een sterke kandidaat is voor een breed scala aan toepassingen.
Het blinkt uit in taken zoals het samenvatten van langere teksten, het creëren van meertalige conversatie-agents en het bieden van code-assistentie.
Hoewel kleiner dan het 405B-model, blijft het concurrerend met andere open en gesloten modellen van vergelijkbare grootte in diverse benchmarks. De kleinere omvang maakt implementatie en beheer op standaardhardware bovendien eenvoudiger.
Bron: Meta AI
Llama 3.1 8B: lichtgewicht en efficiënt
Het Llama 3.1 8B-model geeft prioriteit aan snelheid en laag resourceverbruik. Het is ideaal in scenario’s waar deze factoren cruciaal zijn, zoals implementatie op edge-devices, mobiele platforms of in omgevingen met beperkte rekenkracht.
Ondanks de kleinere omvang levert het concurrerende prestaties vergeleken met modellen van vergelijkbare grootte op diverse taken (zie de tabel hierboven).
Als je interesse hebt in fine-tuning van Llama 3.1 8B, lees dan deze tutorial over Fine-tuning van Llama 3.1 voor tekstonafhankelijke classificatie.
Gedeelde verbeteringen in alle Llama 3.1-modellen
Alle Llama 3.1-modellen delen enkele belangrijke verbeteringen:
- Uitgebreid contextvenster (128K tokens): Het contextvenster, de hoeveelheid tekst die het model in één keer kan meenemen, is aanzienlijk vergroot tot 128.000 tokens. Hierdoor kunnen de modellen veel langere input verwerken en de context behouden tijdens langere gesprekken of documenten.
- Meertalige ondersteuning: Alle modellen ondersteunen nu acht talen: Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thais. Deze bredere taaldekking vergroot de toepasbaarheid voor een wereldwijd publiek.
- Verbeterd gebruik van tools en redeneren: De modellen zijn verbeterd in het gebruik van tools en in redeneervermogen, waardoor ze veelzijdiger zijn en beter overweg kunnen met complexe taken.
- Verbeterde veiligheid: Strenge veiligheidstests en fine-tuning zijn toegepast op alle Llama 3.1-modellen om potentiële risico’s te beperken en verantwoord AI-gebruik te bevorderen. Dit omvat inspanningen om bias en schadelijke outputs te verminderen.
Grote vs. kleine LLM’s: het debat
De release van Llama 3.1 405B, hoewel indrukwekkend qua schaal, roept discussie op over de optimale grootte voor taalmodellen in het huidige AI-landschap.
Zoals kort in de inleiding genoemd, hebben concurrenten zoals Mistral en Falcon gekozen voor kleinere modellen, met het argument dat die praktischer en toegankelijker zijn. Deze kleinere modellen vragen vaak minder rekenbronnen, waardoor ze makkelijker te implementeren en te fine-tunen zijn voor specifieke taken.
Voorstanders van grote modellen zoals Llama 3.1 405B stellen echter dat hun omvang hen in staat stelt een grotere diepte en breedte aan kennis vast te leggen, wat leidt tot superieure prestaties op een breder scala aan taken. Ze wijzen ook op het potentieel van deze grote modellen om te dienen als “foundation models” waarop kleinere, gespecialiseerde modellen kunnen worden gebouwd via distillatie.
Het debat tussen grote en kleine LLM’s draait uiteindelijk om een afweging tussen mogelijkheden en praktische haalbaarheid. Hoewel grotere modellen meer potentieel bieden voor geavanceerde prestaties, gaan ze ook gepaard met hogere rekeneisen en mogelijke milieu-impact door energieverbruik. Kleinere modellen leveren daarentegen mogelijk wat prestaties in voor meer toegankelijkheid en eenvoudiger implementatie.
Meta’s release van Llama 3.1 405B naast kleinere varianten zoals de 70B- en 8B-modellen erkent deze afweging. Door een reeks modelgroottes aan te bieden, voorzien ze in verschillende behoeften en voorkeuren binnen de AI-gemeenschap.
Uiteindelijk hangt de keuze tussen grote en kleine LLM’s af van de specifieke use-case, beschikbare middelen en gewenste prestatiekenmerken. Naarmate het vakgebied zich blijft ontwikkelen, is het waarschijnlijk dat beide benaderingen naast elkaar blijven bestaan, elk met een eigen plek in het diverse landschap van AI-toepassingen.
Is Llama 3.1 405B beter dan GPT-4o en GPT-4?
Is Llama 3.1 405B beter dan Claude 3.5 Sonnet?
Is Llama 3.1 405B beter dan Gemini?
Is Llama 3.1 405B open source?
Hoeveel verschillende groottes zijn er in de Llama 3.1-modelfamilie?
Onderwerpen
