Introductie tot Meta AI’s LLaMA

We leven in een bijzondere tijd waarin open-sourceprojecten, gedreven door toegewijde communities, kunnen tippen aan de capaciteiten van dure, propriëtaire oplossingen van grote bedrijven. Tot de opmerkelijke doorbraken behoren kleinere maar zeer efficiënte taalmodellen zoals Vicuna, Koala, Alpaca en StableLM, die met minimale rekenkracht resultaten leveren die vergelijkbaar zijn met ChatGPT. Wat ze met elkaar verbindt, is dat ze allemaal zijn gebaseerd op de LLaMA-modellen van Meta AI.

Lees 12 GPT-4 Open-Source Alternatieven om meer te weten te komen over andere populaire open-sourcetrajecten in taaltechnologie.

In deze post duiken we in de LLaMA-modellen van Meta AI, verkennen we hoe ze werken, hoe je er via de transformers-bibliotheek toegang toe krijgt, vergelijken we hun prestaties en bespreken we uitdagingen en beperkingen. Sinds het oorspronkelijke schrijven van dit artikel zijn zowel LLaMA 2 als LLaMA 3 gelanceerd; meer details over elk vind je in onze afzonderlijke artikelen. 

Wat is LLaMA?

LLaMA (Large Language Model Meta AI) is een verzameling state-of-the-art foundationmodellen met 7B tot 65B parameters. Deze modellen zijn kleiner van formaat maar leveren uitzonderlijke prestaties, waardoor de benodigde rekenkracht en middelen om met nieuwe methodes te experimenteren, werk van anderen te valideren en innovatieve use-cases te verkennen, aanzienlijk worden verlaagd.

De foundationmodellen zijn getraind op grote, ongetagde datasets, waardoor ze ideaal zijn om te fine-tunen voor uiteenlopende taken. Het model is getraind op de volgende bronnen:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Boeken
• 2,5% ArXiv
• 2,0% StackExchange

De brede variëteit aan datasets heeft de modellen in staat gesteld state-of-the-art prestaties te behalen die kunnen wedijveren met topmodellen zoals Chinchilla-70B en PaLM-540B.

Krijg een volledig beeld van de evolutie van de modellen van OpenAI, waaronder GPT-1, GPT-2, GPT-3 en de huidige stand van GPT-4 door te lezen: Wat is GPT-4 en waarom is het belangrijk?

Hoe werkt Meta’s LLaMA?

LLaMA, een autoregressief taalmodel, is gebouwd op de transformer-architectuur. Net als andere toonaangevende taalmodellen werkt LLaMA door een reeks woorden als input te nemen en het volgende woord te voorspellen, waarmee het iteratief tekst genereert.

Wat LLaMA onderscheidt, is de training op een openbaar beschikbare, brede waaier aan tekstdata in tal van talen, zoals Bulgaars, Catalaans, Tsjechisch, Deens, Duits, Engels, Spaans, Frans, Kroatisch, Hongaars, Italiaans, Nederlands, Pools, Portugees, Roemeens, Russisch, Sloveens, Servisch, Zweeds en Oekraïens. Vanaf 2024 is LLaMA 2 geïntroduceerd, met verbeterde architectuur en trainingsmethoden, wat de meertalige capaciteiten en efficiëntie verder vergroot.

De LLaMA-modellen zijn beschikbaar in verschillende groottes: 7B, 13B, 33B en 65B parameters, en je kunt ze vinden op Hugging Face (LLaMA-modellen geconverteerd voor Transformers) of in de officiële repository facebookresearch/llama.

Aan de slag met LLaMA-modellen

De officiële inference-code is beschikbaar in de facebookresearch/llama-repository, maar om het eenvoudig te houden, gebruiken we de Hugging Face-module `transformers` LLaMA om het model te laden en tekst te genereren.

1. Installeer alle benodigde Python-bibliotheken om de module te draaien.

Let op: we gebruiken Google Colab om de LLaMA-inference uit te voeren.

%%capture
%pip install transformers SentencePiece accelerate

2. LLaMA-tokens en modelgewichten laden.

Let op: “decapoda-research/llama-7b-hf” zijn niet de officiële modelgewichten. Decapoda Research heeft de oorspronkelijke modelgewichten geconverteerd om met Transformers te werken.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. De vraag formuleren.

4. De tekst omzetten naar tokens.

5. Een configuratie voor modelgeneratie aanmaken.

6. Tokens en generatieconfiguratie gebruiken om uitvoer te genereren.

7. De reactie decoderen en afdrukken.

instruction = "How old is the universe?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Uitvoer:

Het model geeft niet alleen een nauwkeurige schatting van 13 miljard jaar voor de leeftijd van het universum, maar laat ook de redenering achter die berekening zien.

Below is an instruction that describes a task. Write a response that 
appropriately completes the request.
### Instruction: How old is the universe?
### Response: The age of our Universe can be calculated by measuring 
how fast it expands and then using this information to calculate its
size at different points in time, which allows us determine when 
things happened relative to each other (evolutionary biology). This 
method has been used for many years now with great success; however 
there are still some uncertainties about what exactly we're seeing 
because light takes so long travel from distant galaxies back here on
Earth! So while scientists have determined roughly 13 billion 
year-old as being correct they don't know if their calculations were 
off or not due to these limitations mentioned above

Daarnaast kun je transformers gebruiken om te fine-tunen op diverse taken en datasets, wat zowel de nauwkeurigheid als de prestaties aanzienlijk kan verbeteren.

Ben je geïnteresseerd in de meer praktische kant van open-sourcetrajecten? Bekijk dan het artikel 5 projecten die je kunt bouwen met generatieve modellen voor inspiratie.

Hoe verschilt LLaMA van andere AI-modellen?

Het paper presenteert een uitgebreide evaluatie van LLaMA-modellen, vergeleken met andere state-of-the-art taalmodellen zoals GPT-3, GPT-NeoX, Gopher, Chinchilla en PaLM. De benchmarks omvatten gezond verstand-redeneren, trivia, leesbegrip, vraagbeantwoording, wiskundig redeneren, codegeneratie en algemene domeinkennis.

1. Gezond verstand-redeneren. Het LLaMA-65B-model presteert beter dan SOTA-modelarchitecturen op de PIQA-, SIQA- en OpenBookQA-redeneerbenchmarks. Zelfs het kleinere 33B-model overtreft ze allemaal op ARC, zowel easy als challenge.
2. Closed-book vraagbeantwoording & trivia. De test meet het vermogen van een LLM om realistische, menselijke vragen te interpreteren en te beantwoorden. Het LLaMA-model presteert consequent beter dan GPT-3, Gopher, Chinchilla en PaLM op de Natural Questions- en TriviaQA-benchmarks.
3. Leesbegrip. Maakt gebruik van de RACE-middle- en RACE-high-benchmarks. LLaMA-modellen presteren beter dan GPT-3 en vergelijkbaar met PaLM 540B.
4. Wiskundig redeneren. LLaMA is niet gefinetuned op wiskundige data en presteerde vrij matig vergeleken met Minerva.
5. Codegeneratie. Maakt gebruik van de HumanEval- en MBPP-tests. LLaMA presteert beter dan zowel LaMDA als PaLM op HumanEval@100, MBP@1 en MBP@80.

Domeinkennis. LLaMA-modellen presteren slechter dan het enorme PaLM-model met 540B parameters. PaLM beschikt over brede domeinkennis dankzij het grotere aantal parameters.

Uitdagingen en beperkingen van LLaMA

Net als andere Large Language Models kampt LLaMA met hallucinaties. Het kan feitelijk onjuiste informatie genereren.

Daarnaast:

1. Omdat het grootste deel van de dataset uit Engelstalige tekst bestaat, is het belangrijk op te merken dat de prestaties voor andere talen mogelijk relatief lager zijn.
2. De primaire bedoeling van de LLaMA-modellen is onderzoekstoepassingen (niet-commerciële licentie). De vrijgave van deze modellen is bedoeld om onderzoekers te helpen bij het evalueren en aanpakken van kwesties zoals bias, risico’s, het genereren van toxische of schadelijke inhoud en hallucinaties.
3. LLaMA is een basismodel en zou niet gebruikt moeten worden om applicaties te bouwen zonder risicobeoordeling en mitigatie.
4. Het is niet sterk in wiskundig redeneren en domeinkennis.

Wil je inzichten krijgen in closed-source ontwikkeling? Lees Het laatste nieuws over OpenAI, Google AI en wat dit betekent voor data science. De blog bespreekt ontwrichtende taal-, visie- en multimodale technologieën en hoe die ons productiever en effectiever maken. 

Met de latere releases van LLaMA 2 en LLaMA 3 zijn nieuwe uitdagingen en beperkingen aan het licht gekomen. Er zijn verbeteringen doorgevoerd op gebieden zoals contextlengte, en met methoden als fine-tuning wordt het steeds beter mogelijk om taken aan te pakken die diepgaande, domeinspecifieke kennis vereisen. Zoals altijd werkt de community actief aan deze aspecten om de robuustheid en toepasbaarheid van deze modellen te vergroten.

Conclusie

De LLaMA-modellen hebben een revolutionaire golf in open-source AI-ontwikkeling teweeggebracht. Met het kleinere foundationmodel LLaMA-13B dat de capaciteiten van GPT-3 overtreft en LLaMA-65B dat vergelijkbare prestaties laat zien als toonaangevende modellen zoals Chinchilla-70B en PaLM-540B, tonen deze ontwikkelingen aan dat je state-of-the-art resultaten kunt behalen door te trainen op openbaar beschikbare data, en dat met minimale rekenmiddelen.

Daarnaast benadrukt het paper de potentiële prestatieverbetering door LLaMA-modellen te fine-tunen met instructies. Met name de Vicuna- en Stanford Alpaca-modellen, die zijn gefinetuned vanuit LLaMA op instructievolgende demonstraties, laten vergelijkbare resultaten zien als ChatGPT en Bard.

Wil je grote taalmodellen inzetten voor je data science-projecten? Bekijk dan Een gids voor het gebruik van ChatGPT voor data science-projecten. Je kunt je vaardigheden in prompt engineering ook aanscherpen met de ChatGPT-cheatsheets voor data science.