Wat is GPT-4o Mini? Hoe het werkt, use cases, API & meer

Wat is GPT-4o Mini?

GPT-4o mini is afgeleid van het grotere GPT-4o-model via een distillatieproces. Daarbij wordt een kleiner model getraind om het gedrag en de prestaties van het grotere, complexere model na te bootsen, wat resulteert in een kostenefficiënte maar zeer capabele versie van het origineel.

Belangrijkste features

• Groot contextvenster: GPT-4o mini behoudt het contextvenster van 128k tokens van GPT-4o, waardoor het lange teksten effectief kan verwerken. Ideaal voor toepassingen die veel context nodig hebben, zoals het analyseren van grote documenten of het bijhouden van gespreksgeschiedenis.
• Multimodale mogelijkheden: Het model verwerkt zowel tekst- als afbeeldingsinvoer, met toekomstige ondersteuning gepland voor video- en audio-invoer en -uitvoer. Deze veelzijdigheid maakt het geschikt voor uiteenlopende toepassingen, van tekstanalyse tot beeldherkenning.
• Lagere kosten: GPT-4o mini is veel betaalbaarder dan zijn voorgangers. Het kost $0,15 per miljoen inputtokens en $0,60 per miljoen outputtokens, aanzienlijk goedkoper dan het GPT-4o-model, dat geprijsd is op $5,00 per miljoen inputtokens en $15,00 per miljoen outputtokens. Vergeleken met GPT-3.5 Turbo is GPT-4o mini meer dan 60% goedkoper.
• Verbeterde veiligheid: Het model bevat dezelfde veiligheidsfeatures als GPT-4o en is de eerste in de API die de instruction hierarchy-methode gebruikt. Dit verbetert de weerstand tegen jailbreaks, prompt injections en het extraheren van systeemprompts, waardoor het veiliger is in uiteenlopende toepassingen.

Concurrentie voor GPT-4o mini

GPT-4o mini concurreert met modellen zoals Llama 3 8B, Gemini 1.5 Flash en Claude Haiku, evenals OpenAI's eigen GPT-3.5 Turbo. Deze modellen bieden vergelijkbare functionaliteiten, maar komen vaak met hogere kosten of minder geavanceerde prestatiemetrics.

• Gemini 1.5 Flash: Hoewel Gemini 1.5 Flash een iets hogere uitvoersnelheid heeft, blinkt GPT-4o mini uit in kwaliteit, waardoor het een meer gebalanceerde keuze is voor toepassingen die zowel snelheid als hoge nauwkeurigheid nodig hebben.
• Claude 3 Haiku en Llama 3 (8B): GPT-4o mini presteert beter dan deze modellen in zowel kwaliteit als uitvoersnelheid en toont daarmee zijn efficiëntie en effectiviteit.
• GPT-3.5 Turbo: GPT-4o mini overtreft GPT-3.5 Turbo in uitvoersnelheid en algehele kwaliteit en biedt bovendien vision-mogelijkheden die GPT-3.5 Turbo niet heeft.

Bron: Artificial Analysis

Hoe GPT-4o Mini werkt: de mechaniek van distillatie

GPT-4o mini bereikt zijn balans tussen prestaties en efficiëntie via een proces dat modeldistillatie heet. In essentie houdt dit in dat een kleiner, gestroomlijnder model (de "student") getraind wordt om het gedrag en de kennis van een groter, complexer model (de "leraar") na te bootsen.

Het grotere model, in dit geval GPT-4o, is vooraf getraind op enorme hoeveelheden data en heeft een diep begrip van taalpatronen, semantiek en zelfs redeneervermogen. Door zijn omvang is het echter computationeel duur en minder geschikt voor bepaalde toepassingen.

Modeldistillatie pakt dit aan door de kennis en capaciteiten van het grotere GPT-4o-model over te dragen naar het kleinere GPT-4o mini. Dit gebeurt doorgaans door het kleinere model de outputs van het grotere model te laten voorspellen op een diverse set invoerdata. Via dit proces "distilleert" GPT-4o mini effectief de belangrijkste kennis en vaardigheden van zijn grotere tegenhanger.

Het resultaat is een model dat, hoewel kleiner en efficiënter, veel van de prestaties en mogelijkheden van het origineel behoudt. GPT-4o mini kan complexe taaltaken aan, context begrijpen en hoogwaardige antwoorden genereren, terwijl het minder rekenbronnen verbruikt. Dit maakt het een praktische en betaalbare oplossing voor een breed scala aan toepassingen, vooral waar snelheid en kostenefficiëntie belangrijk zijn.

Prestaties van GPT-4o Mini

GPT-4o mini laat indrukwekkende prestaties zien op diverse benchmarks. Ik heb Claude Artifacts gemaakt voor elke benchmark om uit te leggen wat elke LLM-benchmark is en wat die meet.

Redeneertaken

Voor redeneertaken evalueerden we GPT-4o mini op het volgende:

MMLU (Massive Multitask Language Understanding) is een benchmark die modellen test met multiplechoicevragen over 57 verschillende vakken, waaronder bèta, geesteswetenschappen en sociale wetenschappen. De vragen variëren in moeilijkheid van basis tot gevorderd. Er wordt gemeten hoeveel antwoorden correct zijn en exact overeenkomen. GPT-4o Mini scoorde 82,0% en overtrof concurrenten zoals Gemini Flash (77,9%) en Claude Haiku (73,8%).

GPQA (Google-Proof Q&A Benchmark) is een lastige dataset met vragen die door experts zijn opgesteld om niet-experts uit te dagen, terwijl ze beheersbaar blijven voor specialisten. De vragen zijn zorgvuldig gevalideerd op zowel moeilijkheid als juistheid via meerdere rondes om besmettingsrisico's te beperken.

DROP (Discrete Reasoning Over Paragraphs) test hoe goed modellen relevante informatie uit paragrafen kunnen halen en redeneertaken zoals sorteren of tellen kunnen uitvoeren. De prestaties worden beoordeeld met aangepaste F1- en exact-match-scores.

Vaardigheid in wiskunde en coderen

MGSM-benchmark bevat 250 rekenproblemen op basisschoolniveau, vertaald in 10 talen, om meertalige redeneervaardigheden te testen.

De Mathematics Aptitude Test of Heuristics (MATH) bevat wedstrijdproblemen op middelbareschoolniveau. Het beoordeelt modellen op hun vermogen om complexe wiskundeproblemen in Latex en Asymptote op te lossen, met focus op de meest uitdagende vragen.

De HumanEval-benchmark meet de prestatie van codegeneratie door te evalueren of de gegenereerde code specifieke unit tests doorstaat. De pass@k-metriek bepaalt de kans dat minstens één van de k oplossingen voor een programmeerprobleem de tests haalt.

Multimodaal redeneren

Massive Multitask Language Understanding (MMLU) benchmark test de breedte van kennis, diepte van natuurlijk taalbegrip en probleemoplossend vermogen van een model. Het bevat meer dan 15.000 multiplechoicevragen over 57 vakken, van algemene kennis tot gespecialiseerde domeinen. MMLU evalueert modellen in few-shot- en zero-shot-instellingen, meet nauwkeurigheid per vak en neemt het gemiddelde voor een eindscore.

De MathVista-benchmark combineert wiskundige en visuele taken, met 6.141 voorbeelden uit 28 bestaande multimodale datasets en 3 nieuw gemaakte datasets (IQTest, FunctionQA en PaperQA). Het daagt modellen uit met taken die geavanceerd visueel begrip en complexe compositorische redenatie vereisen.

Use cases voor GPT-4o Mini

De kleine omvang, lage kosten en sterke prestaties van GPT-4o mini maken het perfect voor gebruik op persoonlijke apparaten, snelle prototyping en in omgevingen met beperkte middelen. Bovendien verbetert de realtime responsmogelijkheid interactieve toepassingen. Zo kun je GPT-4o mini effectief inzetten:

Toegang tot GPT-4o Mini

Je kunt GPT-4o Mini gebruiken via de OpenAI API, met opties zoals de Assistants API, Chat Completions API en Batch API. Hier is een korte gids om GPT-4o Mini te gebruiken met de OpenAI API.

Eerst moet je authenticeren met je API-sleutel—vervang your_api_key_here door je eigen API-sleutel. Zodra je setup rond is, kun je tekst genereren met GPT-4o Mini:

from openai import OpenAI 
MODEL="gpt-4o-mini"
## Set the API key
client = OpenAI(api_key="your_api_key_here")
completion = client.chat.completions.create(
  model=MODEL,
  messages=[
    {"role": "system", "content": "You are a helpful assistant that helps me with my math homework!"},
    {"role": "user", "content": "Hello! Could you solve 20 x 5?"}
  ]
)Mogelijk gemaakt door

Voor meer details over het instellen en gebruiken van de OpenAI API, bekijk de GPT-4o API-tutorial.

Conclusie

GPT-4o mini valt op als een krachtig en kosteneffectief AI-model dat een opmerkelijke balans bereikt tussen prestaties en betaalbaarheid.

De distillatie vanuit het grotere GPT-4o-model, gecombineerd met het grote contextvenster, de multimodale mogelijkheden en verbeterde veiligheidsfeatures, maakt het een veelzijdige en toegankelijke optie voor een breed scala aan toepassingen.

Nu de vraag naar efficiënte en betaalbare AI-oplossingen blijft groeien, is GPT-4o mini goed gepositioneerd om een belangrijke rol te spelen in het democratiseren van AI-technologie.