Grok 4: Tests, functies, benchmarks, toegang en meer

Grok 4 testen

Ik test vaak nieuwe modellen, dus ik hergebruik een paar standaardtaken om te zien hoe ze zich verhouden. Dat doe ik hier ook, met focus op wiskunde en coderen. Dit is niet bedoeld als een grondige evaluatie van Grok—meer om gevoel te krijgen voor hoe het zich gedraagt in een typische chatopzet.

Wiskunde

Ik begin met een eenvoudige berekening: 9,11 - 9,9. Misschien klinkt dat flauw, maar het brengt taalmodellen vaak in de war—Claude Sonnet 4 zat er bijvoorbeeld naast. Natuurlijk kan ik gewoon een rekenmachine gebruiken, maar het doel is hier te zien hoe het model het probleem benadert en of het kan terugvallen op tools indien nodig of het direct kan oplossen via chain-of-thought-redeneren.

Zo antwoordde Grok 4:

Het gaf meteen het juiste antwoord. Het vond de uitkomst via chain-of-thought en gebruikte ook een codetool om het te bevestigen (top!).

Het duurde echter 31 seconden om te reageren, en de output was onnodig lang voor zo’n simpele prompt.

Vervolgens wilde ik Grok 4 testen op een complexer wiskundeprobleem dat een model doorgaans tegen de grenzen van het contextvenster duwt:

Prompt: Gebruik alle cijfers van 0 t/m 9 precies één keer om drie getallen x, y, z te maken zodat x + y = z.

Grok 4 pakte het probleem slim aan. Eerst realiseerde het zich dat het alle 3.628.800 permutaties van de cijfers 0–9 in een paar seconden kon genereren met Python. Vervolgens probeerde het een opzet met twee 3-cijferige getallen die optellen tot een 4-cijferig getal, en kwam met code die daadwerkelijk 96 geldige oplossingen opleverde!

from itertools import permutations

digits = range(10)

solutions = []

for p in permutations(digits):
    x_digits = p[0:3]
    if x_digits[0] == 0: continue
    y_digits = p[3:6]
    if y_digits[0] == 0: continue
    z_digits = p[6:10]
    if z_digits[0] == 0: continue
    x = int(''.join(map(str, x_digits)))
    y = int(''.join(map(str, y_digits)))
    z = int(''.join(map(str, z_digits)))
    if x + y == z:
        solutions.append((x, y, z))

print(solutions)

Daarna probeerde het andere combinaties (zoals 4-cijferig plus 2-cijferig dat gelijk is aan 4-cijferig) met dezelfde aanpak. Tot slot zocht het op het web naar meer informatie over deze puzzel en om het antwoord te bevestigen. In totaal duurde het 157 seconden om dit antwoord te geven:

Coderen 

Voor de code-opdracht wilde ik zien hoe het zich verhoudt tot Gemini 2.5 Pro en Claude Opus 4 op deze taak:

Prompt: Maak een meeslepend endless runner-spel. Duidelijke instructies op het scherm. p5.js-scène, geen HTML. Ik houd van gepixelde dinosaurussen en interessante achtergronden.

Hier is het resultaat:

Het grootste minpunt is dat het spel meteen start, zonder de gebruiker de kans te geven zelf te beginnen. De gepixelde dinosaurus oogt ook wat ruw. Dat gezegd, de instructies op het scherm zijn duidelijk en de basisfunctionaliteit werkt prima. Ik gaf deze feedback aan Grok, en dit is versie twee:

Best goed!

Multimodaal met lange context

Tot slot wilde ik zien hoe goed Grok 4 lange, multimodale context aan kan. Ik uploadde een pdf met het Generative AI Outlook Report (43.087 tokens) van de Europese Commissie en vroeg Grok om:

Prompt: Analyseer dit hele rapport en identificeer de drie meest informatieve grafieken. Vat elk samen en laat me weten op welke pagina van de pdf ze staan.

Laten we eerst het antwoord bekijken en het daarna uitpakken:

Wat me opviel is dat het verrassend snel stopte, na slechts 25 seconden. Het raadde grafieken aan van pagina’s 19, 20 en 44 (onjuist), en leek de rest van het 167 pagina’s tellende document te negeren zodra het iets leek te vinden dat voldeed. De chain-of-thought voelt incompleet en wijst op een vrij oppervlakkige aanpak:

Dan nu de resultaten:

• Alle paginanummers waren verkeerd.
• Het kon het type grafieken niet duidelijk identificeren—met opmerkingen als “deze lijn- of staafgrafiek.”
• De antwoorden waren bevooroordeeld richting de eerste 50 pagina’s en sloegen waarschijnlijk belangrijke secties later in het rapport over.
• Het classificeerde een Sankey-diagram (Figuur 6) verkeerd als een “taart- of staafgrafiek.”
• Het verwarde Figuur 6 met Figuur 7 en analyseerde uiteindelijk Figuur 7.

Zoals Elon Musk in de livestream aangaf, is Grok 4’s beeldbegrip en -generatie nog niet erg geavanceerd. Als je consistente en betrouwbare resultaten wilt, kun je eerlijk zeggen dat Grok 4 op dit moment een tekst-only model is.

Grok 4-benchmarks

Grok 4’s voornaamste troef is de performance over een brede mix aan benchmarks, van academische examens tot bedrijfsimulaties. Volgens xAI verbetert het model aanzienlijk ten opzichte van eerdere versies vooral dankzij meer compute—zowel tijdens training als inferentie—niet per se door nieuwe architecturale doorbraken.

Humanity’s Last Exam (HLE)

Het kernpatroon achter de prestaties van Grok 4 is schaling. Het profiteert van meer trainingcompute en, interessanter nog, van meer test-time compute. Simpel gezegd: hoe meer resources je inzet, hoe beter het presteert. Dat is vooral duidelijk bij de prestaties op Humanity’s Last Exam (HLE)-taken.

Bron: xAI

Zonder tools blijft Grok 4 steken rond 26,9% nauwkeurigheid. Met tools (bijv. code-executie) haalt het 41,0%. En in de multi-agent “Heavy”-configuratie stijgt het naar 50,7%—een forse sprong, meer dan het dubbele van de beste eerdere scores zonder tools.

Academische & STEM-benchmarks

Grok 4 doet het ook goed op meer traditionele, op STEM gerichte evaluaties, waarvan veel in het veld worden gebruikt om high-performing LLM’s te vergelijken. Highlights:

Dit zijn sterke resultaten. Grok 4 presteert beter dan Claude Opus, Gemini 2.5 Pro en GPT-4 (o3) in de meeste categorieën, al hebben sommige gebruikers erop gewezen dat de vergelijkingen mogelijk cherry-picking van baseline-scores van concurrerende modellen bevatten.

Bron: xAI

ARC-AGI (geavanceerd redeneren)

Een van de lastigere en minder transparante benchmarks is ARC-AGI, dat het vermogen van een model test om te generaliseren over abstracte redeneertaken. Op ARC-AGI v1 scoort Grok 4 66,6%, voor op alle bekende peers. Op ARC-AGI v2 haalt het 15,9%, vergeleken met 8,6% voor Claude 4 Opus.

Deze tests zijn niet volledig publiek, dus de gebruikelijke kanttekeningen gelden. Maar als de cijfers standhouden, laat Grok 4 sterke prestaties zien in meerstaps-, logisch zware redeneertaken.

Vending-Bench (bedrijfsimulatie)

xAI testte Grok 4 ook in een realistische simulatie genaamd Vending-Bench. Het idee is te kijken of een model een klein bedrijf over tijd kan runnen: voorraad aanvullen, prijzen aanpassen, leveranciers contacteren, enz. Het is een vrij nieuwe benchmark en verrassend leuk. We bespraken eerder in detail hoe het werkt via een case study met Claude Sonnet 3.7 in onze wekelijkse nieuwsbrief, The Median.

Resultaten (gemiddeld over vijf runs):

Grok 4 verdubbelde ruimschoots de prestaties van de dichtstbijzijnde concurrent in zowel omzet als schaal. Het hield de prestaties ook consistent over 300 rondes simulatie—iets waar veel modellen moeite mee hebben bij langetermijnplanning.

Bron: xAI

Kortom: Grok 4 presteert goed waar xAI het getest heeft. Maar zoals altijd moet je verder kijken dan het leaderboard. De benchmarks zijn veelbelovend, maar vertellen niet het hele verhaal—zeker niet als je use-case afhankelijk is van vision, codegeneratie of realtime interactie in rommelige omgevingen.

Hoe krijg je toegang tot Grok 4

Grok 4 is nu beschikbaar via drie hoofdingangen: de X-app, de xAI API en het grok.com-platform. Of je nu met het model wilt chatten, ermee wilt bouwen, of de redeneercapaciteiten formeler wilt testen, zo begin je.

Chattoegang (via X)

De makkelijkste manier om Grok 4 te proberen is via de X-app (voorheen Twitter). Dit geeft je toegang tot Grok in een chatinterface, vergelijkbaar met ChatGPT of Claude.

Zo gebruik je het:

• Abonneer je op X Premium+, het top-abonnement.
• Open de X-app (of ga naar x.com).
• Tik op het Grok-pictogram (onderin navigatie op mobiel, zijbalk op desktop).
• Begin met chatten. Grok 4 is het standaardmodel, maar je kunt tussen versies wisselen.

Directe toegang via Grok.com

Je kunt Grok 4 ook direct gebruiken via grok.com, dat een schonere, zelfstandige interface biedt buiten het X-platform. Het is bedoeld voor gebruikers die liever zonder afleiding werken.

• Bezoek https://grok.com
• Meld je aan en log in.
• Toegang tot Grok 4 in een chatinterface, met ondersteuning voor tools, code en lange context

Grok 4 API

Als je Grok in je eigen app of workflow wilt integreren, kun je de xAI API gebruiken.

Stappen:

1. Ga naar https://x.ai/api en vraag developers-toegang aan.
2. Na goedkeuring ontvang je een API-sleutel en toegang tot documentatie.
3. Lees zeker de documentatie voor meer details.

Wat komt er na Grok 4

Nu Grok 4 is uitgebracht, heeft xAI een duidelijke (en ambitieuze) roadmap voor de rest van 2025 neergelegd. Volgens de tijdlijn uit de livestream staan er in de komende drie maanden vier grote releases gepland: een codemodel in augustus, een multimodale agent in september en een videogeneratiemodel in oktober.

Bron: xAI

Augustus: Gespecialiseerd codemodel

De eerste opvolger is een op coderen gericht model dat in augustus wordt verwacht. In tegenstelling tot Grok 4, een generalist, wordt dit een gespecialiseerd model dat code sneller en nauwkeuriger moet afhandelen. xAI omschreef het als “snel en slim”, specifiek getraind om zowel latency als redeneren in softwareontwikkelingsworkflows te verbeteren.

September: Multimodale agent

In september staat de release van een echt multimodale agent gepland. Op dit moment ondersteunt Grok 4 technisch gezien beeld- en video-inputs, maar het begrip is beperkt—tijdens de livestream noemde het team het “turend door matglas.”

De komende versie moet dat verhelpen, met sterker waarnemingsvermogen voor beeld, video en audio. Dit is cruciaal voor use-cases die verder gaan dan tekst: denk aan robotica, games, video-QA of visuele instructievolging.

Oktober: Videogeneratiemodel

De laatste release in de huidige tijdlijn is een videogeneratiemodel in oktober. xAI zegt het te trainen op meer dan 100.000 gpu’s. Op basis van hun opmerkingen mikt dit systeem op hoogwaardige, interactieve en bewerkbare videocontent.

Conclusie

Grok 4 is een serieuze stap vooruit voor xAI. Het presteert beter dan concurrenten op verschillende moeilijke benchmarks, houdt stand in gestructureerde evaluaties van wiskunde en wetenschap, en introduceert een multi-agentsysteem (Grok 4 Heavy) dat veelbelovend is voor onderzoeksomgevingen en langetermijndenken.

Toch is het geen alledaagse, general-purpose assistent. Het is langzamer dan Grok 3, het begrip van beeld en video staat nog in de kinderschoenen, en het mist wat verfijning qua dagelijks gebruik. Je moet zorgvuldig prompten en je input trimmen door het relatief beperkte contextvenster. En als je de beste prestaties wilt—via Grok 4 Heavy—betaal je daar een premie voor.

Voor developers en onderzoekers is het de moeite waard om te verkennen. Voor casual gebruikers passen de snelheid en responsiviteit van Grok 3 of andere mainstream modellen beter. De roadmap is ambitieus, met een codemodel, multimodale agent en videogenerator die allemaal voor oktober gepland staan. Of xAI die deadlines haalt is een andere vraag. Maar met Grok 4 hebben ze in elk geval een overtuigende case gemaakt dat ze meedoen in de race.