Leerpad
AI-toepassingen ontwikkelen
21 uur
Voor ons programmeurs is coderen misschien wel een van de belangrijkste toepassingen van LLM’s. De mogelijkheid om nauwkeurige code te genereren, te debuggen en code goed te “begrijpen”, maakt een LLM tot een onmisbare assistent voor veel programmeurs, naast de vele voordelen voor bedrijven.
Mistral heeft onlangs hun nieuwste model uitgebracht, Codestral 25.01, ook wel Codestral V2 genoemd—een upgrade van hun eerste Codestral-model dat in 2024 werd uitgebracht. In dit artikel bespreek ik Codestral 25.01, beoordeel ik de prestaties in benchmarks, leg ik uit hoe je het instelt en laat ik het in actie zien.
Wat is Codestral 25.01 van Mistral?
Volgens Mistrals aankondiging is Codestral 25.01 “lichtgewicht, snel en bedreven in meer dan 80 programmeertalen (...) geoptimaliseerd voor low-latency, high-frequency use-cases en ondersteunt taken zoals fill-in-the-middle (FIM), codecorrectie en testgeneratie.”
Veel ontwikkelaars gebruikten het vorige model, Codestral, voor coderelated taken. Codestral 25.01 is een geüpgradede versie, met een verbeterde tokenizer en een efficiëntere architectuur, waardoor het twee keer zo snel code kan genereren.
Mistral heeft het model nog niet vrijgegeven en ook geen details over de architectuur of grootte gedeeld. Wel weten we dat het minder dan 100 miljard parameters heeft en een contextlengte van 256K ondersteunt.
Op het moment van schrijven staat Codestral 25.01 slechts enkele punten onder de Claude 3.5 Sonnet-serie in de Chatbot Arena (voorheen LMSYS) en net iets boven Codestral V1.
Bron: Chatbot Arena
Een andere ranglijst die zich richt op het beoordelen van de codeerkwaliteiten van LLM’s is Aider’s Polyglot. In deze benchmark krijgen modellen 225 programmeeroefeningen in populaire talen. Codestral 25.01 scoorde 11%, terwijl Qwen2.5-Coder-32B-Instruct 16% behaalde.
Bron: Aider-ranglijst
Tot slot bekijken we de officiële benchmarks die door Mistral zijn gepubliceerd. De gepubliceerde scores tonen een duidelijke stap vooruit ten opzichte van Codestral V1, Codellama 70B en DeepSeek Coder 33B. Het is informatiever om de scores van Codestral 25.01 te vergelijken met de recentere Qwen2.5-Coder-32B-Instruct (je kunt de scores van Qwen hier lezen).
Overzicht voor Python:
|
Model |
Contextlengte |
HumanEval |
MBPP |
CruxEval |
LiveCodeBench |
RepoBench |
|
Codestral-2501 |
256k |
86,6% |
80,2% |
55,5% |
37,9% |
38,0% |
|
Codestral-2405 22B |
32k |
81,1% |
78,2% |
51,3% |
31,5% |
34,0% |
|
Codellama 70B instruct |
4k |
67,1% |
70,8% |
47,3% |
20,0% |
11,4% |
|
DeepSeek Coder 33B instruct |
16k |
77,4% |
80,2% |
49,5% |
27,0% |
28,4% |
|
DeepSeek Coder V2 lite |
128k |
83,5% |
83,2% |
49,7% |
28,1% |
20,0% |
Benchmarks voor meerdere talen:
|
Model |
HumanEval Python |
HumanEval C++ |
HumanEval Java |
HumanEval Javascript |
HumanEval Bash |
HumanEval Typescript |
HumanEval C# |
HumanEval (gemiddeld) |
|
Codestral-2501 |
86,6% |
78,9% |
72,8% |
82,6% |
43,0% |
82,4% |
53,2% |
71,4% |
|
Codestral-2405 22B |
81,1% |
68,9% |
78,5% |
71,4% |
40,5% |
74,8% |
43,7% |
65,6% |
|
Codellama 70B instruct |
67,1% |
56,5% |
60,8% |
62,7% |
32,3% |
61,0% |
46,8% |
55,3% |
|
DeepSeek Coder 33B instruct |
77,4% |
65,8% |
73,4% |
73,3% |
39,2% |
77,4% |
49,4% |
65,1% |
|
DeepSeek Coder V2 lite |
83,5% |
68,3% |
65,2% |
80,8% |
34,2% |
82,4% |
46,8% |
65,9% |
Codestral 25.01 instellen in VS Code
Helaas is het model niet open-weight en kun je het niet lokaal draaien. Het goede nieuws is dat je het model gratis kunt gebruiken als code-assistent via de API of via VsCode en PyCharm.
Eerst hebben we een API-sleutel nodig. Ga naar Le Plateforme en navigeer naar Codestral. Hier kun je je API-sleutel genereren om Codestral 25.01 in je IDE te gebruiken.
Ik gebruik Codestral in VS Code via de extensie Continue. Je kunt ernaar zoeken in de extensiemarketplace en hem gratis installeren.
Na installatie van de extensie klik je rechtsonder in VsCode op de knop Continue, selecteer je Configure autocomplete options en plak je je API-sleutel onder Codestral. Je kunt Codestral nu als autocomplete-model gebruiken.
Een andere manier om Codestral in de IDE te gebruiken is chatten met het model. Open het chatvenster met CTRL+L. Je kunt verschillende modellen kiezen als chatmodel, maar zonder API-sleutel zijn die beperkt. Wil je gratis toegang tot Codestral, klik dan in het chatgedeelte op het model en selecteer Add Chat model. Kies Mistral als provider, Codestral als model en plak je API-sleutel.
Codestral 25.01 testen
Om te checken of alles soepel draait, vroeg ik Codestral een simpel XO-spel in Python te schrijven, wat het model in één keer correct uitvoerde.
Codestal gebruiken in het chatvenster
Een van de meest voorkomende en nuttige toepassingen van een code-LLM is werken aan bestaande codebases. Deze codebases kunnen groot en complex genoeg zijn om een realistisch scenario te simuleren met deze modellen. Hier test ik Codestrals vermogen om te werken met het smolagents-framework, de repository van Hugging Face voor het bouwen van agents (lees meer in deze tutorial over Smolagents van Hugging Face).
Ik kloon de repository, geef de map als context aan het model en vraag Codestral me te helpen met een eenvoudige demo met smolagents.
Na het clonen van de repository gaf ik de volledige codebase aan Codestral. Je kunt kiezen welke data, code of documenten je als context aan het model geeft met “@” in de chat. Om de hele codebase als context te geven, zou de prompt zijn: “@Codebase what is this codebase about?”.
Aanvankelijk, toen ik Codestral vroeg een eenvoudige demo van smolagents te schrijven (die duidelijk wordt uitgelegd in de README van de repository met vier regels code), kon het model geen samenhangend antwoord geven.
Daarna vroeg ik het model om de repository en de inhoud ervan uit te leggen, wat een goede samenvatting opleverde.
Mijn volgende prompt was: “how can you run a simple agent with smolagents?” Het model gaf een goed antwoord op basis van het README-bestand.
In de derde stap vroeg ik “build me an agent”, waarop het model een eenvoudige agent bouwde zoals in de documentatie staat. Verrassend genoeg kon het model geen demo bouwen toen ik dat als eerste vroeg, maar het lijkt erop dat het model meer houvast krijgt als je het eerst naar de repository vraagt.
Werken aan een bestaande codebase met Codestral
Vervolgens vroeg ik het model om op basis van de documentatie van de repository een aangepaste agentische tool te bouwen voor het lezen van PDF-bestanden. Tot mijn verbazing bevatte de voorgestelde code meerdere fouten die gemakkelijk te voorkomen waren geweest.
Hoewel de snelheid van het genereren van antwoorden opvalt en het model productieve autocompletes biedt, moet je bij serieuze taken zoals het bouwen van een applicatie of werken aan een bestaande codebase de taak opdelen in veel kleinere stukken en specifieker maken qua context om resultaten te krijgen.
Conclusie
We begonnen dit artikel met een introductie van Codestral 25.01 en een bespreking van de prestaties in benchmarks, waaruit blijkt dat het een sterk code-LLM is. Vervolgens lieten we zien hoe je Codestral 25.01 instelt in VsCode en hoe je het gebruikt in de praktijk.
Hoewel de nieuwe versie van Codestral misschien niet de beste codeer-LLM is, is het erg prettig dat we het gratis als code-assistent in IDE’s kunnen gebruiken. De algehele ervaring lijkt op die van Cursor AI, maar voor wie huiverig is om Cursor te installeren of API-credits van andere modellen te kopen, kan de gratis ervaring van Codestral een goed alternatief zijn.
