LM Studio-tutorial: aan de slag met lokale LLM’s

Grote taalmodellen lokaal draaien wordt steeds populairder, zeker als je geen privégegevens naar externe servers wilt sturen. Als alles op je eigen machine draait, blijven je prompts en data binnen je eigen omgeving, wat je meer controle en betere privacy geeft.

Wil je diezelfde kracht? Ik laat je stap voor stap zien hoe je LM Studio gebruikt om lokaal LLM’s te draaien en ermee te chatten. Het is een tool met de GUI op de eerste plaats, dus je hebt geen terminalervaring of diepgaande technische kennis nodig. De setup is eenvoudig en je kunt snel aan de slag. Laten we beginnen!

Als je geïnteresseerd bent in het lokaal draaien van agentische tools, raad ik je aan onze tutorials te bekijken over het instellen van OpenClaw en Claude Code met Ollama.

Wat is LM Studio?

LM Studio is een cross-platform applicatie waarmee je grote taalmodellen lokaal kunt downloaden en draaien op je machine, zodat je data niet naar externe servers lekt. 

Het bevat een ingebouwde modelbrowser waarin je modellen direct van Hugging Face kunt zoeken, bekijken en downloaden. Je kunt vrijwel elk model pakken dat je wilt, waaronder verschillende versies van DeepSeek, Llama, Gemma, Phi of Mistral. Je hoeft ook niets extra’s te installeren. 

LM Studio is ook een goede optie voor beginners, vooral als je je niet prettig voelt bij commando’s in de terminal. Je krijgt een gebruiksvriendelijke interface waarin je een model kunt kiezen, de configuratie kunt aanpassen en er meteen mee kunt chatten. 

Je kunt ook lokale bestanden uploaden en ermee chatten: LM Studio kan .docx-, .pdf- en .txt-bestanden aan chatsessies koppelen. Als een document in de context past, wordt het volledig toegevoegd. Is het erg lang, dan kan LM Studio retrieval-augmented generation (RAG) gebruiken om relevante informatie uit die bestanden te halen om je vragen te beantwoorden.

Omdat LM Studio cross-platform is, werkt het soepel op Windows, Mac en Linux, dus je bent niet beperkt door je setup. En als je de basis onder de knie hebt, kun je er meer mee doen. Je kunt je lokale LLM’s verbinden met externe tools, databronnen en API’s door MCP-servers te integreren, wat het flexibel genoeg maakt voor meer geavanceerde workflows.

LM Studio vs Ollama

LM Studio en Ollama zijn allebei ontworpen om lokaal grote taalmodellen te draaien en ermee te chatten. Er zijn echter een paar belangrijke verschillen:

Systeemvereisten voor LM Studio en modelkeuze

Voordat je modellen gaat downloaden in LM Studio, is het handig om te weten wat je systeem echt aankan. Het model dat je kiest hangt rechtstreeks af van je beschikbare RAM; de verkeerde keuze kan alles vertragen of de app onbruikbaar maken.

Een snel overzichtstabel met geschikte modellen voor verschillende hoeveelheden RAM:

GPU is optioneel, maar het maakt een merkbaar verschil. Heb je er een, dan worden modelantwoorden veel sneller en vloeiender. NVIDIA-GPU’s met CUDA werken het best, Apple Silicon gebruikt Metal effectief en AMD heeft gedeeltelijke ondersteuning afhankelijk van de setup.

Hoe kies je het juiste model voor je hardware

Hier zijn een paar praktische aanbevelingen om een model te kiezen dat goed draait op je machine zonder die te zwaar te belasten.

Je ziet ook verschillende versies van hetzelfde model met labels als Q4_K_M of Q8_0. Dit verwijst naar kwantisatieniveaus, die in feite aangeven hoe het model is gecomprimeerd. Lagere kwantisatie, zoals Q4, verlaagt het geheugengebruik en draait sneller, maar je levert wat kwaliteit in. Hogere kwantisatie, zoals Q8, behoudt betere uitvoerkwaliteit, maar vereist meer RAM en draait trager.

Weet je het niet zeker, dan is Q4 of Q5 meestal een veilige start, vooral op een 16GB-setup zoals de mijne.

LM Studio installeren

Ga om te beginnen naar de officiële website en download de app. De website detecteert automatisch je besturingssysteem en biedt de juiste versie aan.

Afhankelijk van je systeeminstellingen kan om toestemming worden gevraagd. In mijn geval, op Mac, was het direct beschikbaar als applicatie na het openen van het installatieprogramma.

Je eerste model downloaden in LM Studio

Als je LM Studio voor het eerst opent, kom je in een overzichtelijke interface met de modelbrowser. Je kunt meteen naar modellen zoeken, opties verkennen en er een downloaden om lokaal te draaien.

De Discover-tab verkennen

Open LM Studio en klik op het zoekpictogram in de linkerzijbalk.

Dit is in feite je modelmarktplaats waar je naar specifieke modellen kunt zoeken, op grootte kunt filteren en verschillende opties kunt verkennen. Bij het zoeken heeft elk model een modelkaart met nuttige context zoals grootte, mogelijkheden en soms aanbevolen use-cases. Het is de moeite waard om dit even te bekijken voordat je downloadt, zodat je weet wat je kunt verwachten.

Volg je mee en wil je een betrouwbaar startpunt, kies dan iets als Qwen 2.5 7B (Q4_K_M) voor een 16GB-systeem (of neem een van de suggesties die ik hierboven heb gedaan). Dat biedt een goede balans tussen performance en kwaliteit en draait vlot zonder je machine te zwaar te belasten.

De modelformats begrijpen

Tijdens het browsen zie je dat de meeste modellen beschikbaar zijn in GGUF-formaat. GGUF staat voor GPT-Generated Unified Format en is een binair formaat om LLM’s efficiënt op consumentenharde ware te bewaren en draaien. 

Dit formaat mappt gewichten met hoge precisie (bijv. Float16) van modellen naar integers met minder bits (bijv. 4-bit, 5-bit) en verpakt de modelgewichten, metadata en configuratie in één geoptimaliseerd bestand. Dat maakt laden sneller en zorgt voor compatibiliteit met inference-engines zoals llama.cpp, waarop LM Studio onder de motorkap steunt.

Chatten met een lokale LLM in LM Studio

Laten we naar het leuke gedeelte gaan en het model aan het werk zetten.

Een model laden en parameters configureren

Stap 1: Open LM Studio en ga naar de sectie My Models in de linkermenubalk.

Stap 2: Klik op het Settings-pictogram bij het model en klik op Load Model.

Zodra het geladen is, ga je naar de tab Inference op hetzelfde scherm. Daar zie je instellingen voor contextlengte, temperature en meer.

• Contextlengte bepaalt hoeveel informatie het model kan onthouden tijdens een gesprek. Een hogere waarde laat je met langere input werken, maar gebruikt ook meer geheugen. Bij beperkt RAM kun je dit beter gematigd houden. 
• Temperature bepaalt hoe creatief of voorspelbaar het model is. Lagere waarden maken antwoorden deterministischer, hogere waarden gevarieerder. 
• System prompt stelt het gedrag van het model in. Hier definieer je hoe de assistent moet reageren, inclusief toon, stijl en rol.

Je eerste gesprek

Als alles is ingesteld, kun je met het model chatten zoals met elke AI-assistent. Hier is een eenvoudig voorbeeld:

Ik vroeg: “Wat is het beste model voor 8GB RAM en beelddata?”

Het model stelde voor om een model met een convolutional neural network (CNN)-architectuur te gebruiken, zoals te zien is op de afbeelding.

Dat is de basisflow. De kwaliteit van de antwoorden hangt sterk af van je configuraties. Stel je bijvoorbeeld “Leg alles in simpele termen uit en geef korte antwoorden” in bij de system prompt, dan blijft het model die stijl consequent aanhouden over meerdere antwoorden. 

Chatten met je documenten in LM Studio

Een van de handigste functies in LM Studio is de ingebouwde ondersteuning voor RAG. Je kunt je documenten rechtstreeks in de chat uploaden en vragen gaan stellen.

Documentvragen en -antwoorden instellen

Open hiervoor een chatsessie met je geladen model. Je ziet een +-icoon om bestanden toe te voegen. Klik daarop om documenten zoals PDF’s of tekstbestanden direct in de chat te uploaden.

Zodra het bestand is toegevoegd, bereidt LM Studio het automatisch voor om te kunnen bevragen, dus je hoeft niets handmatig te configureren. Onder de motorkap wordt het document in kleinere stukken verdeeld zodat het model er efficiënt mee kan werken. Die stukken worden vervolgens omgezet in embeddings, numerieke representaties van de tekst. 

Als je een vraag stelt, haalt LM Studio de meest relevante stukken op en geeft die samen met je vraag door aan het model. Zo krijgt het model extra informatie uit je documenten en reageert het daarop.

Je kennisbank bevragen

Ik uploadde bijvoorbeeld een onderzoeksartikel over kunstmatige intelligentie en vroeg: “Wat is jouw kijk op de toekomst van AI?”

LM Studio haalt de meest relevante secties uit het document op en stuurt die samen met je prompt naar het model. Het model genereert vervolgens een antwoord op basis van zowel de aangeleverde context als zijn bestaande kennis.

Dat zie je hieronder ook visueel terug:

Er zijn een paar beperkingen om in gedachten te houden. Het model is nog steeds afhankelijk van zijn contextvenster, dus zeer grote documenten kunnen niet in één keer volledig worden meegenomen. De kwaliteit van retrieval hangt ook af van hoe goed het document is gechunked; sommige antwoorden kunnen details missen als de relevante secties niet correct worden opgehaald.

LM Studio draaien als lokale API-server

Een van de krachtigere dingen die je met LM Studio kunt doen, is het draaien als een lokale API-server. Zo kun je je lokale LLM gebruiken in scripts, apps of andere tools.

De server starten

Stap 1: Om dit in te schakelen, open je LM Studio en klik je op het Settings-pictogram linksonder in het scherm.

Stap 2: Ga naar de sectie Developer in de linkerzijbalk en zet de schakelaar Developer Mode aan.

Stap 3: Ga terug naar de chatinterface en klik op het pictogram Developer in de linkermenubalk.

Stap 4: Zet de schakelaar naast Status aan om de server te starten, zoals op de afbeelding hieronder. Zodra hij draait, kun je het serveradres kopiëren en testen met een eenvoudige curl-aanvraag: 

curl http://127.0.0.1:1234/v1/models

Als alles goed is ingesteld, zie je een JSON-response met het beschikbare model.

Verbinden vanuit Python

Als je lokale server draait, kun je die behandelen als elke andere API. Het enige verschil is dat je in plaats van de servers van OpenAI je eigen machine aanroept.

Hier is een simpel voorbeeld:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")

response = client.chat.completions.create(
    model="local-model",
    messages=[
        {"role": "user", "content": "Explain how local LLMs work"}
    ],
)

print(response.choices[0].message.content)

Wat hier gebeurt:

• base_url vertelt de code om je lokale LM Studio-server te gebruiken in plaats van OpenAI

• api_key mag van alles zijn (LM Studio dwingt dit niet af)

• model verwijst naar het model dat je in LM Studio hebt geladen

• messages is je prompt

Als je dit draait, gaat je verzoek naar “localhost:1234”, verwerkt het model het en krijg je een antwoord terug, net als bij elke API-call. Dit werkt omdat LM Studio de OpenAI API-indeling volgt. 

Conclusie

LM Studio geeft je een overzichtelijke, praktische interface om lokaal met LLM’s te werken, terwijl je de omgeving volledig in de hand houdt. Je kunt modellen selecteren, instellingen configureren, ermee chatten en de setup zelfs uitbreiden om het als lokale API-server te draaien.

Wat opvalt, is dat het lokaal draaien van grote taalmodellen vroeger veel setup en tooling vereiste. LM Studio brengt dat terug tot iets dat voelt als het installeren en gebruiken van een gewone desktopapp.

Wil je hierop voortbouwen, dan is de volgende stap leren hoe je deze modellen in echte workflows integreert. Je kunt cursussen verkennen zoals Working with the OpenAI API of bredere AI Fundamentals-tracks om te leren hoe je prompts structureert, applicaties bouwt en effectief met modellen werkt.