Unsloth Desktop gebruiken voor lokale AI-workflows

Unsloth Studio heeft een grote upgrade gekregen met Unsloth Desktop, waarmee je alles lokaal kunt draaien als desktopapplicatie. Dit is vooral handig als je geen tijd wilt besteden aan het installeren van packages, het configureren van verschillende tools of het voortdurend uitvoeren van commando’s in de terminal.

Unsloth Desktop is in feite een alles-in-één oplossing voor lokale AI-workflows. Je kunt LLM’s draaien en fine-tunen, vision-modellen testen, afbeeldingen en video’s genereren, imagemodellen trainen, met audio werken, AI-codingtools gebruiken, modellen beheren en een lokale API draaien — allemaal vanuit dezelfde applicatie.

In deze gids installeren we Unsloth Desktop op Linux, draaien we lokale LLM’s, koppelen we het met OpenCode en gebruiken we een lokaal model om een Python-project te bouwen. We verkennen ook enkele andere features en kijken hoeveel je lokaal kunt doen vanuit één applicatie.

1. Controleer je NVIDIA-GPU

Voordat je Unsloth Desktop installeert, is het verstandig om snel te checken of je NVIDIA-GPU wordt gedetecteerd en CUDA goed werkt. Dit helpt problemen te voorkomen wanneer je lokaal modellen gaat draaien of fine-tunen.

Open eerst de terminal en voer uit:

nvidia-smi

Dit zou je NVIDIA-GPU, driverversie, beschikbare GPU-geheugen en CUDA-compatibiliteitsinformatie moeten tonen.

Controleer daarna de op je systeem geïnstalleerde CUDA-compiler:

nvcc --version

Je zou een output moeten zien zoals deze:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Als beide commando’s werken en je GPU correct wordt gedetecteerd, is je systeem klaar voor Unsloth Desktop.

2. Download en installeer Unsloth Desktop

Ga vervolgens naar de officiële Unsloth-website en download Unsloth Desktop. Zorg dat je het juiste pakket voor je besturingssysteem selecteert.

Bron: Unsloth Desktop voor Linux downloaden 

Na het voltooien van de download installeer je het pakket zoals je met elke andere desktopapplicatie zou doen. Op Linux kan dit een .deb-pakket zijn, afhankelijk van je distributie.

Zodra de installatie klaar is, start je Unsloth Desktop. De applicatie zou je beschikbare hardware automatisch moeten detecteren en je toegang geven tot de hoofdinterface.

Vanaf hier kun je modellen bladeren en downloaden, LLM’s lokaal draaien, modellen fine-tunen, met afbeeldingen en andere modaliteiten werken, je lokale modellen beheren en de andere tools binnen Unsloth Desktop gebruiken.

3. Download en draai een LLM in Unsloth Desktop

Open de Model hub in Unsloth Desktop en zoek het model dat je wilt draaien. Voor deze test gebruikte ik een van mijn favoriete kleine modellen:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Na het downloaden van het model kun je het laden en er direct in Unsloth Desktop mee chatten. Op mijn systeem haalde ik ongeveer gemiddeld 102 tokens per seconde, wat opliep tot ongeveer 125 tokens per seconde bij sommige codegerelateerde vragen. 

Ik schakelde ook webtoegang in en stelde het model vragen over het laatste beursnieuws. Dit maakt de lokale chatervaring een stuk nuttiger wanneer je informatie nodig hebt die verder gaat dan wat al in het model zit. 

Vervolgens wilde ik zien of het ook iets kon bouwen in plaats van alleen vragen te beantwoorden. Ik vroeg om een website te maken, en het genereerde de code en toonde de website naast de chat, waardoor je makkelijk het resultaat ziet terwijl je verder aanpassingen doet. 

4. Test een vision-model

Unsloth Desktop ondersteunt ook vision-language-modellen, dus je kunt een afbeelding rechtstreeks in de chat uploaden en er vragen over stellen.

Voor mijn test werd de vereiste vision-encoder automatisch geïnstalleerd toen ik het model downloadde. Ik uploadde simpelweg een afbeelding, stelde er een vraag over en binnen enkele seconden gaf het model een zeer accuraat antwoord.

Vision-ondersteuning is vooral nuttig bij het werken met codingagents. Je kunt bijvoorbeeld een screenshot van een website uploaden en een probleem aanwijzen dat je opgelost wilt hebben, de agent een ontwerp tonen dat je wilt namaken, of een bestaande interface als visuele referentie gebruiken terwijl je je eigen applicatie bouwt. 

5. Gebruik Unsloth Desktop met OpenCode

Kleinere modellen zijn geweldig om te testen en zelfs voor wat lichte agentische codeerklussen. Maar als je een serieuze lokale codingagent wilt die grotere projecten aankan, heb je een sterker model nodig dat nog steeds in het VRAM van je GPU past.

In mijn geval gebruik ik een RTX 3090 met 24 GB VRAM, dus ik downloadde de Q4-versie van Muse Glimmer 30B.

Open het tabblad Models in Unsloth Desktop, zoek het model en download de UD-Q4_K_XL-versie. Binnen enkele minuten zou het model gedownload en geladen moeten zijn op je systeem.

Standaard stond het contextvenster op ongeveer 4K, wat te klein is voor een codingagent die over meerdere bestanden werkt. Open het rechterpaneel in Unsloth Desktop, wijzig de contextlengte naar 64K, scroll omlaag en herlaad het model. 

Nadat het model is herladen, ga je naar Settings → System om je GPU-geheugengebruik te controleren. In mijn geval gebruikte het model ongeveer 22 GB VRAM, waardoor er ongeveer 2 GB overbleef voor de KV-cache. Dit was voldoende voor mijn tests, al hangt het beschikbare geheugen af van je GPU en workload. 

Open vervolgens Settings → Agents en selecteer OpenCode als codingagent. Unsloth Desktop genereert automatisch het commando dat je nodig hebt om het te starten. 

Maak eerst een projectmap aan via de terminal:

mkdir unsloth-project
cd unsloth-project

Start daarna OpenCode:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Zorg dat je de contextlengte in het commando opneemt. Anders start OpenCode mogelijk met het standaard, kleinere contextvenster.

Het commando installeert OpenCode indien nodig en start vervolgens de terminalinterface met je lokale Unsloth-model, klaar voor gebruik. 

6. Bouw een project met OpenCode

Nu alles is verbonden, wilde ik de lokale codingagent een goede test geven. In plaats van te vragen om een kleine code-snippet, vroeg ik om vanaf nul een complete Mario-achtige game in Python te bouwen.

Ik gebruikte deze prompt:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode maakte eerst een to-do-lijst en begon daarna stap voor stap door het project te werken. Het maakte de bestanden aan, schreef de gamelogica, regelde de dependencies en gaf me tot slot het commando om de game te starten. 

De uiteindelijke game werkte, al zat er nog wat bugjes in. De Q4-versie van Muse Glimmer presteerde niet zo goed als ik hoopte voor deze grotere codeertaak, dus als je genoeg VRAM hebt, raad ik aan om de Q8-versie te proberen voor betere codeerprestaties. 

7. Andere kernfuncties van Unsloth Desktop

Tot nu toe hebben we Unsloth Desktop vooral gebruikt voor het draaien van LLM’s en codingagents, maar het kan veel meer. Het idee is om het grootste deel van je lokale AI-workflows beschikbaar te hebben vanuit dezelfde applicatie, in plaats van voor elke taak een andere tool op te zetten.

LLM-fine-tuning

Je kunt LLM’s lokaal fine-tunen met methoden zoals LoRA en QLoRA. De no-code-trainingsinterface maakt het ook makkelijker om je dataset te selecteren, de trainingsinstellingen te configureren, de run te starten en het eindmodel te exporteren zonder zelf de volledige trainingspipeline te bouwen.

Afbeeldinggeneratie en -bewerking

Je kunt ondersteunde diffusie­modellen downloaden en lokaal afbeeldingen genereren op basis van tekstprompts. Je kunt ook een bestaande afbeelding uploaden, de gewenste wijzigingen beschrijven en de ondersteunde modellen gebruiken voor beeldbewerking.

Image LoRA-training

Als je verder wilt gaan dan beeldgeneratie, kun je ook image-LoRA’s trainen op je eigen dataset. Dit is handig om een model een bepaald onderwerp, personage, product of visuele stijl aan te leren en die LoRA vervolgens te gebruiken voor toekomstige generaties.

Videogeneratie

Unsloth Desktop ondersteunt ook lokale videogeneratieworkflows met ondersteunde diffusie­modellen. Dat betekent dat je met zowel beeld- als videogeneratie kunt experimenteren vanuit dezelfde applicatie, zonder een aparte omgeving op te zetten.

Spraak- en audiomodellen

Je kunt werken met speech-to-text, text-to-speech en andere ondersteunde audiomodellen. Zo kun je audio transcriberen, spraak genereren en lokaal met verschillende audio-AI-workflows experimenteren.

Data Recipes

Data Recipes helpen bestanden zoals pdf’s en csv’s om te zetten in datasets die je kunt inspecteren, bewerken en voorbereiden voor training. Dit is vooral handig wanneer je je eigen data hebt maar het dataset bouwen niet handmatig vanaf nul wilt doen.

Modelopslag en -beheer

Naarmate je meer modellen downloadt en je eigen modellen gaat trainen, kan het beheer snel rommelig worden. Unsloth Desktop biedt één plek om gedownloade modellen, datasets, adapters, trainingsruns en andere lokale assets te beheren.

Modellen exporteren

Unsloth Studio ondersteunt officieel het exporteren van Safetensors/LoRA-modellen naar GGUF en andere formaten. llama.cpp wordt expliciet ondersteund voor het draaien van geëxporteerde modellen. 

Lokale API

Tot slot kan Unsloth Desktop je lokale model aanbieden via een OpenAI-compatibele API. Zo koppel je je lokaal draaiende modellen eenvoudig aan andere applicaties, codingtools of AI-projecten zonder afhankelijk te zijn van een gehoste model-API.

Tot slot

Unsloth Desktop gaat een heel interessante kant op. LLM’s, fine-tuning, beeld- en videogeneratie, codingagents, datasets en lokale API’s in één desktopapplicatie maken lokaal met AI werken veel makkelijker, vooral voor mensen die niet elk hulpmiddel handmatig willen configureren.

Dat gezegd hebbende voelt het nog wat ruw aan de randen. Op oudere GPU’s of systemen met verouderde CUDA-drivers moet je mogelijk nog steeds dependencies troubleshooten en bepaalde dingen handmatig installeren op Linux of Windows. Ik liep ook tegen problemen aan met beeldgeneratie, contextinstellingen en codingagents. Als je bijvoorbeeld de modelcontext in Unsloth Desktop vergroot, moet je mogelijk expliciet dezelfde contextlengte instellen wanneer je je codingagent start. Sommige websitegeneratie- en Canvas-achtige workflows gedroegen zich ook niet altijd zoals verwacht.

Unsloth heeft in korte tijd enorm veel features toegevoegd, maar niet alles voelt al volledig stabiel. Ik verwacht dat veel van deze issues verbeteren naarmate Desktop verder wordt geoptimaliseerd en volwassener wordt.

Voor nu, als mijn hoofddoel simpelweg het serven van een lokale LLM is voor een AI-codingagent of een andere applicatie, geef ik nog steeds de voorkeur aan llama.cpp. Dat geeft me veel meer controle over het model, de context, GPU-offloading, het geheugenverbruik en andere low-level instellingen. Unsloth Desktop is veel makkelijker in gebruik, terwijl llama.cpp nog steeds de betere optie is wanneer ik de configuratie wil fine-tunen en zoveel mogelijk performance uit mijn hardware wil persen.