Unsloth Desktop gebruiken voor lokale AI-workflows

Unsloth Studio heeft een grote upgrade gekregen met Unsloth Desktop, waarmee je alles lokaal als desktopapp kunt draaien. Dit is vooral handig als je geen tijd wilt besteden aan het installeren van packages, het configureren van verschillende tools of het voortdurend uitvoeren van commando’s in de terminal.

Unsloth Desktop is in feite een alles-in-één-oplossing voor lokale AI-workflows. 

Je kunt LLM’s draaien en fine-tunen, vision-modellen testen, afbeeldingen en video’s genereren, imagemodellen trainen, met audio werken, AI-codingtools gebruiken, modellen beheren en een lokale API draaien — allemaal vanuit dezelfde applicatie.

In deze gids laat ik je zien hoe je Unsloth Desktop op Linux installeert, lokale LLM’s draait, het koppelt aan OpenCode en een lokaal model gebruikt om een Python-project te bouwen. 

We verkennen ook enkele andere functies en kijken hoeveel je lokaal kunt doen vanuit één applicatie.

1. Controleer je NVIDIA-GPU

Voordat je Unsloth Desktop installeert, is het verstandig om snel te checken of je NVIDIA-GPU wordt gedetecteerd en CUDA correct werkt. 

Dit helpt problemen te voorkomen wanneer je lokaal modellen gaat draaien of fine-tunen.

Open eerst de terminal en voer uit:

nvidia-smi

Dit zou je NVIDIA-GPU, stuurprogrammaversie, beschikbare GPU-geheugen en CUDA-compatibiliteitsinformatie moeten tonen.

Controleer vervolgens de op je systeem geïnstalleerde CUDA-compiler:

nvcc --version

Je zou een uitvoer moeten zien zoals deze:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Als beide commando’s werken en je GPU correct wordt gedetecteerd, is je systeem klaar voor Unsloth Desktop.

2. Download en installeer Unsloth Desktop

Ga vervolgens naar de officiële Unsloth-website en download Unsloth Desktop. 

Zorg dat je het juiste pakket voor jouw besturingssysteem kiest.

Bron: Download Unsloth Desktop voor Linux 

Installeer na het downloaden het pakket zoals je met elke andere desktopapp zou doen. 

Op Linux kan dit een .deb-pakket zijn, afhankelijk van je distributie.

Zodra de installatie is voltooid, start je Unsloth Desktop. 

De applicatie zou je beschikbare hardware automatisch moeten detecteren en je toegang geven tot de hoofdinterface.

Vanaf hier kun je modellen doorzoeken en downloaden, LLM’s lokaal draaien, modellen fine-tunen, met afbeeldingen en andere modaliteiten werken, je lokale modellen beheren en de andere tools in Unsloth Desktop gebruiken.

3. Download en draai een LLM in Unsloth Desktop

Open de Model hub in Unsloth Desktop en zoek het model dat je wilt draaien. 

Voor deze test gebruikte ik een van mijn favoriete kleine modellen:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Na het downloaden kun je het model laden en er direct binnen Unsloth Desktop mee chatten. 

Op mijn systeem haalde ik gemiddeld ongeveer 102 tokens per seconde, wat opliep tot ongeveer 125 tokens per seconde bij sommige codegerelateerde vragen. 

Ik heb ook webtoegang ingeschakeld en het model vragen gesteld over het laatste beursnieuws. 

Dit maakt de lokale chatervaring veel nuttiger wanneer je informatie nodig hebt die verder gaat dan wat al in het model zit. 

Vervolgens wilde ik kijken of het ook iets kon bouwen in plaats van alleen vragen te beantwoorden. 

Ik vroeg het om een website te maken, en het genereerde de code en toonde de website naast de chat, zodat je het resultaat eenvoudig ziet terwijl je verder wijzigingen aanbrengt. 

4. Test een vision-model

Unsloth Desktop ondersteunt ook vision-language-modellen, dus je kunt een afbeelding direct in de chat uploaden en er vragen over stellen.

Voor mijn test werd de vereiste vision-encoder automatisch geïnstalleerd bij het downloaden van het model. 

Ik uploadde simpelweg een afbeelding, stelde er een vraag over en binnen enkele seconden gaf het model een zeer nauwkeurig antwoord.

Vision-ondersteuning is vooral handig bij het werken met codeagenten. 

Je kunt bijvoorbeeld een screenshot van een website uploaden en een probleem aanwijzen dat je opgelost wilt hebben, de agent een ontwerp laten zien dat je wilt namaken, of een bestaande interface als visuele referentie gebruiken terwijl je je eigen applicatie bouwt. 

5. Gebruik Unsloth Desktop met OpenCode

Kleinere modellen zijn geweldig om te testen en zelfs voor wat lichte agentische coding. 

Maar als je een serieuze lokale codeagent wilt die grotere projecten aankan, heb je een sterker model nodig dat nog steeds in het VRAM van je GPU past.

In mijn geval gebruik ik een RTX 3090 met 24 GB VRAM, dus ik downloadde de Q4-versie van Muse Glimmer 30B.

Open het tabblad Models in Unsloth Desktop, zoek het model en download de UD-Q4_K_XL-versie. 

Binnen enkele minuten zou het model gedownload en geladen moeten zijn op je systeem.

Standaard stond het contextvenster ingesteld op zo’n 4K, wat te klein is voor een codeagent die met meerdere bestanden werkt. 

Open het rechterpaneel in Unsloth Desktop, wijzig de contextlengte naar 64K, scroll omlaag en herlaad het model. 

Nadat het model is herladen, ga je naar Settings → System om je GPU-geheugengebruik te controleren. 

In mijn geval gebruikte het model ongeveer 22 GB VRAM, waardoor er ongeveer 2 GB overbleef voor de KV-cache. Dit was voldoende voor mijn tests, al hangt het beschikbare geheugen af van je GPU en workload. 

Open daarna Settings → Agents en selecteer OpenCode als codeagent. 

Unsloth Desktop genereert automatisch het commando dat je nodig hebt om het te starten. 

Maak eerst een projectdirectory via de terminal:

mkdir unsloth-project
cd unsloth-project

Start daarna OpenCode:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Zorg dat je de contextlengte in het commando opneemt. 

Anders start OpenCode mogelijk met het standaard, kleinere contextvenster.

Het commando installeert OpenCode indien nodig en start vervolgens de terminalinterface met je lokale Unsloth-model, klaar voor gebruik. 

6. Bouw een project met OpenCode

Nu alles gekoppeld is, wilde ik de lokale codeagent een echte test geven. 

In plaats van te vragen om een kleine code snippet te genereren, vroeg ik om een complete Mario-achtige game in Python vanaf nul te bouwen.

Ik gebruikte deze prompt:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. 
Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode maakte eerst een to-dolijst en werkte het project vervolgens stap voor stap af. Het maakte de bestanden aan, schreef de spel-logica, regelde de dependencies en gaf me uiteindelijk het commando om het spel te starten. 

Het eindspel werkte, al was het nog wat buggy. 

De Q4-versie van Muse Glimmer presteerde niet zo goed als gehoopt voor deze grotere codeopdracht, dus als je genoeg VRAM hebt, raad ik aan de Q8-versie te proberen voor betere codeprestaties. 

Andere kernfuncties van Unsloth Desktop

Tot nu toe hebben we Unsloth Desktop vooral gebruikt voor het draaien van LLM’s en codeagenten, maar het kan veel meer. 

Het idee is om het merendeel van je lokale AI-workflows beschikbaar te hebben vanuit dezelfde applicatie, in plaats van voor elke taak een aparte tool op te zetten.

LLM-fine-tuning

Je kunt LLM’s lokaal fine-tunen met methodes zoals LoRA en QLoRA. 

De no-code-trainingsinterface maakt het ook eenvoudiger om je dataset te selecteren, de trainingsinstellingen te configureren, de run te starten en het eindmodel te exporteren zonder zelf de volledige trainingspipeline te bouwen.

Afbeeldingsgeneratie en -bewerking

Je kunt ondersteunde diffusion-modellen downloaden en lokaal afbeeldingen genereren vanuit tekstprompts. Je kunt ook een bestaande afbeelding uploaden, de gewenste wijzigingen beschrijven en de ondersteunde modellen gebruiken voor bewerking.

Image LoRA-training

Als je verder wilt gaan dan genereren, kun je ook image-LoRA’s trainen op je eigen dataset. 

Dit is handig om een model een specifiek onderwerp, personage, product of visuele stijl aan te leren en die LoRA vervolgens te gebruiken voor toekomstige generaties.

Videogeneratie

Unsloth Desktop ondersteunt ook lokale workflows voor videogeneratie met ondersteunde diffusion-modellen. 

Dat betekent dat je met zowel beeld- als videogeneratie kunt experimenteren vanuit dezelfde applicatie, in plaats van een aparte omgeving op te zetten.

Spraak- en audiomodellen

Je kunt werken met speech-to-text, text-to-speech en andere ondersteunde audiomodellen. 

Daardoor kun je audio transcriberen, spraak genereren en lokaal met verschillende audio-AI-workflows experimenteren.

Datarecepten

Datarecepten helpen om bestanden zoals PDF’s en CSV’s om te zetten in datasets die je kunt inspecteren, bewerken en voorbereiden op training. 

Dit is vooral handig als je je eigen data hebt maar de dataset niet handmatig vanaf nul wilt opbouwen.

Modelopslag en -beheer

Naarmate je meer modellen downloadt en je eigen modellen gaat trainen, kan het beheren snel rommelig worden. 

Unsloth Desktop geeft je één plek om gedownloade modellen, datasets, adapters, trainingsruns en andere lokale assets te beheren.

Modellen exporteren

Unsloth Studio ondersteunt officieel het exporteren van Safetensors/LoRA-modellen naar GGUF en andere formaten. llama.cpp wordt expliciet ondersteund voor het draaien van geëxporteerde modellen. 

Lokale API

Tot slot kan Unsloth Desktop je lokale model beschikbaar maken via een OpenAI-compatibele API. Zo koppel je je lokaal draaiende modellen eenvoudig aan andere applicaties, codingtools of AI-projecten zonder afhankelijk te zijn van een gehoste model-API.

Tot slot

Unsloth Desktop beweegt zich in een echt interessante richting. 

LLM’s, fine-tuning, beeld- en videogeneratie, codeagenten, datasets en lokale API’s in één desktopapplicatie maken lokaal met AI werken een stuk eenvoudiger, zeker voor mensen die niet elk tooltje handmatig willen configureren.

Dat gezegd hebbende, het voelt nog een beetje ruw aan de randen. 

Op oudere GPU’s of systemen met verouderde CUDA-stuurprogramma’s moet je mogelijk nog steeds dependencies troubleshooten en bepaalde zaken handmatig installeren op Linux of Windows.

Ik liep ook tegen problemen aan met afbeeldingsgeneratie, contextinstellingen en codeagenten. 

Als je bijvoorbeeld de modelcontext in Unsloth Desktop vergroot, moet je mogelijk expliciet dezelfde contextlengte instellen wanneer je je codeagent start. Sommige websitegeneratie- en Canvas-achtige workflows gedroegen zich ook niet altijd zoals verwacht.

Unsloth heeft in korte tijd een enorm aantal functies toegevoegd, maar niet alles voelt al helemaal stabiel. Ik verwacht dat veel van deze issues verbeteren naarmate Desktop verder wordt geoptimaliseerd en volwassener wordt.

Voor nu, als mijn hoofddoel simpelweg het serven van een lokale LLM is voor een AI-codeagent of een andere applicatie, geef ik nog steeds de voorkeur aan llama.cpp. 

Dat geeft me veel meer controle over het model, de context, GPU-offloading, geheugengebruik en andere low-level-instellingen.

Unsloth Desktop is veel gebruiksvriendelijker, terwijl llama.cpp nog steeds de betere optie is wanneer ik de configuratie wil fine-tunen en zoveel mogelijk performance uit mijn hardware wil persen.