Unsloth Studio lokaal uitvoeren: stapsgewijze gids

Je hebt waarschijnlijk al van Unsloth gehoord. Ze staan bekend om het snel uitbrengen van gequantiseerde versies van nieuwe open modellen, waardoor ze makkelijker te downloaden, te laden en te draaien zijn op lokale inferentie-opstellingen. Ook hebben ze een sterke reputatie opgebouwd met praktische gidsen voor het draaien en fine-tunen van de nieuwste open modellen zonder gedoe met de installatie. 

Meer recent brengt Unsloth Studio veel van die workflow samen op één plek: een lokale web-UI voor het draaien en trainen van modellen, met ondersteuning voor GGUF en Safetensors, side-by-side modelvergelijking, automatische afstemming van inferentieparameters, tool calling en een OpenAI-compatibele API.

In deze tutorial laat ik je zien hoe je de omgeving voor Unsloth Studio inricht, het lokaal installeert, de interface start en een model rechtstreeks vanuit de UI test. Geen rommelige handmatige pipeline, niet schakelen tussen vijf verschillende tools, en geen extra inferentiecode schrijven om te beginnen. 

Bekijk ook onze gids over Fine-tunen met Unsloth Studio en onze oorspronkelijke Unsloth-gids voor meer informatie. 

Wat is Unsloth Studio?

Unsloth Studio is Unsloths nieuwe open-source lokale webinterface om open modellen vanuit één plek te draaien, te trainen en te exporteren. In plaats van losse tools te gebruiken voor inferentie, fine-tuning en testen, brengt het alles samen in één setup die je op je eigen machine kunt draaien. 

Unsloth Studio ondersteunt GGUF- en Safetensors-modellen, werkt op Mac, Windows en Linux, en is ontworpen om lokale model-experimenten veel eenvoudiger te maken voor mensen die liever een visuele workflow hebben dan handmatig scripts aan elkaar knopen.

Belangrijkste functies van Unsloth Studio

Er zijn verschillende opvallende functies die dit zo'n interessant hulpmiddel maken, waaronder:

• Zoek, download en draai modellen lokaal vanuit één interface
• Vergelijk twee modellen naast elkaar
• Gebruik self-healing tool calling en ingebouwde webzoekfunctie
• Stel inferentie-instellingen automatisch af
• Bewerk chattemplates eenvoudig
• Toegang tot OpenAI-compatibele API's
• Fine-tune modellen met een no-code workflow
• Maak automatisch datasets van bestanden zoals PDF, CSV, JSON, DOCX en TXT
• Exporteer modellen naar formaten zoals GGUF en 16-bit Safetensors

Vereisten voor Unsloth Studio

Controleer vóór de installatie of je systeem de basisbenodigdheden heeft om Unsloth Studio lokaal te draaien. De setup is goed te doen, maar als je modellen wilt fine-tunen in plaats van alleen chatten, heb je een meer complete GPU-rijke omgeving nodig.

• Python: Versie 3.11 tot 3.13
• Git: Nodig om de repository te clonen en te beheren
• CMake: Vereist voor het bouwen van lokale componenten tijdens de setup
• macOS-tools: Homebrew en OpenSSL kunnen op macOS ook nodig zijn
• NVIDIA-GPU: Vereist als je lokaal modellen wilt fine-tunen
• Nieuwste NVIDIA-stuurprogramma's: Aanbevolen om problemen met setup, CUDA of training te vermijden

Kort gezegd: basischat lokaal draait makkelijker op een CPU, maar voor fine-tuning heb je de juiste NVIDIA-hardware en bijgewerkte drivers nodig, naast de standaard setuptools.

Je RunPod-omgeving instellen

Voor deze tutorial gebruiken we een RunPod A40-machine. Ik had alles op mijn laptop kunnen draaien, maar ik heb niet genoeg opslagruimte en mijn internet is te traag om grote modellen en dependencies comfortabel te downloaden. 

Dus in plaats van lange downloadtijden, trage builds en het risico om mijn lokale systeem te vervuilen, gebruik ik RunPod als een eenvoudige cloudoptie die veel sneller is in te richten voor deze workflow.

• Begin met het maken van een nieuwe A40-pod en selecteer de nieuwste PyTorch 2.8.0-template. 
• Bewerk vóór het deployen de pod-instellingen en zet de containerdisk op 50 GB en de volumedisk op 100 GB zodat je genoeg ruimte hebt voor de installatie en modeldownloads. 
• Je moet ook de HTTP-poort 8888 voor Jupyter Notebook en poort 8910 voor Unsloth Studio openzetten. 
• Je Hugging Face-token als omgevingsvariabele toevoegen is optioneel, maar kan modeldownloads versnellen en toegang tot afgeschermde modellen vergemakkelijken.

Als alles klopt, sla je de wijzigingen op, bekijk je de podsamenvatting en deploy je de pod.

Unsloth Studio installeren

Binnen een minuut of zo zie je in het RunPod-dashboard een link om JupyterLab te openen. Open het en start vervolgens een terminal. Je kunt ook SSH gebruiken en lokaal poorten doorsturen, of de webterminal gebruiken, maar ik vind de JupyterLab-terminal hiervoor het makkelijkst. Hij is snel toegankelijk, eenvoudig te beheren en laat je probleemloos meerdere terminals tegelijk openhouden.

Upgrade eerst pip en installeer uv. 

pip install --upgrade pip && pip install uv

Maak vervolgens een nieuwe map voor het project en ga erin.

mkdir Unsloth-Studio && cd Unsloth-Studio

Maak daarna een virtual environment met uv.

uv venv

Je zou vervolgens vergelijkbare output moeten zien, waaruit blijkt dat de virtual environment succesvol is aangemaakt.

Using CPython 3.12.3 interpreter at: /usr/local/bin/python
Creating virtual environment at: .venv
Activate with: source .venv/bin/activate

Activeer nu de virtual environment.

source .venv/bin/activate

Zodra de omgeving actief is, installeer je Unsloth met uv.

uv pip install unsloth --torch-backend=auto

Voer tot slot het Studio-setup-commando uit. Deze stap neemt het zwaardere werk voor z'n rekening, waaronder het installeren van Node.js, npm, het bouwen van llama.cpp en het installeren van extra Python-packages die voor deze run nodig zijn.

unsloth studio setup

Zodra de setup voltooid is, zie je het commando dat nodig is om Unsloth Studio lokaal te starten.

Unsloth Studio lokaal starten

Weet je nog dat we aan het begin poort 8910 hebben opengezet tijdens het bewerken van de RunPod-sjabloon? 

We starten Unsloth Studio nu op die poort zodat we er direct via de RunPod-link bij kunnen, in plaats van alleen via localhost binnen de machine.

Voer het volgende commando uit in de terminal om de web-inferentie van Unsloth Studio te starten.

unsloth studio -H 0.0.0.0 -p 8910

Zodra het start, zou je moeten zien dat de A40-GPU is gedetecteerd, samen met de standaard beheerdersgegevens en het standaardmodel dat al is gedownload en klaar is voor gebruik. In de meeste gevallen is een Qwen3.5 4B gequantiseerd model standaard beschikbaar, zodat je meteen met Studio kunt testen zonder eerst een ander model te downloaden.

In plaats van op de localhost-link in de terminal te klikken, ga je terug naar het RunPod-dashboard en open je het tabblad Connect. Klik daar op de link voor poort 8910 om de webinterface van Unsloth Studio te openen.

De eerste keer dat je het opent, vraagt Studio je om een nieuw wachtwoord aan te maken. Stel er een in zodat de instance is beveiligd en niet toegankelijk is voor anderen die die publieke link gebruiken.

Daarna kom je in de onboarding-flow, die je kunt overslaan als je wilt. Handig als je snel de interface, knoppen en hoofdsecties wilt verkennen, maar niet nodig om te starten.

Eenmaal binnen kom je op het dashboard van Unsloth Studio. De interface is ingedeeld in vier hoofdtabbladen. 

Studio is waar je fine-tuning doet, Recipes laat je datasets maken van bestanden zoals PDF's en CSV's, Export helpt je getunede modellen op te slaan in formaten zoals GGUF of 16-bit Safetensors, en Chat is waar je direct met het model praat.

De chatinterface van Unsloth Studio testen

Klik op het tabblad Chat en klik vervolgens op de knop Model selecteren linksboven. Zoals in de screenshot te zien is, is het Qwen3.5 4B-model al gedownload. Klik erop, selecteer de geïnstalleerde gequantiseerde versie en je kunt aan de slag. Het kost een paar seconden om het model in het GPU-geheugen te laden.

Om te testen gaven we een wiskunde-opgave, en het antwoord was opvallend snel, vloeiend en coherent.

Je kunt ook webzoek inschakelen en naar recente onderwerpen vragen. Als deze optie aan staat, voert Unsloth Studio eerst een webzoekactie uit en geeft de opgehaalde informatie vervolgens door aan het model, zodat het een beter onderbouwd antwoord kan genereren.

Zoals je ziet, gaf het de top vijf nieuwsresultaten van grote publicaties over de aandelenmarkt terug.

Je kunt ook elk gewenst model zoeken op Hugging Face en het direct vanuit de interface downloaden. In dit voorbeeld hebben we Qwen3.5 9B 4-bit gequantiseerd gedownload.

Zodra je op het model klikt, begint de download. Afhankelijk van de modelgrootte en je internetsnelheid kan dit even duren.

Na het voltooien van de download kun je het nieuw gedownloade model laden. Binnen enkele seconden schakelt Unsloth Studio van het eerdere model naar het nieuwe, zodat je toegang krijgt tot een capabeler model.

We vroegen het nieuwe model vervolgens om SVG-kunst van een luiaard te genereren.

Het redeneerde eerst over het verzoek, genereerde daarna de SVG-code en toonde tenslotte de luiaardkunst direct in de interface.

Het leek zeker op een luiaard, al was het niet bijzonder indrukwekkend. Met een groter en sterker model krijg je meestal veel betere resultaten, zeker als je systeem een krachtigere GPU en genoeg RAM heeft.

De chatinterface van Unsloth Studio bevat ook verschillende configuratie-opties. Je kunt generatieparameters aanpassen, een systeemprompt toevoegen, de chattemplate wijzigen en vrijer experimenteren met het gedrag van het model.

Tot slot

Al met al vond ik het erg prettig om Unsloth Studio te gebruiken. De setup was niet zo soepel als ik had verwacht, en er waren onderweg zeker een paar pijnpunten, maar toen alles eenmaal draaide, veranderde de ervaring voor mij compleet. 

Het grootste probleem was de stap unsloth studio setup. Op papier klinkt het eenvoudig, maar in de praktijk duurde het bijna 15 tot 20 minuten om alles te installeren. Sommige delen van de installatie had ik waarschijnlijk zelf in veel minder tijd kunnen doen. 

Zelfs in de docs staat iets van 5 tot 10 minuten, maar in mijn geval duurde het duidelijk langer.

Het tweede pijnpunt was opslag. Ik ging er in eerste instantie van uit dat ik aan een gemiddelde hoeveelheid ruimte genoeg zou hebben, maar de volledige setup kwam uit op bijna 100 GB, wat veel meer was dan verwacht. Ik weet niet precies waar al die ruimte naartoe ging. 

Het kan komen door de virtual environment, gedownloade dependencies, modelbestanden, build-artifacts of doordat sommige tools tijdens de setup globaler zijn geïnstalleerd. Dat deel was niet heel transparant. 

Maar ondanks die punten was ik, zodra Unsloth Studio eenmaal draaide, oprecht enthousiast. De interface voelt gepolijst, snel en verrassend makkelijk in gebruik. 

Alles staat bij elkaar, de workflow voelt soepel en het maakt lokaal experimenteren met modellen veel toegankelijker. Dus hoewel de setup je geduld wat kan testen, voelt het uiteindelijke product als de moeite waard.