So nutzt du Unsloth Desktop für lokale KI-Workflows

Unsloth Studio hat mit Unsloth Desktop ein großes Upgrade bekommen. Damit lässt sich alles lokal als Desktop-App ausführen – ideal, wenn du keine Zeit mit Paket-Installationen, Tool-Konfigurationen oder dauernden Terminal-Kommandos verschwenden willst.

Unsloth Desktop ist im Grunde eine All-in-one-Lösung für lokale KI-Workflows. 

Du kannst LLMs ausführen und feinabstimmen, Vision-Modelle testen, Bilder und Videos generieren, Bildmodelle trainieren, mit Audio arbeiten, KI-Coding-Tools nutzen, Modelle verwalten und eine lokale API bereitstellen – alles in derselben Anwendung.

In dieser Anleitung zeige ich dir, wie du Unsloth Desktop unter Linux installierst, lokale LLMs startest, es mit OpenCode verbindest und mit einem lokalen Modell ein Python-Projekt baust. 

Wir schauen uns außerdem weitere Funktionen an und sehen, wie viel sich lokal in einer einzigen App erledigen lässt.

1. Prüfe deine NVIDIA-GPU

Bevor du Unsloth Desktop installierst, empfiehlt es sich, kurz zu prüfen, ob deine NVIDIA-GPU erkannt wird und CUDA korrekt funktioniert. 

So vermeidest du später Probleme, wenn du Modelle lokal ausführst oder feinabstimmst.

Öffne zuerst das Terminal und führe aus:

nvidia-smi

Es sollten deine NVIDIA-GPU, die Treiberversion, verfügbarer GPU-Speicher und CUDA-Kompatibilität angezeigt werden.

Prüfe als Nächstes den installierten CUDA-Compiler:

nvcc --version

Du solltest eine Ausgabe in etwa wie diese sehen:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Wenn beide Befehle funktionieren und deine GPU korrekt erkannt wird, ist dein System bereit für Unsloth Desktop.

2. Unsloth Desktop herunterladen und installieren

Gehe als Nächstes auf die offizielle Unsloth-Website und lade Unsloth Desktop herunter. 

Achte darauf, das richtige Paket für dein Betriebssystem zu wählen.

Quelle: Unsloth Desktop für Linux herunterladen 

Nach dem Download installierst du das Paket wie jede andere Desktop-Anwendung. 

Unter Linux kann das – je nach Distribution – ein .deb-Paket sein.

Starte Unsloth Desktop, sobald die Installation abgeschlossen ist. 

Die App sollte deine verfügbare Hardware automatisch erkennen und dir die Hauptoberfläche anzeigen.

Von hier aus kannst du Modelle durchsuchen und herunterladen, LLMs lokal ausführen, Modelle feinabstimmen, mit Bildern und anderen Modalitäten arbeiten, lokale Modelle verwalten und auf weitere Tools in Unsloth Desktop zugreifen.

3. Ein LLM in Unsloth Desktop herunterladen und ausführen

Öffne den Model Hub in Unsloth Desktop und suche nach dem Modell, das du ausführen möchtest. 

Für diesen Test habe ich eines meiner Lieblingsmodelle im kleinen Format genutzt:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Nach dem Download kannst du das Modell laden und direkt in Unsloth Desktop damit chatten. 

Auf meinem System kam ich im Schnitt auf rund 102 Token pro Sekunde, bei Coding-Fragen stieg die Rate auf etwa 125 Token pro Sekunde. 

Ich habe außerdem den Webzugriff aktiviert und das Modell zu den neuesten Börsennachrichten befragt. 

Das macht den lokalen Chat deutlich hilfreicher, wenn du Informationen jenseits des Modellwissens brauchst. 

Als Nächstes wollte ich sehen, ob es auch etwas bauen kann statt nur Fragen zu beantworten. 

Ich bat es, eine Website zu erstellen. Es generierte den Code und zeigte die Website neben dem Chat an – so konnte ich das Ergebnis sehen und parallel weiter iterieren. 

4. Ein Vision-Modell testen

Unsloth Desktop unterstützt auch Vision-Language-Modelle. Du kannst also ein Bild direkt in den Chat hochladen und dazu Fragen stellen.

Für meinen Test wurde der benötigte Vision-Encoder beim Modell-Download automatisch installiert. 

Ich habe einfach ein Bild hochgeladen, eine Frage dazu gestellt und innerhalb von Sekunden eine sehr präzise Antwort erhalten.

Vision-Support ist besonders hilfreich in Kombination mit Coding-Agenten. 

Du kannst z. B. einen Screenshot einer Website hochladen und auf einen Bug hinweisen, ein Design zeigen, das nachgebaut werden soll, oder eine bestehende Oberfläche als visuelle Referenz für deine eigene App nutzen. 

5. Unsloth Desktop mit OpenCode verwenden

Kleinere Modelle eignen sich gut fürs Testen und leichtes agentisches Coding. 

Für einen ernsthaften lokalen Coding-Agenten, der größere Projekte stemmen kann, brauchst du jedoch ein stärkeres Modell, das trotzdem in den VRAM deiner GPU passt.

In meinem Fall nutze ich eine RTX 3090 mit 24 GB VRAM und habe daher die Q4-Version von Muse Glimmer 30B heruntergeladen.

Öffne den Tab Models in Unsloth Desktop, suche nach dem Modell und lade die Version UD-Q4_K_XL herunter. 

Nach wenigen Minuten sollte das Modell heruntergeladen und auf deinem System geladen sein.

Standardmäßig war das Kontextfenster auf etwa 4K gesetzt – zu klein für einen Coding-Agenten, der über mehrere Dateien arbeitet. 

Öffne das rechte Seitenpanel in Unsloth Desktop, stelle die Kontextlänge auf 64K, scrolle nach unten und lade das Modell neu. 

Nachdem das Modell neu geladen ist, gehe zu Settings → System und prüfe die GPU-Speicherauslastung. 

Bei mir belegte das Modell etwa 22 GB VRAM, wodurch rund 2 GB für den KV-Cache übrig blieben. Für meinen Test war das ausreichend; die verfügbare Kapazität hängt aber von deiner GPU und der Last ab. 

Öffne anschließend Settings → Agents und wähle OpenCode als Coding-Agenten. 

Unsloth Desktop generiert automatisch den Befehl, den du zum Starten benötigst. 

Lege zuerst per Terminal ein Projektverzeichnis an:

mkdir unsloth-project
cd unsloth-project

Starte danach OpenCode:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Achte darauf, die Kontextlänge im Befehl anzugeben. 

Sonst startet OpenCode eventuell mit dem standardmäßig kleineren Kontextfenster.

Der Befehl installiert OpenCode bei Bedarf und startet anschließend das Terminal-Interface – mit deinem lokalen Unsloth-Modell einsatzbereit. 

6. Ein Projekt mit OpenCode bauen

Da nun alles verbunden ist, wollte ich den lokalen Coding-Agenten richtig testen. 

Statt nur ein kleines Snippet zu generieren, bat ich ihn, ein komplettes Mario-ähnliches Spiel in Python von Grund auf zu bauen.

Dazu habe ich diesen Prompt verwendet:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. 
Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode erstellte zunächst eine To-do-Liste und arbeitete das Projekt dann Schritt für Schritt ab. Es legte die Dateien an, schrieb die Spiellogik, kümmerte sich um die Abhängigkeiten und gab mir am Ende den Startbefehl für das Spiel. 

Das fertige Spiel lief, war aber noch etwas buggy. 

Die Q4-Version von Muse Glimmer hat bei dieser größeren Coding-Aufgabe nicht ganz so stark performt wie erhofft. Wenn du genug VRAM hast, empfehle ich für bessere Coding-Performance die Q8-Version. 

Weitere wichtige Funktionen von Unsloth Desktop

Bisher haben wir Unsloth Desktop vor allem für LLMs und Coding-Agenten genutzt – es kann jedoch deutlich mehr. 

Die Idee: Die meisten lokalen KI-Workflows in einer App bündeln, statt für jede Aufgabe ein eigenes Tool aufzusetzen.

LLM-Feintuning

Du kannst LLMs lokal mit Methoden wie LoRA und QLoRA feinabstimmen. 

Die No-Code-Trainingsoberfläche erleichtert es, den Datensatz zu wählen, Trainingsparameter zu setzen, den Lauf zu starten und das finale Modell zu exportieren – ohne die gesamte Pipeline selbst zu bauen.

Bildgenerierung und -bearbeitung

Du kannst unterstützte Diffusionsmodelle herunterladen und Bilder lokal aus Textprompts erzeugen. Außerdem lassen sich vorhandene Bilder hochladen, gewünschte Änderungen beschreiben und mit den unterstützten Modellen bearbeiten.

Bild-LoRA-Training

Wenn du über reine Generierung hinausgehen willst, kannst du auch Bild-LoRAs auf deinem eigenen Datensatz trainieren. 

So bringst du einem Modell ein bestimmtes Motiv, einen Charakter, ein Produkt oder einen visuellen Stil bei und nutzt diese LoRA anschließend für weitere Generierungen.

Videogenerierung

Unsloth Desktop unterstützt auch lokale Videogenerierung mit passenden Diffusionsmodellen. 

So kannst du Bild- und Videogenerierung in derselben App testen, statt dafür getrennte Umgebungen aufzusetzen.

Sprach- und Audiomodelle

Du kannst mit Speech-to-Text, Text-to-Speech und weiteren unterstützten Audiomodellen arbeiten. 

Damit transkribierst du Audio, erzeugst Sprache und experimentierst lokal mit verschiedenen Audio-KI-Workflows.

Data Recipes

Data Recipes helfen dir, Dateien wie PDFs und CSVs in Datensätze zu verwandeln, die du prüfen, bearbeiten und fürs Training vorbereiten kannst. 

Das ist besonders nützlich, wenn du eigene Daten hast, aber den Datensatz nicht manuell von Grund auf bauen willst.

Modellspeicher und -verwaltung

Wenn du mehr Modelle lädst und eigene trainierst, wird das Management schnell unübersichtlich. 

Unsloth Desktop bietet dir eine zentrale Stelle, um heruntergeladene Modelle, Datensätze, Adapter, Trainingsläufe und weitere lokale Assets zu verwalten.

Modelle exportieren

Unsloth Studio unterstützt offiziell den Export von Safetensors/LoRA-Modellen nach GGUF und andere Formate. llama.cpp wird ausdrücklich für das Ausführen exportierter Modelle unterstützt. 

Lokale API

Unsloth Desktop kann dein lokales Modell über eine OpenAI-kompatible API bereitstellen. So verbindest du lokal laufende Modelle einfach mit anderen Anwendungen, Coding-Tools oder KI-Projekten – ohne von einer gehosteten Modell-API abhängig zu sein.

Fazit

Unsloth Desktop entwickelt sich in eine sehr spannende Richtung. 

LLMs, Feintuning, Bild- und Videogenerierung, Coding-Agenten, Datensätze und lokale APIs in einer Desktop-App machen lokale KI deutlich zugänglicher – vor allem für alle, die nicht jedes Tool manuell konfigurieren wollen.

Allerdings wirkt noch nicht alles komplett ausgereift. 

Auf älteren GPUs oder Systemen mit veralteten CUDA-Treibern kann es nötig sein, Abhängigkeiten zu prüfen und unter Linux oder Windows manches manuell zu installieren.

Ich bin auch auf Probleme bei Bildgenerierung, Kontexteinstellungen und Coding-Agenten gestoßen. 

Erhöhst du zum Beispiel den Modellkontext in Unsloth Desktop, musst du unter Umständen dieselbe Kontextlänge auch beim Starten deines Coding-Agenten explizit setzen. Einige Website-Generator- und Canvas-Workflows verhielten sich zudem nicht immer wie erwartet.

Unsloth hat in kurzer Zeit sehr viele Funktionen hinzugefügt, aber noch wirkt nicht alles völlig stabil. Ich rechne damit, dass vieles robuster wird, sobald Desktop weiter optimiert und gereift ist.

Wenn mein Hauptziel aktuell nur ist, ein lokales LLM für einen KI-Coding-Agenten oder eine andere App bereitzustellen, bevorzuge ich weiterhin llama.cpp. 

Damit habe ich deutlich mehr Kontrolle über Modell, Kontext, GPU-Offloading, Speichernutzung und andere Low-Level-Einstellungen.

Unsloth Desktop ist wesentlich einfacher zu bedienen, während llama.cpp weiterhin die bessere Wahl ist, wenn ich die Konfiguration feinjustieren und das Maximum aus meiner Hardware herausholen will.