Unsloth Studio Guide zum Fine-Tuning von LLMs

Unsloth Studio macht LLM-Fine-Tuning für alle zugänglicher – über eine lokale, browserbasierte Oberfläche, die den Großteil von Setup und Coding-Aufwand abnimmt. Die No-Code-Weboberfläche kümmert sich um das Laden von Modellen, die Formatierung von Datensätzen, das Setzen von Hyperparametern und das Live-Monitoring des Trainings.

In diesem Tutorial gehen wir den kompletten Workflow durch, um ein LLM mit Unsloth Studio zu fine-tunen. Wir bereiten Modell und Daten vor, starten den Fine-Tuning-Job, testen das feinabgestimmte Modell lokal in der Chat-Oberfläche und exportieren es schließlich für die spätere Nutzung.

Unsloth Studio unterstützt die lokale Installation unter Linux, Windows, macOS und WSL. Die Export-Tools decken Formate wie GGUF, Safetensors und LoRA ab – zur Weiterverwendung in Tools wie llama.cpp, Ollama und vLLM.

Für viele kleine bis mittlere Fine-Tuning-Projekte lässt sich der Prozess erstaunlich schnell abschließen, sobald die Umgebung steht. Damit ist Unsloth Studio eine praktische Option für Einsteiger, die einen einfachen Weg von den Daten zum funktionierenden, feinabgestimmten Modell suchen.

Ich empfehle dir außerdem meinen anderen Guide How to Run Unsloth Studio Locally für weitere Details. 

So feinabstimmst du LLMs mit Unsloth Studio

In den folgenden Schritten zeige ich dir, wie du mit Unsloth Studio ins LLM-Fine-Tuning startest: 

1. Prüfe, ob dein Setup wirklich trainieren kann

Bevor du Unsloth Studio installierst, stell sicher, dass deine Maschine Training unterstützt. Unsloth Studio läuft unter Windows, Linux, WSL und macOS, aber Training hängt von deiner Hardware ab.

Aktuell wird vollständiges Training auf NVIDIA-GPUs und Intel-GPUs unterstützt. Auf Mac und reinen CPU-Systemen kannst du Chat und Data Recipes nutzen; MLX-Training soll später folgen.

Voraussetzungen für Training unter Linux:

• Ubuntu
• Eine NVIDIA-GPU
• Installierte NVIDIA-Treiber
• Git
• Python 3.11 oder neuer, aber unter 3.14

2. Unsloth Studio installieren

Vor der Installation lohnt sich der Tutorial-Artikel How to Run Unsloth Studio Locally: Step-by-Step Guide. Er führt ausführlicher durch das Einrichten von Runpod, die Installation von Unsloth Studio und das Öffnen im Browser.

Für dieses Tutorial haben wir eine kleine Änderung vorgenommen: Statt eines A10-Pods nutzten wir einen RTX A6000 GPU-Pod. Der Hauptgrund: Das A10-Setup kann bei der Installation von Abhängigkeiten und der Vorbereitung der Umgebung für Unsloth Studio länger dauern.

Um Unsloth Studio zu installieren, nutze den offiziellen One-Liner:

curl -fsSL https://unsloth.ai/install.sh | sh

Der Installer richtet zuerst die benötigten Python-Abhängigkeiten mit uv ein.

Anschließend startet das Unsloth-Studio-Setupskript und installiert die Dateien für die lokale Web-Inferenz.

Sobald alles heruntergeladen und konfiguriert ist – inklusive Frontend-Dateien und Modellkomponenten – zeigt dir Unsloth Studio die nächsten Schritte, um den Server zu starten und die Oberfläche im Browser zu öffnen.

Hinweis: Die erste Installation kann 5 bis 10 Minuten dauern, da einige llama.cpp-Binärdateien kompiliert werden müssen.

3. Studio starten

Sobald die Installation abgeschlossen ist, kannst du Unsloth Studio mit folgenden Befehlen starten:

source unsloth_studio/bin/activateunsloth studio -H 0.0.0.0 -p 8910

Wenn du lokal arbeitest, öffne diesen Link im Browser:

http://localhost:8910

Wenn du Runpod verwendest, öffne in deinem Runpod-Dashboard den Reiter Connect und klicke auf den Link für Port 8910.

Beim ersten Öffnen von Unsloth Studio wirst du aufgefordert, ein Passwort für deine Instanz zu vergeben. Das schützt den Zugriff, insbesondere wenn du einen öffentlichen oder extern zugänglichen Link nutzt.

4. Die 4 Bereiche des Studio-Bildschirms verstehen

Nach dem Start ist der Hauptbildschirm in vier Kernbereiche gegliedert: Model, Dataset, Parameters und Training/Config. Zusammen decken sie den gesamten Fine-Tuning-Workflow ab – von der Wahl des Basismodells bis zum Start des Trainings und dem Monitoring des Fortschritts.

Model

Hier wählst du Basismodell und Trainingsmethode. Du kannst einen lokalen Modellpfad angeben, ein Modell auf Hugging Face suchen, die Fine-Tuning-Methode wie QLoRA (4-Bit) festlegen und optional deinen Hugging-Face-Token hinterlegen.

Dataset

In diesem Bereich wählst oder lädst du deine Trainingsdaten. Du kannst einen Datensatz von Hugging Face auswählen, Subset und Split definieren und bei Bedarf eigene Dateien hochladen.

Parameters

Hier konfigurierst du die wichtigsten Trainingseinstellungen wie maximale Schrittzahl, Kontextlänge und Lernrate. Außerdem gibt es aufklappbare Optionen für LoRA und weitere Trainings-Hyperparameter.

Training und Config

In diesem Bereich startest und überwachst du das Training. Sobald Modell und Datensatz bereit sind, kannst du den Lauf starten, den Fortschritt verfolgen und die Trainingskonfiguration hochladen oder speichern.

5. Modell auswählen

Im Bereich Model kannst du entweder ein Modell von Hugging Face suchen oder ein lokales Modell auf deiner Maschine wählen. Unsloth Studio unterstützt die direkte Hub-Suche; lokale Modelle in ~/.unsloth/studio/models oder im Hugging-Face-Cache erscheinen ebenfalls in der Liste.

Für dieses Tutorial verwenden wir Qwen3.5-9B als Basismodell. Es ist kompakt, leistungsfähig und eignet sich gut für Fine-Tuning im kleinen Maßstab und lokale Experimente. 

6. Trainingsmethode wählen

Unsloth Studio bietet drei Trainingsmethoden: QLoRA, LoRA und Full Fine-tuning. QLoRA nutzt ein 4-Bit-quantisiertes Basismodell mit LoRA-Adapter und benötigt am wenigsten VRAM. 

LoRA behält das Basismodell in voller Präzision und ergänzt einen LoRA-Adapter – das braucht mehr Speicher. Full Fine-tuning aktualisiert alle Modellgewichte und erfordert am meisten VRAM.

Für dieses Tutorial nutzen wir QLoRA, weil die Methode am speichereffizientesten ist und sich in der Regel am einfachsten für kleinere GPU-Setups eignet.

7. Datensatz laden

Im Bereich Dataset kannst du Daten von Hugging Face laden oder lokale Dateien hochladen. Unsloth Studio unterstützt die automatische Formatierung und gängige Layouts wie Alpaca, ChatML und ShareGPT. Zudem gibt es Tools für Split-Auswahl, Spaltenzuordnung und Datensatz-Vorschau. 

Wähle hier den Datensatz Unsloth Latex OCR, nimm den Train-Split und lass den Evaluation-Split leer, um das Training zu beschleunigen. Das Format belassen wir auf Auto, damit Studio die Struktur selbst erkennt.

Hinweis: Falls Studio die Felder nicht vollständig erkennt, öffnet sich eine Vorschau, in der du Spalten wie instruction, input, output oder image zuordnen kannst. Vorschläge werden oft automatisch gesetzt.

Mit View dataset kannst du die Daten vor dem Training inspizieren. In unserem Fall enthält der Datensatz Bild- und Textspalten – ideal für multimodales Fine-Tuning.

8. Zentrale Hyperparameter setzen

Im Bereich Parameters bündelt Unsloth Studio die Einstellungen in aufklappbaren Panels. Wir halten es hier einfach und passen nur wenig an.

Wechsle zuerst die Trainingsbegrenzung von steps auf epochs und setze sie auf 1 Epoche. Für diesen kurzen Beispiel-Lauf reicht eine vollständige Runde über den Datensatz. Die übrigen Standardeinstellungen lassen wir unverändert:

• Epochen: 1
• Kontextlänge: 2048
• Lernrate: 2e-4

Öffne als Nächstes die LoRA Settings. Für diesen Guide belassen wir auch hier die Standardwerte:

• Rank: 16
• Alpha: 16

Du kannst außerdem die Training Hyperparameters ausklappen, um Optimizer, Scheduler und speicherbezogene Optionen anzupassen. 

Für dieses Beispiel belassen wir alles Weitere unverändert und nutzen die Standardkonfiguration.

9. Training starten

Bevor du startest, solltest du deine Einstellungen speichern. So kannst du sie später leicht wieder laden oder mit dem Team teilen, um Ergebnisse reproduzierbar zu machen.

Wenn alles bereit ist, klicke auf Start Training.

Studio öffnet die Trainingsansicht, in der du die Logs beim Start des Laufs verfolgen kannst. Zunächst siehst du die üblichen Setup-Schritte wie das Laden von Python-Bibliotheken, die Datenaufbereitung und die Initialisierung der Fine-Tuning-Pipeline.

Sobald das Training läuft, aktualisiert sich die Ansicht mit Live-Fortschritt – inklusive Loss, Steps und weiteren Trainingsdetails.

Weiter unten findest du Diagramme für Metriken wie Training Loss, Learning Rate und Gradient Norm. 

Nach Abschluss des Trainings kannst du das Modell exportieren oder es im Chat vergleichen. Für dieses Tutorial klicke auf Compare in Chat, um das feinabgestimmte Modell zu testen.

10. Modell in der Chat-Inferenz testen

Es kann ein paar Sekunden dauern, bis das feinabgestimmte Modell in der Chat-Oberfläche geladen ist. 

Sobald es bereit ist, erscheint der neue Modellname im Bereich Select Model.

Zum Testen gaben wir dem Modell ein LaTeX-Gleichungsbild, das es korrekt in Text transkribierte.

Das Ergebnis ist überzeugend. Trotz des kleinen Beispieldatensatzes kam das feinabgestimmte Modell gut mit der Gleichung zurecht und zeigte starke Leistung bei dieser LaTeX-OCR-Aufgabe.

11. Trainiertes Modell exportieren

Nach dem Testen wechselst du zum Bereich Export. Wähle deinen Trainingslauf, den Checkpoint und das gewünschte Exportformat. 

Unsloth unterstützt den Export als zusammengeführtes Modell, nur LoRA oder GGUF für lokale Inferenz-Tools.

Für dieses Tutorial exportieren wir im GGUF-Format und wählen die Quantisierung Q4_K_M. 

Das ist eine gute Wahl für die lokale Nutzung: Das Modell bleibt kompakter und funktioniert dennoch gut in Tools wie Ollama, llama.cpp, LM Studio und Jan AI.

Vor dem Export fragt Studio, ob du das Modell lokal speichern oder zu Hugging Face pushen möchtest. In diesem Guide speichern wir lokal.

Wenn du zu Hugging Face pushen willst, brauchst du die passende Authentifizierung, z. B. einen Login oder Token mit Schreibrechten.

Fazit 

Unsloth Studio erleichtert den Einstieg ins Fine-Tuning – besonders für alle, die mit offenen Modellen arbeiten möchten, ohne Stunden in komplexe Trainingspipelines zu stecken. 

Von der Installation über Training, Chat-Tests bis zum Export ist der gesamte Workflow praxisnah und einsteigerfreundlich organisiert.

In diesem Tutorial habe ich dich durch den vollständigen Fine-Tuning-Workflow in Unsloth Studio geführt: Wir haben das Studio auf einer GPU-Maschine installiert, die Weboberfläche gestartet, Qwen3.5-9B als Basismodell gewählt, den LaTeX-OCR-Datensatz geladen, die zentralen Trainingseinstellungen konfiguriert, mit QLoRA feinabgestimmt, das Modell im Chat getestet und es schließlich für die lokale Nutzung exportiert.

Wenn du neu im LLM-Fine-Tuning bist, ist Unsloth Studio ein hervorragender Startpunkt. Es senkt die Einstiegshürden, hält den Workflow übersichtlich und bietet dir einen einfachen Weg, Modelle lokal zu trainieren und auszuführen. Schau dir auch den Fine-Tuning With Llama 3 Kurs an – er bietet praxisnahe Beispiele für den Fine-Tuning-Prozess.