Come eseguire Unsloth Studio in locale: guida passo passo

Probabilmente hai già sentito parlare di Unsloth. Sono ampiamente conosciuti per rilasciare rapidamente versioni quantizzate dei nuovi modelli open, rendendone più semplice il download, il caricamento e l’esecuzione in ambienti di inferenza locali. Hanno anche costruito una solida reputazione per le guide pratiche su come eseguire e fare fine-tuning degli ultimi modelli open senza trasformare il setup in un mal di testa. 

Più recentemente, Unsloth Studio riunisce gran parte di quel flusso di lavoro in un unico posto: un’interfaccia web locale per eseguire e addestrare modelli, con supporto per GGUF e Safetensors, confronto affiancato dei modelli, tuning automatico dei parametri di inferenza, tool calling e un’API compatibile con OpenAI.

In questo tutorial ti guiderò nella configurazione dell’ambiente necessario per Unsloth Studio, nell’installazione in locale, nell’avvio dell’interfaccia e nel test di un modello direttamente dalla UI. Niente pipeline manuali disordinate, niente rimbalzi tra cinque strumenti diversi e nessun bisogno di scrivere codice di inferenza extra solo per iniziare. 

Puoi anche dare un’occhiata alla nostra guida al fine-tuning con Unsloth Studio e alla nostra guida originale a Unsloth per saperne di più. 

Che cos’è Unsloth Studio?

Unsloth Studio è la nuova interfaccia web locale open-source di Unsloth per eseguire, addestrare ed esportare modelli open da un unico posto. Invece di destreggiarti tra strumenti separati per inferenza, fine-tuning e test, porta tutto in un unico setup che puoi eseguire sulla tua macchina. 

Unsloth Studio supporta modelli GGUF e Safetensors, funziona su Mac, Windows e Linux, ed è pensato per rendere la sperimentazione con i modelli locali molto più semplice per chi preferisce un flusso di lavoro visivo invece di mettere insieme script manualmente.

Funzionalità principali di Unsloth Studio

Ci sono diverse funzionalità notevoli che rendono questo strumento così interessante, tra cui:

• Cerca, scarica ed esegui modelli in locale da un’unica interfaccia
• Confronta due modelli affiancati
• Usa tool calling auto-riparante e web search integrata
• Regola automaticamente le impostazioni di inferenza
• Modifica facilmente i template di chat
• Accedi ad API compatibili con OpenAI
• Esegui il fine-tuning dei modelli con un flusso no-code
• Crea dataset automaticamente da file come PDF, CSV, JSON, DOCX e TXT
• Esporta modelli in formati come GGUF e Safetensors a 16 bit

Prerequisiti per Unsloth Studio

Prima di iniziare l’installazione, assicurati che il tuo sistema disponga degli strumenti di base necessari per eseguire Unsloth Studio in locale. Il setup è abbastanza gestibile, ma se vuoi fare fine-tuning dei modelli invece di usare solo la chat, ti servirà un ambiente più completo, pronto per GPU.

• Python: versione 3.11–3.13
• Git: necessario per clonare e gestire il repository
• CMake: richiesto per compilare componenti locali durante il setup
• Strumenti macOS: Homebrew e OpenSSL possono essere necessari su macOS
• GPU NVIDIA: necessaria se vuoi fare fine-tuning dei modelli in locale
• Driver NVIDIA aggiornati: raccomandati per evitare problemi di setup, CUDA o training

In parole povere, la chat locale di base è più facile da far girare su CPU, ma il fine-tuning richiede l’hardware NVIDIA giusto e driver aggiornati, oltre agli strumenti standard di setup.

Configura il tuo ambiente RunPod

Per questo tutorial useremo una macchina RunPod A40. Avrei potuto eseguire tutto sul mio laptop, ma non ho abbastanza spazio di archiviazione e la mia connessione è troppo lenta per scaricare comodamente modelli e dipendenze di grandi dimensioni. 

Quindi, invece di affrontare lunghi tempi di download, build lenti e il rischio di appesantire il mio sistema locale, uso RunPod come semplice opzione cloud, molto più rapida da configurare per questo flusso di lavoro.

• Inizia creando un nuovo pod A40 e selezionando il template PyTorch 2.8.0 più recente. 
• Prima del deploy, modifica le impostazioni del pod e imposta il disco del container a 50 GB e il volume disk a 100 GB, così avrai spazio sufficiente per installazione e download dei modelli. 
• Dovresti anche esporre la porta HTTP 8888 per Jupyter Notebook e la porta 8910 per Unsloth Studio. 
• Aggiungere il tuo token Hugging Face come variabile d’ambiente è opzionale, ma può velocizzare i download dei modelli e facilitare l’accesso ai modelli con gate.

Quando tutto ti sembra a posto, salva le modifiche, rivedi il riepilogo del pod ed effettua il deploy.

Installa Unsloth Studio

Nel giro di un minuto circa vedrai un link nella dashboard di RunPod per accedere a JupyterLab. Aprilo, quindi avvia un terminale. Puoi anche usare SSH e port forwarding locale, o il terminale web, ma trovo il terminale di JupyterLab molto più semplice per questo tipo di setup. È rapido da aprire, facile da gestire e ti permette di mantenere più terminali aperti contemporaneamente senza problemi.

Per prima cosa, aggiorna pip e installa uv. 

pip install --upgrade pip && pip install uv

Poi crea una nuova cartella per il progetto e spostati al suo interno.

mkdir Unsloth-Studio && cd Unsloth-Studio

Successivamente, crea un ambiente virtuale usando uv.

uv venv

Dovresti vedere un output simile a questo, che mostra che l’ambiente virtuale è stato creato correttamente.

Using CPython 3.12.3 interpreter at: /usr/local/bin/python
Creating virtual environment at: .venv
Activate with: source .venv/bin/activate

Ora attiva l’ambiente virtuale.

source .venv/bin/activate

Una volta attivo l’ambiente, installa Unsloth usando uv.

uv pip install unsloth --torch-backend=auto

Infine, esegui il comando di setup dello Studio. Questo passaggio gestisce per te la parte più pesante del setup, inclusa l’installazione di Node.js, npm, la build di llama.cpp e l’installazione dei pacchetti Python extra necessari per questa esecuzione.

unsloth studio setup

Al termine del setup, vedrai il comando necessario per avviare Unsloth Studio in locale.

Avvia Unsloth Studio in locale

Ricorda che all’inizio abbiamo esposto la porta 8910 durante la modifica del template RunPod. 

Ora avvieremo Unsloth Studio su quella porta, così potremo accedervi direttamente tramite il link di RunPod invece di usare solo localhost all’interno della macchina.

Esegui il seguente comando nel terminale per avviare l’inferenza web di Unsloth Studio.

unsloth studio -H 0.0.0.0 -p 8910

Una volta avviato, dovresti vedere che ha rilevato la GPU A40, insieme alle credenziali admin predefinite e al modello di default già scaricato e pronto all’uso. Nella maggior parte dei casi è disponibile di default un modello Qwen3.5 4B quantizzato, così puoi iniziare subito a testare lo Studio senza dover prima scaricare un altro modello.

Invece di cliccare sul link localhost mostrato nel terminale, torna alla dashboard di RunPod e apri la scheda Connect. Da lì, clicca il link per la porta 8910 per aprire l’interfaccia web di Unsloth Studio.

Al primo accesso, lo Studio ti chiederà di creare una nuova password. Impostane una, così l’istanza è protetta e non esposta ad altre persone che usano quel link pubblico.

Dopodiché verrai indirizzato al flusso di onboarding, che puoi saltare se vuoi. È utile per una rapida panoramica dell’interfaccia, dei pulsanti e delle sezioni principali, ma non è necessario per iniziare.

Una volta dentro, atterrerai sulla dashboard di Unsloth Studio. L’interfaccia è organizzata in quattro schede principali. 

Studio è dove gestisci il fine-tuning, Recipes ti consente di creare dataset da file come PDF e CSV, Export ti aiuta a salvare i modelli fine-tunati in formati come GGUF o Safetensors a 16 bit, e Chat è dove interagisci direttamente con il modello.

Testa l’interfaccia chat di Unsloth Studio

Clicca sulla scheda Chat, poi sul pulsante Select model nell’angolo in alto a sinistra. Come mostrato nello screenshot, il modello Qwen3.5 4B è già scaricato. Cliccaci sopra, poi seleziona la versione quantizzata installata e sei pronto a usarlo. Serviranno pochi secondi per caricare il modello nella memoria della GPU.

Per testarlo, gli abbiamo dato un problema di matematica e la risposta è stata sorprendentemente veloce, fluida e coerente.

Puoi anche abilitare la ricerca web e chiedere argomenti recenti. Quando questa opzione è attiva, Unsloth Studio esegue prima una ricerca sul web, poi passa le informazioni recuperate al modello così da generare una risposta più fondata.

Come puoi vedere, ha restituito i primi cinque risultati di testate importanti sul mercato azionario.

Puoi anche cercare qualsiasi modello ti piaccia su Hugging Face e scaricarlo direttamente dall’interfaccia. In questo esempio, abbiamo scaricato Qwen3.5 9B quantizzato a 4 bit.

Una volta cliccato sul modello, inizia il download. A seconda delle dimensioni del modello e della tua velocità di connessione, potrebbe volerci un po’ per completarlo.

Dopo il completamento, puoi caricare il modello appena scaricato. In pochi secondi, Unsloth Studio passa dal modello precedente a quello nuovo, dandoti accesso a un modello più capace.

Abbiamo poi chiesto al nuovo modello di generare arte SVG di un bradipo.

Ha prima ragionato sulla richiesta, poi ha generato il codice SVG e infine ha mostrato il disegno del bradipo direttamente nell’interfaccia.

Sembrava decisamente un bradipo, anche se non particolarmente impressionante. Con un modello più grande e potente, di solito si ottengono risultati migliori, soprattutto se il tuo sistema ha una GPU più performante e abbastanza RAM.

L’interfaccia chat di Unsloth Studio include anche diverse opzioni di configurazione. Puoi regolare i parametri di generazione, aggiungere un system prompt, modificare il template di chat e sperimentare più liberamente con il comportamento del modello.

Considerazioni finali

Nel complesso, usare Unsloth Studio mi è piaciuto molto. Il setup non è stato fluido come mi aspettavo, e ci sono stati un paio di punti dolenti lungo il percorso, ma una volta che tutto è finalmente partito, l’esperienza per me è cambiata completamente. 

Il problema più grande è stato il passaggio unsloth studio setup. Sulla carta sembra semplice, ma in pratica ci sono voluti quasi 15–20 minuti solo per installare tutto. Probabilmente avrei potuto fare alcune parti dell’installazione da solo in molto meno tempo. 

Anche la documentazione menziona qualcosa più vicino a 5–10 minuti, ma nel mio caso ci è voluto decisamente di più.

Il secondo punto dolente è stato lo spazio di archiviazione. Inizialmente pensavo mi sarebbe servito uno spazio moderato, ma il setup completo ha occupato quasi 100 GB, molto più di quanto mi aspettassi. Non sono del tutto sicuro di dove sia finito tutto quello spazio. 

Potrebbe essere per via dell’ambiente virtuale, delle dipendenze scaricate, dei file del modello, degli artefatti di build o di alcuni strumenti installati in modo più globale durante il setup. Quella parte non è stata molto trasparente. 

Ma nonostante questi problemi, una volta avviato davvero Unsloth Studio, l’ho adorato. L’interfaccia è curata, veloce e sorprendentemente facile da usare. 

Tutto è in un unico posto, il flusso di lavoro è scorrevole e rende la sperimentazione con i modelli locali molto più accessibile. Quindi, anche se il setup potrebbe mettere un po’ alla prova la tua pazienza, l’esperienza d’uso del prodotto fa valere la pena.