Corso
Programmazione assistita dall'AI per sviluppatori
1 ore 30 min
11.4K
Unsloth Studio ha ricevuto un grande aggiornamento con Unsloth Desktop, che ti permette di eseguire tutto in locale come applicazione desktop. È particolarmente utile se non vuoi perdere tempo a installare pacchetti, configurare strumenti diversi o lanciare continuamente comandi nel terminale.
Unsloth Desktop è, in pratica, una soluzione tutto-in-uno per workflow di IA locali.
Puoi eseguire e fare fine-tuning di LLM, testare modelli di visione, generare immagini e video, addestrare modelli di immagini, lavorare con l'audio, usare strumenti di coding con IA, gestire i modelli ed esporre un'API locale, tutto dalla stessa applicazione.
In questa guida, ti mostrerò come installare Unsloth Desktop su Linux, eseguire LLM locali, collegarlo a OpenCode e usare un modello locale per creare un progetto Python.
Esploreremo anche alcune delle altre funzionalità e vedremo quanto puoi fare in locale da un'unica applicazione.
1. Verifica la tua GPU NVIDIA
Prima di installare Unsloth Desktop, è una buona idea controllare rapidamente che la tua GPU NVIDIA sia rilevata e che CUDA funzioni correttamente.
Questo aiuterà a evitare problemi in seguito quando inizierai a eseguire o fare fine-tuning dei modelli in locale.
Per prima cosa, apri il terminale ed esegui:
nvidia-smi
Dovrebbe mostrare la tua GPU NVIDIA, la versione del driver, la memoria GPU disponibile e le informazioni sulla compatibilità CUDA.
Poi, controlla il compilatore CUDA installato sul tuo sistema:
nvcc --versionDovresti vedere un output simile a questo:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0Se entrambi i comandi funzionano e la tua GPU è rilevata correttamente, il sistema è pronto per Unsloth Desktop.
2. Scarica e installa Unsloth Desktop
Poi vai sul sito ufficiale di Unsloth e scarica Unsloth Desktop.
Assicurati di selezionare il pacchetto corretto per il tuo sistema operativo.
Fonte: Scarica Unsloth Desktop per Linux
Dopo il download, installa il pacchetto come faresti con qualsiasi altra applicazione desktop.
Su Linux, a seconda della distribuzione, potrebbe essere un pacchetto .deb.
Una volta completata l'installazione, avvia Unsloth Desktop.
L'applicazione dovrebbe rilevare automaticamente l'hardware disponibile e darti accesso all'interfaccia principale.
Da qui puoi esplorare e scaricare modelli, eseguire LLM in locale, fare fine-tuning, lavorare con immagini e altre modalità, gestire i tuoi modelli locali e accedere agli altri strumenti disponibili in Unsloth Desktop.
3. Scarica ed esegui un LLM in Unsloth Desktop
Apri l'hub dei modelli in Unsloth Desktop e cerca il modello che vuoi eseguire.
Per questo test, ho usato uno dei miei modelli piccoli preferiti:
empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face
Dopo aver scaricato il modello, puoi caricarlo e iniziare a chattare direttamente dentro Unsloth Desktop.
Sul mio sistema ottenevo circa 102 token al secondo in media, che sono saliti a circa 125 token al secondo per alcune richieste legate al coding.
Ho anche abilitato l'accesso al web e posto domande sulle ultime notizie di borsa.
Questo rende la chat locale molto più utile quando ti serve informazione oltre ciò che è già contenuto nel modello.
Poi volevo vedere se poteva costruire qualcosa invece di limitarsi a rispondere alle domande.
Gli ho chiesto di creare un sito web e ha generato il codice mostrando il sito accanto alla chat, rendendo facile vedere il risultato mentre continuavo a fare modifiche.
4. Prova un modello di visione
Unsloth Desktop supporta anche i modelli visione-linguaggio, quindi puoi caricare un'immagine direttamente nella chat e fare domande a riguardo.
Nel mio test, l'encoder di visione richiesto è stato installato automaticamente quando ho scaricato il modello.
Ho semplicemente caricato un'immagine, fatto una domanda e in pochi secondi il modello ha restituito una risposta molto accurata.
Il supporto alla visione è particolarmente utile quando lavori con agenti di coding.
Per esempio, puoi caricare uno screenshot di un sito e indicare un problema da risolvere, mostrare all'agente un design da replicare o usare un'interfaccia esistente come riferimento visivo mentre costruisci la tua applicazione.
5. Usa Unsloth Desktop con OpenCode
I modelli più piccoli sono ottimi per test e anche per un po' di coding agentico leggero.
Ma se vuoi un agente di coding locale serio che gestisca progetti più grandi, ti servirà un modello più potente che rientri comunque nella VRAM della tua GPU.
Nel mio caso, uso una RTX 3090 con 24 GB di VRAM, quindi ho scaricato la versione Q4 di Muse Glimmer 30B.
Apri la scheda Models in Unsloth Desktop, cerca il modello e scarica la versione UD-Q4_K_XL.
In pochi minuti, il modello dovrebbe essere scaricato e caricato sul tuo sistema.
Di default, la finestra di contesto era impostata a circa 4K, troppo piccola per un agente di coding che lavora su più file.
Apri il pannello a destra in Unsloth Desktop, cambia la lunghezza del contesto a 64K, scorri in basso e ricarica il modello.
Dopo il reload del modello, vai su Settings → System per controllare l'uso della memoria GPU.
Nel mio caso, il modello usava circa 22 GB di VRAM, lasciando circa 2 GB disponibili per la KV cache. È bastato per i miei test, anche se la memoria disponibile dipende dalla tua GPU e dal carico.
Poi apri Settings → Agents e seleziona OpenCode come agente di coding.
Unsloth Desktop genererà automaticamente il comando da lanciare.
Per prima cosa, crea una directory di progetto usando il terminale:
mkdir unsloth-project
cd unsloth-projectPoi avvia OpenCode:
unsloth start opencode \
--model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
--context-length 64000Assicurati di includere la lunghezza del contesto nel comando.
Altrimenti, OpenCode potrebbe avviarsi con la finestra di contesto predefinita più piccola.
Il comando installerà OpenCode se necessario e poi avvierà la sua interfaccia da terminale con il tuo modello locale di Unsloth pronto all'uso.
6. Crea un progetto con OpenCode
Ora che è tutto collegato, volevo mettere alla prova l'agente di coding locale come si deve.
Invece di chiedergli un piccolo snippet, gli ho chiesto di costruire un gioco in stile Mario in Python da zero.
Ho usato questo prompt:
Create a simple Mario-style 2D platform game in Python using Pygame.
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag.
Use simple built-in shapes instead of external assets.
Create the files, install dependencies, test the game, and tell me how to run it.OpenCode ha prima creato una to-do list e poi ha iniziato a lavorare sul progetto passo dopo passo. Ha creato i file, scritto la logica di gioco, gestito le dipendenze e infine mi ha dato il comando per avviare il gioco.
Il gioco finale funzionava, anche se era ancora un po' buggato.
La versione Q4 di Muse Glimmer non si è comportata bene come speravo per questo compito di coding più grande, quindi se hai abbastanza VRAM, consiglierei di provare la versione Q8 per prestazioni di coding migliori.
Altre funzionalità chiave di Unsloth Desktop
Finora abbiamo usato soprattutto Unsloth Desktop per eseguire LLM e agenti di coding, ma può fare molto di più.
L'idea è avere la maggior parte dei tuoi workflow di IA locali nella stessa applicazione invece di configurare uno strumento diverso per ogni attività.
Fine-tuning di LLM
Puoi fare fine-tuning di LLM in locale usando metodi come LoRA e QLoRA.
L'interfaccia di training no-code rende anche più semplice selezionare il dataset, configurare le impostazioni di training, avviare l'esecuzione ed esportare il modello finale senza dover costruire tu l'intera pipeline.
Generazione e modifica di immagini
Puoi scaricare modelli di diffusione supportati e generare immagini in locale da prompt testuali. Puoi anche caricare un'immagine esistente, descrivere le modifiche desiderate e usare i modelli supportati per l'editing.
Training di Image LoRA
Se vuoi andare oltre la generazione di immagini, puoi anche addestrare LoRA per immagini sul tuo dataset.
È utile per insegnare a un modello un soggetto, un personaggio, un prodotto o uno stile visivo specifico e poi usare quella LoRA per generazioni future.
Generazione di video
Unsloth Desktop supporta anche workflow locali di generazione video usando modelli di diffusione supportati.
Questo significa che puoi sperimentare sia con immagini che con video dalla stessa applicazione invece di configurare un ambiente separato.
Modelli di voce e audio
Puoi lavorare con modelli di speech-to-text, text-to-speech e altri modelli audio supportati.
Questo ti permette di trascrivere audio, generare parlato e sperimentare diversi workflow di IA audio in locale.
Ricette per i dati
Le data recipes aiutano a trasformare file come PDF e CSV in dataset che puoi ispezionare, modificare e preparare per il training.
È particolarmente utile quando hai dati tuoi ma non vuoi costruire manualmente il dataset da zero.
Archiviazione e gestione dei modelli
Man mano che scarichi più modelli e inizi ad addestrarne di tuoi, gestire tutto può diventare rapidamente caotico.
Unsloth Desktop ti offre un unico posto per gestire modelli scaricati, dataset, adapter, esecuzioni di training e altre risorse locali.
Esporta modelli
Unsloth Studio supporta ufficialmente l'export di modelli Safetensors/LoRA in GGUF e altri formati. llama.cpp è esplicitamente supportato per l'esecuzione dei modelli esportati.
API locale
Infine, Unsloth Desktop può esporre il tuo modello locale tramite un'API compatibile con OpenAI. Questo rende facile collegare i modelli in esecuzione locale ad altre applicazioni, strumenti di coding o progetti di IA senza dipendere da un'API di modello ospitata.
Considerazioni finali
Unsloth Desktop si sta muovendo in una direzione davvero interessante.
Avere LLM, fine-tuning, generazione di immagini e video, agenti di coding, dataset e API locali in un'unica applicazione desktop rende l'IA locale molto più accessibile, specialmente per chi non vuole configurare ogni strumento manualmente.
Detto questo, ha ancora qualche spigolo.
Su GPU più vecchie o sistemi con driver CUDA obsoleti, potresti comunque dover risolvere dipendenze e installare alcune cose manualmente su Linux o Windows.
Mi sono imbattuto anche in problemi con la generazione di immagini, le impostazioni del contesto e gli agenti di coding.
Per esempio, se aumenti il contesto del modello in Unsloth Desktop, potresti dover impostare esplicitamente la stessa lunghezza di contesto anche quando avvii il tuo agente di coding. Alcuni workflow di generazione di siti e in stile Canvas inoltre non si comportavano sempre come previsto.
Unsloth ha aggiunto un'enorme quantità di funzionalità molto rapidamente, ma non tutto sembra ancora completamente stabile. Mi aspetto che molti di questi problemi migliorino man mano che Desktop diventa più ottimizzato e maturo.
Per ora, se il mio obiettivo principale è semplicemente servire un LLM locale per un agente di coding o un'altra applicazione, preferisco ancora llama.cpp.
Mi dà molto più controllo sul modello, il contesto, l'offloading sulla GPU, l'uso della memoria e altre impostazioni a basso livello.
Unsloth Desktop è molto più semplice da usare, mentre llama.cpp resta l'opzione migliore quando voglio mettere a punto la configurazione e spremere il massimo delle prestazioni dall'hardware.
