Comment utiliser Unsloth Desktop pour des workflows d’IA locaux

Unsloth Studio a reçu une mise à niveau majeure avec Unsloth Desktop, qui permet d’exécuter tout en local sous forme d’application de bureau. C’est particulièrement utile si vous ne voulez pas perdre de temps à installer des packages, configurer divers outils ou lancer sans cesse des commandes dans le terminal.

Unsloth Desktop est en pratique une solution tout-en-un pour les workflows d’IA locaux. 

Vous pouvez exécuter et affiner des LLM, tester des modèles de vision, générer des images et des vidéos, entraîner des modèles d’images, travailler l’audio, utiliser des outils de codage assisté par IA, gérer vos modèles et exposer une API locale — le tout depuis la même application.

Dans ce guide, je vous montre comment installer Unsloth Desktop sous Linux, exécuter des LLM en local, le connecter à OpenCode et utiliser un modèle local pour créer un projet Python. 

Nous explorerons également quelques autres fonctionnalités pour voir tout ce que vous pouvez faire en local avec une seule application.

1. Vérifiez votre GPU NVIDIA

Avant d’installer Unsloth Desktop, il est judicieux de vérifier rapidement que votre GPU NVIDIA est détecté et que CUDA fonctionne correctement. 

Cela vous évitera des problèmes plus tard lorsque vous commencerez à exécuter ou à affiner des modèles en local.

Ouvrez d’abord un terminal et lancez :

nvidia-smi

Vous devriez voir s’afficher votre GPU NVIDIA, la version du pilote, la mémoire GPU disponible et les informations de compatibilité CUDA.

Ensuite, vérifiez le compilateur CUDA installé sur votre système :

nvcc --version

Vous devriez obtenir une sortie similaire à ceci :

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Si les deux commandes fonctionnent et que votre GPU est correctement détecté, votre système est prêt pour Unsloth Desktop.

2. Téléchargez et installez Unsloth Desktop

Rendez-vous ensuite sur le site officiel d’Unsloth et téléchargez Unsloth Desktop. 

Veillez à sélectionner le bon package pour votre système d’exploitation.

Source : Télécharger Unsloth Desktop pour Linux 

Une fois le téléchargement terminé, installez le package comme toute autre application de bureau. 

Sous Linux, il peut s’agir d’un package .deb selon votre distribution.

Une fois l’installation terminée, lancez Unsloth Desktop. 

L’application devrait détecter automatiquement votre matériel disponible et vous donner accès à l’interface principale.

D’ici, vous pouvez parcourir et télécharger des modèles, exécuter des LLM en local, affiner des modèles, travailler avec des images et d’autres modalités, gérer vos modèles locaux et accéder aux autres outils disponibles dans Unsloth Desktop.

3. Téléchargez et exécutez un LLM dans Unsloth Desktop

Ouvrez le Model hub dans Unsloth Desktop et cherchez le modèle que vous voulez exécuter. 

Pour ce test, j’ai utilisé l’un de mes petits modèles préférés :

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Après téléchargement, vous pouvez le charger et commencer à discuter directement dans Unsloth Desktop. 

Sur ma machine, j’obtenais environ 102 tokens par seconde en moyenne, avec des pointes à 125 tokens par seconde sur certaines requêtes liées au code. 

J’ai aussi activé l’accès web et posé des questions au modèle sur les dernières actualités des marchés boursiers. 

Cela rend le chat local bien plus utile lorsque vous avez besoin d’informations au-delà de ce que le modèle contient déjà. 

Ensuite, je voulais voir s’il pouvait construire quelque chose plutôt que de simplement répondre à des questions. 

Je lui ai demandé de créer un site web : il a généré le code et affiché le site à côté de la conversation, ce qui permettait de voir le résultat tout en continuant à itérer. 

4. Testez un modèle de vision

Unsloth Desktop prend aussi en charge les modèles vision-langage, ce qui vous permet de téléverser une image directement dans le chat et de poser des questions à son sujet.

Pour mon test, l’encodeur de vision requis s’est installé automatiquement lors du téléchargement du modèle. 

J’ai simplement téléversé une image, posé une question à son sujet et, en quelques secondes, le modèle a fourni une réponse très précise.

Le support vision est particulièrement utile avec les agents de codage. 

Par exemple, vous pouvez téléverser la capture d’écran d’un site et signaler un problème à corriger, montrer à l’agent un design à reproduire, ou utiliser une interface existante comme référence visuelle tout en construisant votre propre application. 

5. Utilisez Unsloth Desktop avec OpenCode

Les petits modèles sont parfaits pour tester et même pour un peu de codage agentique léger. 

Mais si vous voulez un agent de codage local sérieux, capable de gérer des projets plus conséquents, il vous faudra un modèle plus puissant qui tienne malgré tout dans la VRAM de votre GPU.

Dans mon cas, j’utilise une RTX 3090 avec 24 Go de VRAM, j’ai donc téléchargé la version Q4 de Muse Glimmer 30B.

Ouvrez l’onglet Models dans Unsloth Desktop, cherchez le modèle, puis téléchargez la version UD-Q4_K_XL. 

En quelques minutes, le modèle devrait être téléchargé et chargé sur votre système.

Par défaut, la fenêtre de contexte était réglée autour de 4K, ce qui est trop petit pour un agent de codage travaillant sur plusieurs fichiers. 

Ouvrez le panneau de droite dans Unsloth Desktop, passez la longueur de contexte à 64K, descendez et rechargez le modèle. 

Après rechargement, allez dans Settings → System pour vérifier l’usage mémoire de votre GPU. 

Dans mon cas, le modèle utilisait environ 22 Go de VRAM, laissant environ 2 Go disponibles pour le cache KV. C’était suffisant pour mes tests, mais la mémoire disponible dépendra de votre GPU et de la charge. 

Ensuite, ouvrez Settings → Agents et sélectionnez OpenCode comme agent de codage. 

Unsloth Desktop génère automatiquement la commande à lancer. 

Créez d’abord un répertoire de projet depuis le terminal :

mkdir unsloth-project
cd unsloth-project

Puis lancez OpenCode :

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Veillez à inclure la longueur de contexte dans la commande. 

Sinon, OpenCode peut démarrer avec une fenêtre de contexte par défaut plus petite.

La commande installera OpenCode si nécessaire, puis lancera son interface terminal avec votre modèle Unsloth local prêt à l’emploi. 

6. Créez un projet avec OpenCode

Maintenant que tout est branché, je voulais mettre l’agent de codage local à l’épreuve. 

Au lieu de lui demander un petit extrait de code, je lui ai demandé de construire un jeu type Mario en Python, de A à Z.

Voici l’invite utilisée :

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. 
Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode a d’abord créé une to-do list puis a déroulé le projet étape par étape. Il a créé les fichiers, écrit la logique du jeu, géré les dépendances et, pour finir, m’a donné la commande pour lancer le jeu. 

Le jeu final fonctionnait, même s’il restait quelques bugs. 

La version Q4 de Muse Glimmer n’a pas été aussi performante que je l’espérais sur cette tâche de codage plus lourde. Si vous avez assez de VRAM, je vous conseille d’essayer la version Q8 pour de meilleures performances en codage. 

Autres fonctionnalités clés d’Unsloth Desktop

Jusqu’ici, nous avons surtout utilisé Unsloth Desktop pour exécuter des LLM et des agents de codage, mais il sait faire bien plus. 

L’idée est de centraliser la plupart de vos workflows d’IA locaux dans une seule application, plutôt que de configurer un outil différent pour chaque tâche.

Fine-tuning de LLM

Vous pouvez affiner des LLM en local avec des méthodes comme LoRA et QLoRA. 

L’interface d’entraînement no-code facilite la sélection de votre dataset, la configuration des paramètres, le lancement de l’apprentissage et l’export du modèle final, sans avoir à bâtir toute la pipeline vous-même.

Génération et retouche d’images

Vous pouvez télécharger des modèles de diffusion pris en charge et générer des images en local à partir d’invites textuelles. Vous pouvez aussi téléverser une image existante, décrire les modifications souhaitées et utiliser les modèles pris en charge pour l’édition d’images.

Entraînement d’images LoRA

Si vous voulez aller au-delà de la génération d’images, vous pouvez aussi entraîner des LoRA d’images sur votre propre dataset. 

C’est utile pour apprendre à un modèle un sujet, un personnage, un produit ou un style visuel particulier, puis réutiliser ce LoRA pour de futures générations.

Génération de vidéos

Unsloth Desktop prend également en charge des workflows locaux de génération vidéo avec des modèles de diffusion compatibles. 

Vous pouvez ainsi expérimenter la génération d’images et de vidéos dans la même application, sans devoir configurer un environnement séparé.

Modèles de parole et d’audio

Vous pouvez travailler avec des modèles de reconnaissance vocale (speech-to-text), de synthèse vocale (text-to-speech) et d’autres modèles audio pris en charge. 

Cela vous permet de transcrire de l’audio, de générer de la parole et d’explorer différents workflows d’IA audio en local.

Data recipes

Les data recipes aident à convertir des fichiers comme des PDF et des CSV en jeux de données que vous pouvez inspecter, modifier et préparer pour l’entraînement. 

C’est particulièrement utile lorsque vous avez vos propres données mais ne souhaitez pas construire le dataset manuellement de zéro.

Stockage et gestion des modèles

Au fil des téléchargements et de vos entraînements, la gestion peut vite devenir chaotique. 

Unsloth Desktop vous offre un espace unique pour gérer modèles téléchargés, jeux de données, adaptateurs, runs d’entraînement et autres ressources locales.

Exporter des modèles

Unsloth Studio prend officiellement en charge l’export de modèles Safetensors/LoRA vers GGUF et d’autres formats. llama.cpp est explicitement pris en charge pour l’exécution des modèles exportés. 

API locale

Enfin, Unsloth Desktop peut exposer votre modèle local via une API compatible OpenAI. Cela facilite la connexion de vos modèles locaux à d’autres applications, outils de développement ou projets IA, sans dépendre d’une API hébergée.

Dernières réflexions

Unsloth Desktop évolue dans une direction très intéressante. 

Disposer des LLM, du fine-tuning, de la génération d’images et de vidéos, des agents de codage, des datasets et d’API locales dans une seule application de bureau simplifie grandement l’IA locale, surtout pour celles et ceux qui ne veulent pas tout configurer à la main.

Cela dit, l’ensemble reste encore un peu brut par endroits. 

Sur des GPU plus anciens ou avec des pilotes CUDA obsolètes, vous devrez peut-être résoudre des dépendances et installer certains éléments manuellement sous Linux ou Windows.

J’ai aussi rencontré des problèmes avec la génération d’images, les réglages de contexte et les agents de codage. 

Par exemple, si vous augmentez le contexte du modèle dans Unsloth Desktop, vous devrez peut-être définir explicitement la même longueur de contexte au lancement de votre agent de codage. Certaines fonctionnalités de génération de sites web et les workflows type Canvas ne se sont pas toujours comportés comme prévu.

Unsloth a ajouté énormément de fonctionnalités très vite, mais tout n’est pas encore parfaitement stable. J’attends des améliorations au fil des optimisations et de la maturation de Desktop.

Pour l’instant, si mon objectif principal est simplement de servir un LLM local pour un agent de codage IA ou une autre application, je préfère encore llama.cpp. 

Il m’offre bien plus de contrôle sur le modèle, le contexte, l’offloading GPU, l’usage mémoire et d’autres paramètres bas niveau.

Unsloth Desktop est beaucoup plus simple à utiliser, tandis que llama.cpp reste l’option la plus adaptée quand je veux peaufiner la configuration et tirer le maximum de performances de mon matériel.