Tutoriel Bonsai IA : exécuter un LLM 1‑bit en local sur un ancien ordinateur portable

Remarque : Bonsai 2 27B est désormais disponible, basé sur Qwen3.8 27B

L’exécution de modèles de langage en local devient plus simple, même sur du matériel ancien. Bonsai est un modèle 1‑bit conçu pour être compact, rapide et efficace, ce qui en fait une bonne option pour un usage local sur un ordinateur portable Windows.

Dans ce tutoriel, je vous présente Bonsai et j’explique de façon accessible le fonctionnement des modèles 1‑bit. Je vous guide pas à pas tout au long de l’installation.

Cela inclut le téléchargement du modèle GGUF Bonsai 8B, la mise en place du fork PrismML de llama.cpp, un test en ligne de commande, l’exécution en serveur local, et la vérification du bon fonctionnement à la fois avec curl et l’interface WebUI intégrée.

Je vous recommande aussi de consulter nos guides pour exécuter en local GLM-5.1 et Qwen3.5-27B.

Qu’est-ce que le modèle IA Bonsai ?

Bonsai est une famille de modèles de langage 1‑bit compacts de PrismML comprenant des variantes 1.7B, 4B et 8B, afin de proposer différentes tailles selon l’appareil et les besoins de performance.

La gamme Bonsai est pensée pour une inférence locale efficace, avec une prise en charge via llama.cpp et des runtimes associés. Le modèle phare Bonsai 8B GGUF est annoncé comme étant bien plus petit qu’un modèle 8B en FP16 classique, tout en restant compétitif en termes de capacités.

Comment fonctionnent les modèles 1‑bit ?

Un modèle 1‑bit stocke chaque poids sur un seul bit au lieu d’utiliser des valeurs en pleine précision. Dans le format Q1_0 de Bonsai, la valeur 0 correspond à une échelle négative et la valeur 1 à une échelle positive, avec une échelle FP16 partagée pour chaque bloc de 128 poids.

Cette approche réduit fortement l’empreinte mémoire tout en conservant un modèle fonctionnel et efficace pour l’inférence. Bonsai applique ce schéma 1‑bit de bout en bout : embeddings, projections d’attention, projections MLP et tête LM.

Source : prism-ml/Bonsai-8B-gguf · Hugging Face

Sur les benchmarks, Bonsai 8B montre qu’un modèle 1‑bit bien plus petit peut rester compétitif face à des modèles en pleine précision de 6B à 9B. La fiche modèle indique un score moyen de 70,5 sur six catégories d’évaluation, le plaçant au niveau de plusieurs modèles 8B standards. Bonsai se distingue donc non seulement par sa taille et sa vitesse, mais aussi par des performances solides.

Configuration et prérequis pour Bonsai

Pour ce tutoriel, j’exécute Bonsai sur un ancien ordinateur portable Windows doté d’un processeur Intel 12e génération et d’un GPU NVIDIA RTX 3070. L’un des principaux atouts de Bonsai 8B est de pouvoir tourner avec environ 2 Go de VRAM ou de RAM système, ce qui en fait une option pratique pour des laptops plus anciens ou des machines à mémoire limitée.

Pour de meilleures performances, je recommande d’installer le dernier pilote GPU NVIDIA ainsi que le CUDA Toolkit depuis la page officielle de téléchargement de NVIDIA. Le CUDA Toolkit est l’environnement de développement officiel de NVIDIA pour les applications accélérées par GPU.

Une fois l’installation terminée, ouvrez l’invite de commandes ou le terminal et exécutez :

nvidia-smi

Cette commande affiche votre GPU NVIDIA, la version du pilote et la prise en charge CUDA. Si votre GPU apparaît correctement, votre système est prêt pour l’accélération GPU afin d’exécuter Bonsai en local.

1. Télécharger le modèle Bonsai 8B GGUF

Commencez par vous rendre sur le référentiel Bonsai 8B GGUF sur Hugging Face et téléchargez le fichier de modèle GGUF via le bouton de téléchargement.

Ensuite, créez un dossier nommé « Bonsai » sur votre système. À l’intérieur, créez un sous-dossier « model », puis placez-y le fichier GGUF téléchargé.

2. Télécharger la build PrismML de llama.cpp

Ouvrez ensuite la page de release PrismML de llama.cpp et téléchargez la build Windows x64 précompilée correspondant à votre version de CUDA. Pour ce tutoriel, téléchargez le fichier Windows x64 (CUDA 13.1) ainsi que les DLL CUDA 13.1 depuis la même page.

3. Préparer le dossier de projet Bonsai

Après avoir téléchargé les deux fichiers ZIP, extrayez-les dans le dossier « Bonsai » créé précédemment.

À ce stade, le dossier doit contenir votre répertoire « model » avec le fichier GGUF de Bonsai, ainsi que les fichiers llama.cpp nécessaires pour exécuter le modèle en ligne de commande et en serveur local.

4. Tester le modèle avec llama-cli

Ouvrez maintenant votre dossier « Bonsai », faites un clic droit dans une zone vide et sélectionnez Ouvrir dans le terminal. Vous pourrez ainsi exécuter le modèle directement depuis le dossier contenant les fichiers llama.cpp et votre répertoire « model ».

Exécutez ensuite la commande suivante pour tester Bonsai avec llama-cli :

.\llama-cli -m model/Bonsai-8B.gguf -p "Explain quantum computing in simple terms." -n 256 --temp 0.5 --top-p 0.85 --top-k 20 -ngl 99

Cette commande reprend les réglages de consigne et de génération recommandés dans le quickstart officiel de Bonsai, notamment temperature 0.5, top-p 0.85, top-k 20 et -ngl 99 pour décharger des couches sur le GPU.

Dans mon test, le modèle s’est chargé en mémoire GPU en moins d’une seconde, avec une réponse à la fois rapide et pertinente.

88,6 tokens par seconde environ : très impressionnant pour un modèle local sur un ancien portable.

5. Exécuter Bonsai comme serveur d’inférence local

Après le test en CLI, vous pouvez l’exécuter en serveur d’inférence local avec llama-server :

.\llama-server -m model/Bonsai-8B.gguf -ngl 99 --host 127.0.0.1 --port 8033

C’est la même configuration de serveur local que sur la page officielle du modèle Bonsai, où PrismML utilise llama-server pour exposer le modèle via un endpoint HTTP local.

Lors de mon test, le modèle s’est chargé en mémoire en moins de 5 secondes.

Une fois le chargement terminé, le terminal indique que le serveur tourne sur 127.0.0.1:8033, ce qui signifie que Bonsai est accessible via une API locale sur votre machine.

6. Tester le serveur avec curl

Maintenant que le serveur Bonsai est lancé, testez l’API locale avec curl. L’endpoint llama-server est compatible OpenAI : vous pouvez envoyer une requête à /v1/chat/completions et obtenir une réponse de type chat completion.

Exécutez la commande suivante dans votre terminal :

curl -X POST "http://127.0.0.1:8033/v1/chat/completions" -H "Content-Type: application/json" --data-raw '{"model":"Bonsai-8B","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Write a short Python function to reverse a string."}],"temperature":0.7,"max_tokens":200,"stream":false}'

Si tout fonctionne, le serveur renverra une réponse JSON avec le texte généré.

7. Ouvrir et tester la WebUI

Une fois le serveur démarré, ouvrez http://127.0.0.1:8033/ dans votre navigateur. Le serveur llama.cpp inclut une interface web intégrée.

Vous obtenez ainsi une interface proche de ChatGPT pour tester votre modèle local. Dans mon cas, l’UI s’est ouverte immédiatement et j’ai pu dialoguer avec Bonsai directement depuis le navigateur.

Test 1 : écrire une courte histoire

Je lui ai d’abord demandé d’écrire une histoire : en quelques secondes, la réponse est arrivée à environ 85 tokens par seconde.

Test 2 : coder un petit jeu

Pour évaluer ses capacités sur une vraie tâche de code, je lui ai donné cette consigne :

Write Python code to build a command-line number guessing game where the user guesses a randomly selected number, receives "too high" or "too low" hints after each guess, and sees the total number of attempts once they guess correctly.

Là encore, la réponse a été rapide. Le modèle a généré le code et indiqué comment enregistrer le fichier et l’exécuter avec Python.

J’ai copié le code dans un fichier Python, je l’ai exécuté dans le terminal : il a fonctionné immédiatement, sans souci.

Test 3 : générer un site web simple

J’ai aussi soumis une seconde consigne pour voir sa génération front-end :

Create a simple, clean HTML personal profile website for Abid Ali Awan, a Data Scientist, with sections for a hero intro, about, skills, projects, and contact, using modern styling and placeholder content that can be customized later.

La réponse a de nouveau été rapide. J’ai copié le code généré dans un fichier HTML et ouvert la page dans le navigateur : tout s’est affiché correctement.

Pour un modèle de cette taille, le résultat est réellement bluffant.

Conclusion

Ce qui m’a le plus surpris avec Bonsai, c’est l’alliance de la vitesse, de la compacité et de l’intelligence. Je ne m’attendais pas à ce qu’un modèle aussi petit soit aussi rapide et utilisable sur un ancien portable Windows.

La mise en place complète a aussi été bien plus simple que prévu. Il m’a suffi de télécharger le fichier GGUF depuis Hugging Face et les fichiers de build PrismML de llama.cpp, de tout placer dans un même dossier, puis d’exécuter les commandes dans le terminal pour tester et servir le modèle en local. Du début à la fin, il m’a fallu moins de deux minutes pour passer de zéro configuration à une utilisation réelle du modèle.

La WebUI de llama.cpp a rendu l’expérience encore plus accessible, surtout pour quelqu’un avec peu de connaissances sur l’IA locale ou l’infrastructure. Une fois le serveur lancé, je pouvais tester des prompts, générer du code et essayer des exercices d’écriture créative via une simple interface navigateur, sans outil supplémentaire.

J’ai également apprécié la qualité des sorties. Pour un modèle de cette taille, Bonsai s’en sort très bien en code comme en rédaction. Il est rapide en CLI, rapide via le serveur local et rapide dans la WebUI. Cela dit, un modèle aussi compact n’est sans doute pas le meilleur choix pour du code agentique ou des tâches complexes nécessitant davantage de raisonnement et une fenêtre de contexte plus longue.

Malgré tout, si vous souhaitez exécuter un modèle en local, les modèles 1‑bit me semblent très prometteurs. Ils offrent un bon compromis entre efficacité et intelligence, et rendent l’IA locale bien plus pratique sur du matériel grand public. J’aimerais beaucoup essayer un modèle 1‑bit plus grand, proche de la gamme Qwen3.5-27B, qui pourrait offrir un équilibre encore meilleur entre vitesse, mémoire et capacités.