Bonsai 2 27B : exécutez une IA 27B en local sur votre ordinateur portable

La plupart des lancements de modèles que j'ai couverts cette année visent le même objectif : une fenêtre de contexte plus grande, un score SWE-bench plus élevé, un autre billion de paramètres.

PrismML prend le contre-pied.

Le 17 septembre 2026, l'équipe a publié Ternary Bonsai 2 27B, une version compressée de Qwen3.8 27B qui tient dans 5,9 Go et tourne sur un ordinateur portable.

En comprimant fortement la façon dont il stocke l'information, PrismML a rendu Bonsai 2 27B plus de 9 fois plus petit que la version Qwen d'origine. Pourtant, il conserve 98,2 % de ses performances initiales et la fenêtre de contexte de 262 k tokens, en traitant texte et images.

Dans cet article, je passe en revue tout ce qui change avec Bonsai 2 27B : nouvelles fonctionnalités, résultats aux benchmarks, tarifs et accès.

Si vous souhaitez exécuter vous-même le premier modèle Bonsai, nous proposons un guide pas à pas dans notre tutoriel d'installation locale de Bonsai 27B.

En bref

• Bonsai 2 27B compresse Qwen3.8 27B à 5,9 Go tout en conservant 98,2 % de ses performances agrégées aux benchmarks.
• Là où la capacité est préservée est la vraie histoire : les maths et le code restent au même niveau, tandis que la connaissance et la vision sont les plus affectées.
• Il s'exécute en local sur les GPU NVIDIA via CUDA et sur les appareils Apple via MLX, jusqu'à 143 tokens/seconde sur une RTX 5090.
• Licence Apache 2.0, poids disponibles sur Hugging Face, et des fournisseurs tiers l'hébergent actuellement gratuitement.
• Intéressant si vous avez besoin d'agents de codage sur appareil ou de travail privé sur documents ; à éviter si vous dépendez d'un rappel de connaissances très fin ou d'un OCR critique.

Qu'est-ce que Bonsai 2 27B ?

Bonsai 2 27B est le modèle multimodal compressé phare de PrismML, construit en appliquant une quantification ternaire de bout en bout sur le modèle linguistique Qwen3.8 27B.

Alors que Qwen3.8 27B en pleine précision occupe 54 Go en FP16 (la version non compressée), Bonsai 2 27B descend à 5,9 Go pour le texte seul, assez compact pour un GPU grand public ou un MacBook.

Selon PrismML, la compression utilise des poids ternaires limités à −1, 0 et +1, couplés à une mise à l'échelle par groupe en FP16. Cela revient à 1,72 bit effectif par poids selon leurs calculs, contre 16 bits pour la référence FP16.

Le modèle conserve la fenêtre de contexte de 262 k tokens et l'entrée multimodale texte + image de sa base.

Le chiffre clé, c'est la rétention.

Sur un ensemble que PrismML décrit comme 14 benchmarks en six catégories de compétences, évalués en mode "thinking" avec EvalScope et vLLM sur un H100, Bonsai 2 27B atteint 84,78 contre 86,32 pour la base FP16, soit 98,2 %.

Pour un modèle en dessous de 2 bits, l'écart est nettement plus faible que ce que propose une quantification classique.

Fonctionnalités clés de Bonsai 2 27B

Avec Bonsai 2 27B, vous bénéficiez de capacités d'un modèle 27B dans des environnements où un 27B ne peut habituellement pas aller.

Voici les points qui le caractérisent.

Exécuter un modèle multimodal 27B sur un ordinateur portable

Bonsai 2 27B tient dans 5,9 Go, ce qui rend un modèle de classe 27B accessible sur du matériel grand public plutôt que dans un datacenter.

La représentation à faible nombre de bits est appliquée à l'ensemble du modèle linguistique, pas seulement à quelques couches : la réduction d'empreinte est réelle, pas cosmétique.

Pour les praticiens, cela change la définition du "local".

Au lieu de descendre à un modèle 8B pour travailler sur appareil, vous pouvez exécuter un modèle avec le raisonnement et la capacité de codage d'un 27B tout en gardant de la RAM disponible.

La contrepartie : architecturalement, cela reste un 27B, donc les machines très modestes ressentiront la pression mémoire.

262 k tokens de contexte pour les longs documents

Le modèle offre une fenêtre de 262 k tokens, suffisante pour contenir une base de code complète, un long contrat juridique ou une pile de PDF de recherche dans un seul prompt.

C'est crucial pour les configurations de génération augmentée par la recherche (RAG) où vous voulez maintenir un large contexte en mémoire plutôt que de fragmenter agressivement.

La communauté signale toutefois un bémol : dégradation du rappel et de la cohérence à l'extrême fin de la fenêtre, au-delà d'environ 200 k tokens.

Si vous vous approchez de la limite, testez le rappel sur vos données avant de l'utiliser en production.

Agents de codage et appels d'outils

Bonsai 2 27B est conçu pour tenir la distance dans les boucles agentiques, où de petites erreurs se cumulent sur de nombreuses étapes.

PrismML a montré sa capacité à piloter des agents de codage via Cline et à exécuter des workflows d'utilisation de l'ordinateur, le tout sur une RTX 5090.

C'est généralement là que la compression s'effondre, car une étape dégradée peut faire dérailler toute une exécution d'agent.

Bonsai 2 27B atteint 90,07 sur LiveCodeBench et 74,92 sur BFCL v3, très proches des scores FP16, ce qui rend le travail agentique local crédible plutôt qu'hypothétique.

Entrée multimodale texte et image

Le modèle accepte des images aux côtés du texte, pour répondre à des questions visuelles, comprendre des documents et faire de l'OCR.

Cela ouvre des flux privés multimodaux comme déboguer à partir d'une capture d'écran ou analyser un document numérisé sans l'envoyer dans le cloud.

La vision est aussi là où le coût de la compression est le plus net.

Sur MMMU-Pro, Bonsai 2 27B marque 75,49 contre 81,73 pour le modèle FP16, et sur OCR Bench v2 il descend à 56,88 contre 60,99.

Pour des traitements de documents sensibles, des schémas complexes ou du texte basse définition, considérez la vision comme le maillon faible et vérifiez les résultats.

Comment Bonsai 2 27B se comporte-t-il aux benchmarks ?

Au global, on observe 84,78 contre 86,32 pour FP16, mais l'agrégat masque l'essentiel.

Les modèles classiques en dessous de 4 bits s'effondrent sélectivement sur les benchmarks qui exigent un raisonnement soutenu ; Bonsai 2 27B est conçu pour tenir sur ces points.

La comparaison de PrismML se fait avec une version 2 bits classique du même modèle de base, Qwen3.8-27B IQ2_XXS, qui atteint 72,59 en agrégat.

Bonsai 2 27B le dépasse de plus de 12 points tout en étant moins des deux tiers de sa taille, et il n'est qu'à 0,4 point d'une version 4 bits bien plus volumineuse (UD-Q4_K_XL à 85,18) pour un tiers de son empreinte.

Raisonnement et maths

Les maths sont le domaine où Bonsai 2 27B est presque indiscernable du modèle en pleine précision.

Il atteint 95,83 sur AIME26 et 98,80 sur MATH-500, contre 94,58 et 99,80 pour FP16.

Le contraste avec la quantification classique est marqué : IQ2_XXS chute à 57,50 sur AIME26, soit 37 points d'écart que des tests rapides sur des questions faciles ne détecteraient pas.

Sur la connaissance générale et le raisonnement, le tableau est plus nuancé.

Bonsai 2 27B obtient 89,09 sur MMLU-Redux contre 91,46 pour FP16, et des avis tiers situent la catégorie composite connaissance + raisonnement autour de 79,9 contre 85,6 pour FP16.

Le rappel factuel fin est là où la compression ternaire coûte le plus.

Codage et workflows agentiques

Le codage reste à parité, et dépasse même parfois le modèle de base. Bonsai 2 27B marque 95,12 sur HumanEval+ et 90,07 sur LiveCodeBench, contre 93,29 et 90,05 pour FP16.

La moyenne composite en codage à 89,42 contre 89,07 pour FP16 constitue un léger avantage pour le modèle compressé.

Sur l'appel d'outils agentique, BFCL v3 est à 74,92 contre 76,74 pour FP16, un écart modeste.

À titre de comparaison, lors de notre revue de Qwen3.8-Max, le modèle bien plus grand (2,4T) obtenait 86,1 sur OSWorld-Verified pour l'utilisation agentique de l'ordinateur ; Bonsai 2 27B ne rivalise donc pas avec les fleuron cloud en capacité brute d'agent.

Son atout, c'est de faire tourner l'agent en local, tout simplement.

Suivi d'instructions

Le suivi d'instructions est l'une des rares catégories où Bonsai 2 27B devance franchement le modèle en pleine précision.

Il marque 91,31 sur IFEval contre 91,50 pour FP16, et 74,00 sur IFBench prompt-loose contre 71,00 pour FP16.

Débit et efficience énergétique

La vitesse fait partie du tableau car elle conditionne la viabilité des boucles agentiques locales.

Bonsai 2 27B atteint jusqu'à 143 tokens/seconde sur une NVIDIA GeForce RTX 5090 et 46,8 tokens/seconde sur un M5 Max.

Côté énergie, PrismML annonce 0,581 mWh par token sur une RTX 4090, soit 40 % de mieux qu'un modèle 8B en pleine précision selon eux.

Pour les assistants de codage, un débit plus élevé signifie des boucles éditer‑déboguer plus rapides ; pour les assistants en tâche de fond sur portable, une énergie par token plus faible signifie une meilleure autonomie sans solliciter en permanence le cloud.

Tarification et disponibilité de Bonsai 2 27B

Bonsai 2 27B est publié sous licence Apache 2.0 : les poids sont gratuits à télécharger et utilisables commercialement.

PrismML le positionne d'abord en auto-hébergement, et sa documentation officielle met l'accent sur le service local plutôt que sur une API facturée au token.

Les poids sont disponibles dès maintenant sur Hugging Face dans la collection Bonsai 2.

Les builds GGUF tournent autour de 5,93 à 5,95 Go pour la variante ternaire PTQ1_0, avec un build MLX plus volumineux. Notez que Ternary Bonsai 2 n'existe qu'en 27B dans cette génération : pas de variantes 8B, 4B ou 1,7B.

Comment accéder à Bonsai 2 27B

Bonsai 2 27B est en open-weight sous Apache 2.0 : vous l'exécutez vous-même plutôt que d'appeler une API propriétaire.

Il tourne sur les GPU NVIDIA via CUDA et sur les appareils Apple (Mac, iPhone, iPad) via MLX, en s'appuyant sur les kernels low-bit personnalisés de PrismML.

Les voies principales :

• S'auto-héberger avec le fork llama.cpp de PrismML : récupérez les poids GGUF depuis la collection Hugging Face et servez-les ; l'API locale par défaut est http://localhost:8080/v1.
• S'auto-héberger sur Apple Silicon avec MLX : servez le build MLX avec une base d'API locale http://localhost:8081/v1, en gardant à l'esprit que les Mac plus anciens peuvent buter sur la RAM puisque la variante MLX est plus grande que la GGUF.
• Inférence hébergée : accédez-y via Together AI sous Prism-ML/Ternary-Bonsai-27B ou via Puter, tous deux actuellement gratuits.

PrismML expose une interface REST au format OpenAI, ce qui facilite l'intégration dans les outils qui attendent un endpoint de chat-completions.

Pour un guide local complet du premier modèle, consultez notre guide général d'installation locale de Bonsai.

Conclusion

Bonsai 2 27B parie que la frontière intéressante est l'intelligence par gigaoctet, pas la seule capacité brute.

Passer d'une rétention de 95 % à plus de 98 % par rapport à la première génération rend l'idée de "presque sans perte" crédible plutôt que marketing, et la courbe de densité le place loin devant les builds low-bit classiques sur la même base.

Je le choisirais pour construire des agents de codage sur appareil, de l'analyse privée de documents, ou des systèmes hybrides qui gardent le sensible en local.

Je serais plus prudent pour les QA riches en connaissances et l'OCR critique, où le coût de compression est réel et mesurable.