Bonsai 2 27B: Eine 27B-KI lokal auf deinem Laptop ausführen

Die meisten Modellveröffentlichungen, über die ich dieses Jahr berichtet habe, jagen demselben Ziel hinterher: ein größeres Kontextfenster, eine höhere SWE-bench-Wertung, noch einmal eine Billion Parameter mehr.

PrismML geht den entgegengesetzten Weg.

Am 17. September 2026 veröffentlichte das Team Ternary Bonsai 2 27B, eine komprimierte Version von Qwen3.8 27B, die in 5,9 GB passt und auf einem Laptop läuft.

Durch eine extrem starke Komprimierung der Speicherrepräsentation hat PrismML Bonsai 2 27B über neunmal kleiner gemacht als das ursprüngliche Qwen-Modell. Dennoch behält es 98,2% der Ausgangsleistung sowie das Kontextfenster mit 262.000 Tokens und verarbeitet Text und Bilder.

In diesem Artikel zeige ich, was an Bonsai 2 27B neu ist: Features, Benchmarks sowie Preise und Zugang.

Wenn du das erste Bonsai-Modell selbst ausführen willst, findest du eine Schritt-für-Schritt-Anleitung in unserem Bonsai-27B-Setup-Tutorial.

TL;DR

• Bonsai 2 27B komprimiert Qwen3.8 27B auf 5,9 GB und hält 98,2% der aggregierten Benchmark-Leistung.
• Entscheidend ist, wo die Fähigkeiten erhalten bleiben: Mathe und Coding liegen gleichauf, während Wissen und Vision am stärksten nachgeben.
• Läuft lokal auf NVIDIA-GPUs via CUDA und Apple-Geräten via MLX, mit bis zu 143 Tokens/Sekunde auf einer RTX 5090.
• Apache-2.0-Lizenz, Gewichte auf Hugging Face, und Drittanbieter hosten es aktuell kostenlos.
• Sinnvoll für On-Device-Coding-Agenten oder private Dokumentarbeit; weniger geeignet, wenn du auf fein granulierte Wissensabfrage oder risikoreiches OCR angewiesen bist.

Was ist Bonsai 2 27B?

Bonsai 2 27B ist das komprimierte Multimodal-Flaggschiff von PrismML, gebaut durch durchgängige ternäre Quantisierung über das Sprachmodell von Qwen3.8 27B.

Während Qwen3.8 27B in Vollpräzision 54 GB in FP16 belegt (die unkomprimierte Vollgröße), landet Bonsai 2 27B bei 5,9 GB für Text-only – klein genug für eine Consumer-GPU oder ein MacBook.

Laut PrismML nutzt die Komprimierung ternäre Gewichte auf −1, 0 und +1, kombiniert mit FP16-Group-Scaling. Das entspricht 1,72 echten Bits pro Gewicht nach PrismMLs Rechnung, gegenüber 16 Bits in der FP16-Referenz.

Das Modell behält das Kontextfenster mit 262.000 Tokens und die multimodale Text-und-Bild-Eingabe seines Basismodells.

Die Schlagzeile ist die Retentionszahl.

Über eine Suite, die PrismML als 14 Benchmarks in sechs Kompetenzkategorien beschreibt, im Thinking-Mode mit EvalScope und vLLM auf einer H100 evaluiert, erreicht Bonsai 2 27B im Schnitt 84,78 gegenüber 86,32 der FP16-Baseline – also 98,2%.

Für ein Sub-2-Bit-Modell ist das eine deutlich kleinere Lücke, als herkömmliche Quantisierung liefert.

Wichtigste Features von Bonsai 2 27B

Entscheidend ist, 27B-Leistung an Orte zu bringen, an denen ein 27B-Modell üblicherweise nicht laufen kann.

Das sind die prägenden Eigenschaften.

Ein 27B-multimodales Modell auf dem Laptop ausführen

Bonsai 2 27B passt in 5,9 GB und bringt damit ein 27B-Klassenmodell auf Consumer-Hardware statt ins Rechenzentrum.

Die Low-Bit-Repräsentation wird über das gesamte Sprachmodell angewandt, nicht nur auf wenige Schichten – die Platzersparnis ist real, nicht kosmetisch.

Für Praktiker ändert das, was „lokal“ bedeutet.

Statt für On-Device-Work auf 8B herunterzugehen, kannst du die Denk- und Coding-Fähigkeiten eines 27B-Modells nutzen – und hast trotzdem noch RAM übrig.

Der Haken: Architektonisch bleibt es ein 27B-Modell, sehr schwache Hardware wird also den Speicherdruck spüren.

262.000 Tokens Kontext für Langdokumente

Das Modell bietet ein Kontextfenster von 262.000 Tokens – genug für einen kompletten Codebase-Stand, einen langen Vertragsentwurf oder einen Stapel Research-PDFs in einem Prompt.

Das ist besonders wichtig für RAG-Setups, in denen große Kontexte resident bleiben sollen statt aggressiv zu chunken.

Aus der Community gibt es eine Einschränkung: Einige Nutzer berichten von nachlassender Erinnerung und Kohärenz am oberen Ende des Fensters, ab etwa 200.000 Tokens.

Wenn du an die Grenze gehst, teste die Recall-Qualität mit deinen eigenen Daten, bevor du es produktiv einsetzt.

Coding-Agenten und Tool-Calling

Bonsai 2 27B ist darauf ausgelegt, in agentischen Loops stabil zu bleiben, in denen sich kleine Fehler über viele Schritte aufschaukeln.

PrismML zeigte, dass es Coding-Agenten über Cline steuern und Computer-Use-Workflows ausführen kann – beides auf einer RTX 5090.

Hier bricht Komprimierung normalerweise ein, weil ein einziger degradierter Schritt einen kompletten Agent-Run entgleisen lassen kann.

Bonsai 2 27B erzielt 90,07 auf LiveCodeBench und 74,92 auf BFCL v3 – nahe an den FP16-Werten. Genau das macht lokale Agentenarbeit hier praktikabel statt nur wünschenswert.

Multimodale Text-und-Bild-Eingabe

Das Modell akzeptiert Bilder neben Text – für visuelle Q&A, Dokumentverständnis und OCR.

Das ermöglicht private multimodale Workflows wie Debugging per Screenshot oder die Analyse gescannter Dokumente, ohne sie in die Cloud zu senden.

Bei Vision zeigen sich die Kompressionskosten am deutlichsten.

Auf MMMU-Pro erzielt Bonsai 2 27B 75,49 gegenüber 81,73 beim FP16-Modell, und auf OCR Bench v2 fällt es auf 56,88 gegenüber 60,99.

Für risikoreiche Dokumentverarbeitung, komplexe Diagramme oder niedrig aufgelösten Text würde ich Vision als schwächstes Glied betrachten und Ergebnisse verifizieren.

Wie schlägt sich Bonsai 2 27B in Benchmarks?

Die Gesamterzählung lautet 84,78 versus 86,32 für FP16 – aber der Aggregatwert verschleiert das Wesentliche.

Konventionelle Sub-4-Bit-Builds brechen selektiv genau auf den Benchmarks ein, die dauerhaftes Denken verlangen – und Bonsai 2 27B ist gebaut, um dort zu halten.

Der Vergleich von PrismML richtet sich gegen einen konventionellen 2-Bit-Build desselben Basismodells, Qwen3.8-27B IQ2_XXS, der aggregiert 72,59 erreicht.

Bonsai 2 27B liegt über 12 Punkte darüber, bei weniger als zwei Dritteln der Größe, und kommt bis auf 0,4 Punkte an einen deutlich größeren 4-Bit-Build heran (UD-Q4_K_XL mit 85,18) – bei einem Drittel dessen Footprints.

Reasoning und Mathe

In Mathe ist Bonsai 2 27B vom Vollpräzisionsmodell kaum zu unterscheiden.

Es erzielt 95,83 auf AIME26 und 98,80 auf MATH-500, gegenüber 94,58 und 99,80 in FP16.

Der Kontrast zur herkömmlichen Quantisierung ist deutlich: IQ2_XXS fällt auf AIME26 auf 57,50 – ein Einbruch um 37 Punkte, den lockere Tests mit einfachen Fragen komplett übersehen würden.

Bei breiterem Wissen und Reasoning ist das Bild weicher.

Bonsai 2 27B erzielt 89,09 auf MMLU-Redux gegenüber 91,46 in FP16, und Drittwertungen setzen die kombinierte Kategorie Wissen-und-Reasoning bei rund 79,9 gegenüber 85,6 für FP16.

Feingranulare Faktenabfrage ist der Bereich, in dem ternäre Komprimierung am meisten kostet.

Coding und agentische Workflows

Coding hält die Parität und liegt teils leicht über dem Basismodell. Bonsai 2 27B erreicht 95,12 auf HumanEval+ und 90,07 auf LiveCodeBench, gegenüber 93,29 und 90,05 in FP16.

Der kombinierte Coding-Schnitt von 89,42 gegenüber 89,07 für FP16 ist ein kleiner Sieg für das komprimierte Modell.

Beim agentischen Tool-Calling liegt BFCL v3 bei 74,92 gegenüber 76,74 für FP16 – eine moderate Lücke.

Zum Vergleich: In unserem Review von Qwen3.8-Max erreichte das deutlich größere 2,4T-Modell 86,1 auf OSWorld-Verified für agentische Computernutzung. Bonsai 2 27B konkurriert also nicht mit Cloud-Flaggschiffen bei der reinen Agentenleistung.

Es punktet damit, den Agenten überhaupt lokal laufen zu lassen.

Instruction Following

Instruction Following ist eine der wenigen Kategorien, in denen Bonsai 2 27B das Vollpräzisionsmodell stellenweise übertrifft.

Es erzielt 91,31 auf IFEval gegenüber 91,50 für FP16 und 74,00 auf IFBench prompt-loose gegenüber 71,00 für FP16.

Durchsatz und Energieeffizienz

Geschwindigkeit gehört hier zur Benchmark-Story, weil sie bestimmt, ob lokale Agent-Loops nutzbar sind.

Bonsai 2 27B erreicht bis zu 143 Tokens/Sekunde auf einer NVIDIA GeForce RTX 5090 und 46,8 Tokens/Sekunde auf einem M5 Max.

Beim Energieverbrauch meldet PrismML 0,581 mWh pro Token auf einer RTX 4090 – angeblich 40% effizienter als ein 8B-Modell in Vollpräzision.

Für Coding-Assistenten heißt höherer Durchsatz schnellere Edit-Debug-Loops; für Hintergrundassistenten auf dem Laptop bedeutet weniger Energie pro Token längere Akkulaufzeit, ohne ständig die Cloud anzurufen.

Preise und Verfügbarkeit von Bonsai 2 27B

Bonsai 2 27B wird unter der Apache-2.0-Lizenz veröffentlicht – die Gewichte sind frei verfügbar und kommerziell nutzbar.

PrismML positioniert es primär für Self-Hosting; die offiziellen Docs fokussieren auf lokalen Betrieb statt auf eine per-Token-API.

Die Gewichte sind ab sofort auf Hugging Face in der Bonsai 2 Collection verfügbar.

GGUF-Builds liegen bei etwa 5,93 bis 5,95 GB für die ternäre Variante PTQ1_0, mit einem größeren MLX-Build. Beachte: Ternary Bonsai 2 gibt es in dieser Generation nur als 27B – keine 8B-, 4B- oder 1,7B-Varianten.

So bekommst du Zugriff auf Bonsai 2 27B

Bonsai 2 27B ist als Open-Weights unter Apache 2.0 verfügbar – du führst es also selbst aus statt eine proprietäre API anzurufen.

Es läuft auf NVIDIA-GPUs via CUDA und auf Apple-Geräten (Mac, iPhone, iPad) via MLX – mit den Low-Bit-Kernen von PrismML.

Die Hauptwege sind:

• Self-Hosting mit PrismMLs llama.cpp-Fork: Ziehe die GGUF-Gewichte aus der Hugging Face Collection und serve sie; die lokale Standard-API-Base ist http://localhost:8080/v1.
• Self-Hosting auf Apple Silicon mit MLX: Serve den MLX-Build mit einer lokalen API-Base von http://localhost:8081/v1. Beachte, dass ältere Macs RAM-Grenzen erreichen können, da die MLX-Variante größer ist als GGUF.
• Gehostete Inferenz: Erreiche das Modell über Together AI als Prism-ML/Ternary-Bonsai-27B oder über Puter – beide derzeit kostenlos.

PrismML stellt eine OpenAI-ähnliche REST-Schnittstelle bereit, sodass es in bestehende Tools passt, die einen Chat-Completions-Endpoint erwarten.

Eine komplette lokale Anleitung für das erste Modell findest du in unserem allgemeinen Bonsai-Setup-Guide.

Fazit

Bonsai 2 27B setzt darauf, dass die spannende Grenze „Intelligenz pro Gigabyte“ ist – nicht reine Rohleistung.

Die Retentionslücke von 95% in der ersten Generation auf über 98% zu schließen, macht das „nahezu verlustfrei“-Framing glaubwürdig statt Marketing. Das Dichte-Diagramm zeigt es deutlich vor herkömmlichen Low-Bit-Builds derselben Basis.

Ich würde dazu greifen, wenn du On-Device-Coding-Agenten, private Dokumentanalyse oder hybride Systeme baust, die sensible Arbeit lokal halten.

Bei wissenslastigen QA-Aufgaben und risikoreichem OCR wäre ich vorsichtiger – hier ist der Kompressionspreis real und messbar.