Bonsai KI-Tutorial: Ein 1‑Bit‑LLM lokal auf einem alten Laptop ausführen

Hinweis: Bonsai 2 27B ist jetzt verfügbar, basierend auf Qwen3.8 27B

Sprachmodelle lokal auszuführen wird immer einfacher – selbst auf älterer Hardware. Bonsai ist ein 1‑Bit‑Modell, das klein, schnell und effizient konzipiert ist und sich daher gut für den lokalen Einsatz auf einem Windows‑Laptop eignet.

In diesem Tutorial zeige ich dir, was Bonsai ist und wie 1‑Bit‑Modelle auf einfache Weise funktionieren. Außerdem führe ich dich Schritt für Schritt durch den kompletten Setup‑Prozess. 

Das umfasst den Download des Bonsai 8B GGUF‑Modells, das Einrichten des PrismML‑Forks von llama.cpp, das Testen des Modells in der Kommandozeile, den Betrieb als lokalen Server sowie die Prüfung per curl und über die integrierte WebUI.

Ich empfehle dir außerdem unsere Anleitungen zum lokalen Ausführen von GLM-5.1 und Qwen3.5-27B.

Was ist das Bonsai‑KI‑Modell?

Bonsai ist eine Familie kompakter 1‑Bit‑Sprachmodelle von PrismML, die Varianten mit 1,7B, 4B und 8B umfasst. So kannst du je nach Gerät und Leistungsbedarf die passende Größe wählen. 

Die Bonsai‑Reihe ist für effiziente lokale Inferenz ausgelegt, mit Support über llama.cpp und verwandte Runtimes. Das Flaggschiff Bonsai 8B GGUF wird als deutlich kleiner als ein typisches FP16‑8B‑Modell präsentiert, bleibt dabei aber in der Leistungsfähigkeit konkurrenzfähig.

Wie funktionieren 1‑Bit‑Modelle?

Ein 1‑Bit‑Modell speichert jedes Gewicht als ein einzelnes Bit statt als Standard‑Gleitkommawert. Im Q1_0‑Format von Bonsai steht 0 für eine negative Skalierung und 1 für eine positive Skalierung. Eine FP16‑Skalierung wird über jeweils 128 Gewichte geteilt. 

Dieser Ansatz reduziert den Speicherbedarf deutlich und hält das Modell zugleich funktionsfähig und effizient für die Inferenz. Bonsai setzt dieses 1‑Bit‑Design durchgängig ein – bei Embeddings, Attention‑Projektionen, MLP‑Projektionen und dem LM‑Head – und ist damit ein End‑to‑End‑1‑Bit‑Modell.

Quelle: prism-ml/Bonsai-8B-gguf · Hugging Face

In Benchmark‑Tests zeigt Bonsai 8B, dass ein deutlich kleineres 1‑Bit‑Modell weiterhin mit Vollpräzisions‑Modellen im Bereich von 6B bis 9B mithalten kann. Die Modellkarte berichtet einen Durchschnittswert von 70,5 über sechs Evaluierungskategorien, womit es in der Nähe mehrerer Standard‑8B‑Modelle liegt. Damit überzeugt Bonsai nicht nur durch Größe und Tempo, sondern auch durch stabile Leistung.

Systemanforderungen und Voraussetzungen für Bonsai

Für dieses Tutorial betreibe ich Bonsai auf einem älteren Windows‑Laptop mit einem Intel‑Prozessor der 12. Generation und einer NVIDIA RTX 3070 GPU. Einer der größten Vorteile von Bonsai 8B ist, dass es mit rund 2 GB VRAM oder Systemspeicher auskommt – ideal für ältere Laptops und Systeme mit wenig RAM. 

Für mehr Geschwindigkeit empfehle ich, den neuesten NVIDIA‑GPU‑Treiber und das CUDA Toolkit von der offiziellen Download‑Seite von NVIDIA zu installieren. Das CUDA Toolkit ist die offizielle Entwicklungsumgebung von NVIDIA für GPU‑beschleunigte Anwendungen.

Sobald alles installiert ist, öffne die Eingabeaufforderung oder das Terminal und führe Folgendes aus:

nvidia-smi

Dieser Befehl zeigt deine NVIDIA‑GPU, die Treiberversion und die CUDA‑Unterstützung. Wenn deine GPU korrekt angezeigt wird, ist dein System bereit für GPU‑Beschleunigung, um Bonsai lokal auszuführen.

1. Lade das Bonsai 8B GGUF‑Modell herunter

Rufe zuerst das Bonsai 8B GGUF‑Repository auf Hugging Face auf und lade die GGUF‑Modelldatei direkt über den Download‑Button herunter.

Erstelle danach auf deinem System einen Ordner namens „Bonsai“. Lege darin einen weiteren Ordner „model“ an und verschiebe die heruntergeladene GGUF‑Datei in diesen Ordner.

2. Lade den PrismML‑Build von llama.cpp herunter

Öffne als Nächstes die Release‑Seite von PrismML llama.cpp und lade den vorkompilierten Windows‑x64‑Build herunter, der zu deiner CUDA‑Version passt. Für dieses Tutorial solltest du die Datei „Windows x64 (CUDA 13.1)“ sowie die CUDA‑13.1‑DLLs von derselben Release‑Seite laden.

3. Richte den Bonsai‑Projektordner ein

Entpacke nach dem Download beide ZIP‑Dateien in den zuvor erstellten „Bonsai“‑Ordner.

Anschließend sollte der Ordner dein Model‑Verzeichnis mit der Bonsai‑GGUF‑Datei sowie die llama.cpp‑Dateien enthalten, die du zum Ausführen des Modells in der Kommandozeile und als lokalen Server benötigst.

4. Teste das Modell mit llama-cli

Öffne jetzt deinen „Bonsai“‑Ordner, klicke mit der rechten Maustaste in einen freien Bereich und wähle „Im Terminal öffnen“. So führst du das Modell direkt aus dem Ordner mit den llama.cpp‑Dateien und deinem „model“‑Verzeichnis aus.

Führe dann den folgenden Befehl aus, um Bonsai mit llama-cli zu testen:

.\llama-cli -m model/Bonsai-8B.gguf -p "Explain quantum computing in simple terms." -n 256 --temp 0.5 --top-p 0.85 --top-k 20 -ngl 99

Dieser Befehl folgt den in der offiziellen Bonsai‑Kurzanleitung empfohlenen Prompt‑ und Generierungs‑Einstellungen, darunter temperature 0.5, top-p 0.85, top-k 20 und -ngl 99 zum Auslagern von Layern auf die GPU. 

In meinem Test wurde das Modell in weniger als einer Sekunde in den GPU‑Speicher geladen, und die Antwort war schnell und präzise.

Ich kam außerdem auf rund 88,6 Tokens pro Sekunde – sehr beeindruckend für ein lokales Modell auf einem älteren Laptop.

5. Bonsai als lokalen Inferenz‑Server betreiben

Nach dem Test in der CLI kannst du das Modell mit llama-server als lokalen Inferenz‑Server starten:

.\llama-server -m model/Bonsai-8B.gguf -ngl 99 --host 127.0.0.1 --port 8033

Dies entspricht dem lokalen Server‑Setup auf der offiziellen Bonsai‑Modellseite, wo PrismML llama-server nutzt, um das Modell über einen lokalen HTTP‑Endpunkt bereitzustellen.

In meinem Test wurde das Modell in weniger als 5 Sekunden in den Speicher geladen.

Sobald das Laden abgeschlossen ist, zeigt das Terminal an, dass der Server unter 127.0.0.1:8033 läuft. Bonsai ist damit über einen lokalen API‑Endpunkt auf deinem Rechner erreichbar.

6. Teste den Server mit curl

Da der Bonsai‑Server nun läuft, testest du als Nächstes die lokale API mit curl. Der llama-server‑Endpunkt ist OpenAI‑kompatibel. Du kannst also eine Anfrage an /v1/chat/completions senden und erhältst eine normale Chat‑Completion‑Antwort zurück.

Führe folgenden Befehl im Terminal aus:

curl -X POST "http://127.0.0.1:8033/v1/chat/completions" -H "Content-Type: application/json" --data-raw '{"model":"Bonsai-8B","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Write a short Python function to reverse a string."}],"temperature":0.7,"max_tokens":200,"stream":false}'

Wenn alles korrekt funktioniert, gibt der Server eine JSON‑Antwort mit der generierten Ausgabe zurück.

7. Öffne und teste die WebUI

Sobald der Server läuft, öffne http://127.0.0.1:8033/ in deinem Browser. Der llama.cpp‑Server bringt eine integrierte Web‑UI mit.

Damit erhältst du eine einfache, ChatGPT‑ähnliche Oberfläche, um dein lokal laufendes Modell zu testen. In meinem Fall öffnete sich die UI sofort und ich konnte direkt im Browser mit Bonsai chatten. 

Test 1: Eine Kurzgeschichte schreiben

Zuerst ließ ich eine Geschichte schreiben – nach wenigen Sekunden kam eine Antwort mit rund 85 Tokens pro Sekunde.

Test 2: Ein einfaches Spiel programmieren

Um zu sehen, wie gut eine echte Coding‑Aufgabe klappt, gab ich folgenden Prompt:

Write Python code to build a command-line number guessing game where the user guesses a randomly selected number, receives "too high" or "too low" hints after each guess, and sees the total number of attempts once they guess correctly.

Auch hier kam die Antwort schnell. Das Modell generierte den Code sowie einfache Anweisungen, wie man die Datei speichert und mit Python ausführt.

Ich kopierte den Code in eine Python‑Datei, startete ihn im Terminal, und er lief auf Anhieb ohne Probleme.

Test 3: Eine einfache Website generieren

Außerdem testete ich einen zweiten Prompt, um die Frontend‑Generierung zu prüfen:

Create a simple, clean HTML personal profile website for Abid Ali Awan, a Data Scientist, with sections for a hero intro, about, skills, projects, and contact, using modern styling and placeholder content that can be customized later.

Die Antwort war wieder schnell. Ich kopierte den generierten Code in eine HTML‑Datei, öffnete sie im Browser, und die Seite wurde korrekt gerendert.

Für ein so kleines Modell war das Ergebnis wirklich beeindruckend.

Fazit

Am meisten überraschte mich bei Bonsai die Kombination aus Tempo, Größe und Intelligenz. Ich hätte nicht erwartet, dass sich ein so kleines Modell auf einem älteren Windows‑Laptop derart schnell und praxistauglich anfühlt. 

Auch das komplette Setup war viel einfacher als gedacht. Ich musste nur die GGUF‑Datei von Hugging Face und die PrismML‑llama.cpp‑Build‑Dateien herunterladen, alles in einen Ordner legen und die Befehle im Terminal ausführen, um das Modell lokal zu testen und bereitzustellen. Vom Start bis zur Nutzung brauchte ich weniger als zwei Minuten. 

Die llama.cpp‑WebUI machte das Ganze noch zugänglicher – besonders für alle mit wenig Erfahrung beim lokalen KI‑Setup oder mit begrenzter Rechenleistung. Sobald der Server lief, konnte ich Prompts testen, Code generieren und kreative Schreibaufgaben direkt im Browser ohne Zusatztools ausprobieren.

Auch die Ausgabequalität gefiel mir. Für seine Größe meisterte Bonsai sowohl Coding als auch kreatives Schreiben überraschend gut. Es war schnell in der CLI, schnell über den lokalen Server und schnell in der WebUI. Allerdings ist ein so kleines Modell aus meiner Sicht nicht die erste Wahl für agentisches Coding oder komplexere Aufgaben, die tiefere Argumentation und längere Kontexte erfordern.

Wenn du ein Modell lokal betreiben willst, sind 1‑Bit‑Modelle dennoch ein sehr vielversprechender Weg. Sie bieten einen starken Kompromiss aus Effizienz und Intelligenz und machen lokale KI auf Alltags‑Hardware deutlich praxistauglicher. Als Nächstes würde ich sehr gern ein größeres 1‑Bit‑Modell testen – etwas in der Nähe der Qwen3.5-27B‑Klasse, da das ein noch besseres Verhältnis aus Geschwindigkeit, Speicher und Leistungsfähigkeit bieten könnte.