Tutorial Bonsai AI: esegui in locale un LLM a 1 bit su un vecchio laptop

Nota: Bonsai 2 27B è ora disponibile, basato su Qwen3.8 27B

Eseguire modelli linguistici in locale sta diventando sempre più semplice, anche su hardware datato. Bonsai è un modello a 1 bit progettato per essere piccolo, veloce ed efficiente, il che lo rende una buona opzione per l’uso locale su un laptop Windows.

In questo tutorial ti spiegherò cos’è Bonsai e come funzionano i modelli a 1 bit in modo semplice. Ti guiderò passo dopo passo in tutto il processo di configurazione. 

Questo include il download del modello Bonsai 8B GGUF, la configurazione del fork PrismML di llama.cpp, il test del modello da riga di comando, l’esecuzione come server locale e la verifica che tutto funzioni sia con curl sia con la WebUI integrata.

Ti consiglio di dare un’occhiata anche alle nostre guide per eseguire in locale GLM-5.1 e Qwen3.5-27B.

Cos’è il modello Bonsai AI?

Bonsai è una famiglia di modelli linguistici compatti a 1 bit di PrismML che include varianti da 1,7B, 4B e 8B, offrendo diverse dimensioni in base al dispositivo e alle esigenze prestazionali. 

La linea Bonsai è pensata per un’inferenza locale efficiente, con supporto su llama.cpp e runtime correlati, e il modello di punta Bonsai 8B GGUF è presentato come molto più piccolo di un tipico modello FP16 8B pur restando competitivo in termini di capacità.

Come funzionano i modelli a 1 bit?

Un modello a 1 bit funziona memorizzando ciascun peso come un singolo bit invece di usare valori in piena precisione. Nel formato Q1_0 di Bonsai, il valore 0 mappa a una scala negativa e il valore 1 a una scala positiva, con una scala FP16 condivisa ogni 128 pesi. 

Questo approccio riduce significativamente l’uso di memoria mantenendo il modello funzionale ed efficiente per l’inferenza. Bonsai applica questo design a 1 bit a embeddings, proiezioni dell’attenzione, proiezioni MLP e LM head, rendendolo un modello end-to-end a 1 bit.

Fonte: prism-ml/Bonsai-8B-gguf · Hugging Face

Nei benchmark, Bonsai 8B mostra che un modello a 1 bit molto più piccolo può restare competitivo con modelli a piena precisione nella fascia 6B–9B. La scheda del modello riporta un punteggio medio di 70,5 su sei categorie di valutazione, che lo colloca vicino a diversi modelli 8B standard. Questo rende Bonsai notevole non solo per dimensioni e velocità, ma anche per le buone prestazioni mantenute.

Requisiti di sistema e prerequisiti di Bonsai

Per questo tutorial, eseguo Bonsai su un vecchio laptop Windows con processore Intel di 12ª generazione e GPU NVIDIA RTX 3070. Uno dei maggiori vantaggi di Bonsai 8B è che può funzionare con circa 2 GB di VRAM o RAM di sistema, rendendolo un’opzione pratica per laptop datati e sistemi con poca memoria. 

Per maggior velocità, ti consiglio di installare l’ultimo driver GPU NVIDIA e il CUDA Toolkit dalla pagina ufficiale di download di NVIDIA. Il CUDA Toolkit è l’ambiente di sviluppo ufficiale NVIDIA per applicazioni accelerate via GPU.

Una volta installato tutto, apri il Prompt dei comandi o il Terminale ed esegui:

nvidia-smi

Questo comando mostra la tua GPU NVIDIA, la versione del driver e il supporto CUDA. Se la GPU è elencata correttamente, il sistema è pronto per usare l’accelerazione GPU per eseguire Bonsai in locale.

1. Scarica il modello Bonsai 8B GGUF

Per prima cosa, vai al repository Bonsai 8B GGUF su Hugging Face e scarica direttamente il file del modello GGUF usando il pulsante di download.

Dopodiché, crea una cartella chiamata “Bonsai” sul tuo sistema. Al suo interno, crea un’altra cartella chiamata “model”, quindi inserisci il file GGUF scaricato in quella cartella.

2. Scarica la build PrismML di llama.cpp

Poi apri la pagina di rilascio di PrismML llama.cpp e scarica la build precompilata Windows x64 che corrisponde alla tua versione di CUDA. Per questo tutorial, dovresti scaricare il file Windows x64 (CUDA 13.1) e le DLL CUDA 13.1 dalla stessa pagina di rilascio.

3. Configura la cartella di progetto Bonsai

Dopo aver scaricato entrambi i file ZIP, estraili nella cartella “Bonsai” che hai creato in precedenza.

Al termine, la cartella dovrebbe includere la directory del modello con il file GGUF di Bonsai, oltre ai file di llama.cpp necessari per eseguire il modello da riga di comando e come server locale.

4. Testa il modello con llama-cli

Ora apri la cartella “Bonsai”, fai clic destro in un’area vuota e seleziona Apri nel terminale. Questo ti permette di eseguire il modello direttamente dalla cartella che contiene i file di llama.cpp e la directory “model”.

Quindi esegui il seguente comando per testare Bonsai con llama-cli:

.\llama-cli -m model/Bonsai-8B.gguf -p "Explain quantum computing in simple terms." -n 256 --temp 0.5 --top-p 0.85 --top-k 20 -ngl 99

Questo comando segue le stesse impostazioni di prompt e generazione consigliate nel quickstart ufficiale di Bonsai, tra cui temperature 0.5, top-p 0.85, top-k 20 e -ngl 99 per scaricare i layer sulla GPU. 

Nel mio test, il modello è stato caricato nella memoria della GPU in meno di un secondo e la risposta è stata sia veloce sia accurata.

Ho ottenuto anche circa 88,6 token al secondo, davvero notevole per un modello locale su un laptop datato.

5. Esegui Bonsai come server di inferenza locale

Dopo aver testato il modello nella CLI, puoi eseguirlo come server di inferenza locale con llama-server:

.\llama-server -m model/Bonsai-8B.gguf -ngl 99 --host 127.0.0.1 --port 8033

Questo segue la stessa configurazione del server locale mostrata sulla pagina ufficiale del modello Bonsai, dove PrismML usa llama-server per servire il modello tramite un endpoint HTTP locale.

Nel mio test, il modello è stato caricato in memoria in meno di 5 secondi.

Una volta terminato il caricamento, il terminale mostra che il server è in esecuzione su 127.0.0.1:8033, il che significa che Bonsai è ora disponibile tramite un endpoint API locale sulla tua macchina.

6. Testa il server con curl

Ora che il server Bonsai è in esecuzione, il passo successivo è testare l’API locale con curl. L’endpoint di llama-server è compatibile con OpenAI, quindi puoi inviare una richiesta a /v1/chat/completions e ottenere una normale risposta di chat completion.

Esegui il seguente comando nel terminale:

curl -X POST "http://127.0.0.1:8033/v1/chat/completions" -H "Content-Type: application/json" --data-raw '{"model":"Bonsai-8B","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Write a short Python function to reverse a string."}],"temperature":0.7,"max_tokens":200,"stream":false}'

Se tutto funziona correttamente, il server restituirà una risposta JSON con l’output generato.

7. Apri e testa la WebUI

Una volta che il server è in esecuzione, apri http://127.0.0.1:8033/ nel browser. Il server di llama.cpp include una web UI integrata.

Hai così un’interfaccia semplice in stile ChatGPT per testare il modello in esecuzione locale. Nel mio caso, l’interfaccia si è aperta subito e ho potuto iniziare a chattare con Bonsai direttamente dal browser. 

Test 1: Scrivi un racconto breve

Per prima cosa gli ho chiesto di scrivere una storia e, in pochi secondi, ha restituito una risposta a circa 85 token al secondo.

Test 2: Scrivi un semplice gioco

Per vedere come se la cavava con un vero compito di coding, gli ho dato questo prompt:

Write Python code to build a command-line number guessing game where the user guesses a randomly selected number, receives "too high" or "too low" hints after each guess, and sees the total number of attempts once they guess correctly.

Anche qui, la risposta è stata veloce. Il modello ha generato il codice insieme a semplici istruzioni su come salvare il file ed eseguirlo con Python.

Ho copiato il codice in un file Python, l’ho eseguito nel terminale e ha funzionato subito senza problemi.

Test 3: Genera un sito semplice

Ho testato anche un secondo prompt per vedere come gestiva la generazione front-end:

Create a simple, clean HTML personal profile website for Abid Ali Awan, a Data Scientist, with sections for a hero intro, about, skills, projects, and contact, using modern styling and placeholder content that can be customized later.

Anche questa volta la risposta è stata rapida. Ho copiato il codice generato in un file HTML e l’ho aperto nel browser: la pagina è stata renderizzata correttamente.

Per un modello così piccolo, il risultato è stato davvero impressionante.

Considerazioni finali

Quello che mi ha sorpreso di più di Bonsai è stata la combinazione di velocità, dimensioni e intelligenza. Non mi aspettavo che un modello così piccolo fosse così veloce e usabile su un vecchio laptop Windows. 

L’intera configurazione è stata anche più semplice del previsto. Mi è bastato scaricare il file GGUF da Hugging Face e i file della build llama.cpp di PrismML, mettere tutto in un’unica cartella ed eseguire i comandi nel terminale per testare e servire il modello in locale. Dall’inizio alla fine, mi ci sono voluti meno di due minuti per passare da zero configurazione all’uso effettivo del modello. 

La WebUI di llama.cpp ha reso l’esperienza ancora più accessibile, soprattutto per chi ha conoscenze limitate di setup o risorse di calcolo locali. Una volta avviato il server, ho potuto testare prompt, generare codice e provare compiti di scrittura creativa tramite una semplice interfaccia browser senza strumenti aggiuntivi.

Mi è piaciuta anche la qualità degli output. Per un modello di queste dimensioni, Bonsai ha gestito sorprendentemente bene sia il coding sia la scrittura creativa. È stato veloce nella CLI, veloce tramite il server locale e veloce nella WebUI. Detto questo, non credo che un modello così piccolo sia la scelta giusta per coding agentico o compiti più complessi che richiedono ragionamento più profondo e gestione di contesti più lunghi.

Detto ciò, se vuoi eseguire un modello in locale, penso che i modelli a 1 bit siano una direzione molto promettente. Offrono un buon equilibrio tra efficienza e intelligenza e rendono l’AI locale molto più pratica sull’hardware di tutti i giorni. Sarei molto interessato a provare un modello a 1 bit più grande, qualcosa di più vicino alla gamma Qwen3.5-27B, perché potrebbe offrire un equilibrio ancora migliore tra velocità, uso di memoria e capacità.