Tutorial de Bonsai IA: ejecuta un LLM de 1 bit en local en un portátil antiguo

Ejecutar modelos de lenguaje en local cada vez es más fácil, incluso en hardware antiguo. Bonsai es un modelo de 1 bit diseñado para ser pequeño, rápido y eficiente, lo que lo convierte en una buena opción para usar en local en un portátil con Windows.

En este tutorial, te explico qué es Bonsai y, de forma sencilla, cómo funcionan los modelos de 1 bit. Te guiaré paso a paso por todo el proceso de configuración. 

Incluye la descarga del modelo Bonsai 8B GGUF, la configuración del fork de PrismML de llama.cpp, la prueba del modelo en la línea de comandos, su ejecución como servidor local y la verificación de que todo funciona tanto con curl como con la WebUI integrada.

Te recomiendo revisar también nuestras guías para ejecutar en local GLM-5.1 y Qwen3.5-27B.

¿Qué es el modelo Bonsai de IA?

Bonsai es una familia de modelos de lenguaje compactos de 1 bit de PrismML que incluye variantes de 1.7B, 4B y 8B, ofreciendo distintas opciones de tamaño según tu dispositivo y tus necesidades de rendimiento. 

La línea Bonsai está pensada para una inferencia local eficiente, con compatibilidad en llama.cpp y runtimes relacionados, y el modelo insignia Bonsai 8B GGUF se presenta como mucho más pequeño que un modelo FP16 de 8B típico, manteniéndose competitivo en capacidades.

¿Cómo funcionan los modelos de 1 bit?

Un modelo de 1 bit almacena cada peso como un solo bit en lugar de usar valores de precisión completa estándar. En el formato Q1_0 de Bonsai, un valor 0 se asigna a una escala negativa y un valor 1 a una escala positiva, con una escala FP16 compartida por cada 128 pesos. 

Este enfoque reduce de forma significativa el uso de memoria y mantiene el modelo funcional y eficiente para la inferencia. Bonsai aplica este diseño de 1 bit en embeddings, proyecciones de atención, proyecciones MLP y la cabeza del LM, siendo un modelo de 1 bit de extremo a extremo.

Fuente: prism-ml/Bonsai-8B-gguf · Hugging Face

En pruebas de benchmark, Bonsai 8B demuestra que un modelo de 1 bit mucho más pequeño puede mantenerse competitivo frente a modelos de precisión completa en el rango de 6B a 9B. La model card informa de una puntuación media de 70,5 en seis categorías de evaluación, situándolo cerca de varios modelos estándar de 8B. Bonsai destaca no solo por su tamaño y velocidad, sino también por mantener un rendimiento sólido.

Requisitos del sistema y prerrequisitos de Bonsai

Para este tutorial, ejecuto Bonsai en un portátil Windows antiguo con un procesador Intel de 12.ª generación y una GPU NVIDIA RTX 3070. Una de las mayores ventajas de Bonsai 8B es que puede funcionar con alrededor de 2 GB de VRAM o de RAM del sistema, lo que lo hace práctico para portátiles antiguos y equipos con poca memoria. 

Para ganar velocidad, te recomiendo instalar el controlador más reciente de NVIDIA y el CUDA Toolkit desde la página oficial de descargas de NVIDIA. CUDA Toolkit es el entorno oficial de desarrollo de NVIDIA para aplicaciones aceleradas por GPU.

Cuando tengas todo instalado, abre el Símbolo del sistema o la Terminal y ejecuta:

nvidia-smi

Este comando muestra tu GPU NVIDIA, la versión del controlador y la compatibilidad con CUDA. Si tu GPU aparece correctamente, tu sistema está listo para usar aceleración por GPU y ejecutar Bonsai en local.

1. Descarga el modelo Bonsai 8B GGUF

Primero, ve al repositorio de Bonsai 8B GGUF en Hugging Face y descarga el archivo del modelo GGUF directamente con el botón de descarga.

Después, crea una carpeta llamada «Bonsai» en tu sistema. Dentro, crea otra carpeta llamada «model» y coloca el archivo GGUF descargado en esa carpeta.

2. Descarga la build de llama.cpp de PrismML

A continuación, abre la página de lanzamientos de llama.cpp de PrismML y descarga la build precompilada para Windows x64 que coincida con tu versión de CUDA. Para este tutorial, debes descargar el archivo de Windows x64 (CUDA 13.1) y las DLL de CUDA 13.1 desde la misma página.

3. Prepara la carpeta del proyecto Bonsai

Tras descargar ambos archivos ZIP, extráelos dentro de la carpeta «Bonsai» que creaste antes.

Cuando termines, la carpeta debería incluir tu directorio del modelo con el archivo GGUF de Bonsai, además de los archivos de llama.cpp necesarios para ejecutar el modelo por línea de comandos y como servidor local.

4. Prueba el modelo con llama-cli

Ahora abre tu carpeta «Bonsai», haz clic derecho en un área vacía y selecciona Abrir en Terminal. Así podrás ejecutar el modelo directamente desde la carpeta que contiene los archivos de llama.cpp y tu directorio «model».

Luego ejecuta el siguiente comando para probar Bonsai con llama-cli:

.\llama-cli -m model/Bonsai-8B.gguf -p "Explain quantum computing in simple terms." -n 256 --temp 0.5 --top-p 0.85 --top-k 20 -ngl 99

Este comando sigue la misma prompt recomendada y los ajustes de generación del quickstart oficial de Bonsai, incluyendo temperature 0.5, top-p 0.85, top-k 20 y -ngl 99 para descargar capas en la GPU. 

En mi prueba, el modelo se cargó en la memoria de la GPU en menos de un segundo, y la respuesta fue rápida y precisa.

También estaba obteniendo alrededor de 88,6 tokens por segundo, algo muy destacable para ejecutar un modelo local en un portátil antiguo.

5. Ejecuta Bonsai como servidor de inferencia local

Tras probar el modelo en la CLI, puedes ejecutarlo como servidor de inferencia local con llama-server:

.\llama-server -m model/Bonsai-8B.gguf -ngl 99 --host 127.0.0.1 --port 8033

Esto sigue la misma configuración de servidor local mostrada en la página oficial del modelo Bonsai, donde PrismML usa llama-server para servir el modelo a través de un endpoint HTTP local.

En mi prueba, el modelo se cargó en memoria en menos de 5 segundos.

Cuando termina de cargar, la terminal indica que el servidor está ejecutándose en 127.0.0.1:8033, lo que significa que Bonsai ya está disponible mediante una API local en tu equipo.

6. Prueba el servidor con curl

Ahora que el servidor de Bonsai está en marcha, el siguiente paso es probar la API local con curl. El endpoint de llama-server es compatible con OpenAI, así que puedes enviar una solicitud a /v1/chat/completions y recibir una respuesta de chat normal.

Ejecuta este comando en tu terminal:

curl -X POST "http://127.0.0.1:8033/v1/chat/completions" -H "Content-Type: application/json" --data-raw '{"model":"Bonsai-8B","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Write a short Python function to reverse a string."}],"temperature":0.7,"max_tokens":200,"stream":false}'

Si todo funciona correctamente, el servidor devolverá una respuesta JSON con la salida generada.

7. Abre y prueba la WebUI

Con el servidor en marcha, abre http://127.0.0.1:8033/ en tu navegador. El servidor de llama.cpp incluye una interfaz web integrada.

Te ofrece una interfaz sencilla, al estilo de ChatGPT, para probar tu modelo en local. En mi caso, la UI se abrió al instante y pude empezar a chatear con Bonsai directamente desde el navegador. 

Prueba 1: escribir un cuento corto

Primero le pedí que escribiera una historia y, en cuestión de segundos, devolvió una respuesta a unas 85 tokens por segundo.

Prueba 2: programar un juego sencillo

Para ver cómo resolvía una tarea real de código, le di este prompt:

Write Python code to build a command-line number guessing game where the user guesses a randomly selected number, receives "too high" or "too low" hints after each guess, and sees the total number of attempts once they guess correctly.

De nuevo, la respuesta fue rápida. El modelo generó el código junto con instrucciones sencillas para guardar el archivo y ejecutarlo con Python.

Copié el código en un archivo de Python, lo ejecuté en la terminal y funcionó a la primera, sin problemas.

Prueba 3: generar una web sencilla

También probé un segundo prompt para ver cómo resolvía la generación front-end:

Create a simple, clean HTML personal profile website for Abid Ali Awan, a Data Scientist, with sections for a hero intro, about, skills, projects, and contact, using modern styling and placeholder content that can be customized later.

La respuesta volvió a ser rápida. Copié el código generado en un archivo HTML y lo abrí en el navegador; la página se renderizó correctamente.

Para un modelo tan pequeño, el resultado fue realmente impresionante.

Reflexiones finales

Lo que más me sorprendió de Bonsai fue la combinación de velocidad, tamaño e inteligencia. No esperaba que un modelo tan pequeño se sintiera tan rápido y utilizable en un portátil Windows antiguo. 

La configuración completa también fue más sencilla de lo que pensaba. Solo tuve que descargar el archivo GGUF de Hugging Face y los archivos de la build de llama.cpp de PrismML, ponerlo todo en una carpeta y ejecutar los comandos en la terminal para probar y servir el modelo en local. De principio a fin, tardé menos de dos minutos en pasar de cero a estar usando el modelo. 

La WebUI de llama.cpp hizo que la experiencia fuera aún más accesible, especialmente para alguien con conocimientos limitados sobre configuración de IA local o cómputo. Una vez que el servidor estaba en marcha, pude probar prompts, generar código y hacer tareas de escritura creativa desde una interfaz web sencilla, sin herramientas adicionales.

También me gustó la calidad de las salidas. Para un modelo de este tamaño, Bonsai resolvió sorprendentemente bien tanto código como escritura creativa. Fue rápido en la CLI, rápido a través del servidor local y rápido en la WebUI. Dicho esto, no creo que un modelo tan pequeño sea la opción adecuada para coding agentico o tareas más complejas que requieran razonamiento profundo y manejo de contextos largos.

Aun así, si quieres ejecutar un modelo en local, creo que los modelos de 1 bit son una dirección muy prometedora. Ofrecen un gran equilibrio entre eficiencia e inteligencia y hacen que la IA local sea mucho más viable en hardware cotidiano. Me interesaría mucho probar un modelo de 1 bit más grande, algo más cercano a la gama de Qwen3.5-27B, porque podría ofrecer un equilibrio aún mejor entre velocidad, uso de memoria y capacidad.