Hướng dẫn Bonsai AI: Chạy LLM 1-bit cục bộ trên laptop cũ

Lưu ý: Bonsai 2 27B hiện đã có, dựa trên Qwen3.8 27B

Việc chạy các mô hình ngôn ngữ cục bộ ngày càng dễ dàng hơn, ngay cả trên phần cứng cũ. Bonsai là một mô hình 1-bit được thiết kế nhỏ gọn, nhanh và hiệu quả, rất phù hợp để chạy cục bộ trên laptop Windows.

Trong hướng dẫn này, tôi sẽ giới thiệu Bonsai là gì và cách hoạt động của các mô hình 1-bit theo cách đơn giản. Tôi sẽ dẫn bạn qua toàn bộ quy trình thiết lập từng bước. 

Bao gồm tải xuống mô hình Bonsai 8B GGUF, thiết lập bản fork llama.cpp của PrismML, kiểm thử mô hình trong dòng lệnh, chạy nó như một máy chủ cục bộ, và xác minh mọi thứ hoạt động với cả curl lẫn WebUI tích hợp.

Tôi cũng khuyên bạn tham khảo các hướng dẫn chạy cục bộ GLM-5.1 và Qwen3.5-27B.

Mô hình Bonsai AI là gì?

Bonsai là họ mô hình ngôn ngữ 1-bit nhỏ gọn của PrismML, gồm các biến thể 1.7B, 4B và 8B, mang đến nhiều lựa chọn kích thước tùy theo thiết bị và nhu cầu hiệu năng. 

Dòng Bonsai được thiết kế cho suy luận cục bộ hiệu quả, hỗ trợ trên llama.cpp và các runtime liên quan, và mô hình chủ lực Bonsai 8B GGUF có kích thước nhỏ hơn nhiều so với mô hình FP16 8B điển hình nhưng vẫn cạnh tranh về năng lực.

Mô hình 1-bit hoạt động như thế nào?

Mô hình 1-bit lưu mỗi trọng số bằng một bit thay vì các giá trị độ chính xác đầy đủ. Trong định dạng Q1_0 của Bonsai, giá trị 0 ánh xạ tới thang âm và giá trị 1 ánh xạ tới thang dương, với một thang FP16 dùng chung cho mỗi 128 trọng số. 

Cách tiếp cận này giúp giảm đáng kể việc sử dụng bộ nhớ trong khi vẫn giữ cho mô hình hoạt động hiệu quả khi suy luận. Bonsai áp dụng thiết kế 1-bit này cho embeddings, các phép chiếu attention, các phép chiếu MLP và LM head, biến nó thành một mô hình 1-bit xuyên suốt.

Nguồn: prism-ml/Bonsai-8B-gguf · Hugging Face

Trong các bài kiểm thử benchmark, Bonsai 8B cho thấy một mô hình 1-bit nhỏ hơn nhiều vẫn có thể cạnh tranh với các mô hình độ chính xác đầy đủ trong dải 6B đến 9B. Thẻ mô hình báo cáo điểm trung bình 70,5 trên sáu hạng mục đánh giá, đặt nó gần với một số mô hình 8B tiêu chuẩn. Điều này khiến Bonsai đáng chú ý không chỉ nhờ kích thước và tốc độ, mà còn vì duy trì hiệu năng tốt.

Yêu cầu hệ thống và điều kiện tiên quyết của Bonsai

Trong hướng dẫn này, tôi chạy Bonsai trên một laptop Windows đời cũ với vi xử lý Intel Gen 12 và GPU NVIDIA RTX 3070. Một trong những ưu điểm lớn nhất của Bonsai 8B là có thể chạy với khoảng 2 GB VRAM hoặc RAM hệ thống, khiến nó khả thi với laptop cũ và các hệ thống bộ nhớ thấp. 

Để có tốc độ tốt hơn, tôi khuyến nghị cài đặt driver GPU NVIDIA mới nhất và CUDA Toolkit từ trang tải xuống chính thức của NVIDIA. CUDA Toolkit là môi trường phát triển chính thức của NVIDIA cho các ứng dụng tăng tốc bằng GPU.

Khi cài đặt xong, mở Command Prompt hoặc Terminal và chạy:

nvidia-smi

Lệnh này hiển thị GPU NVIDIA, phiên bản driver và hỗ trợ CUDA của bạn. Nếu GPU được liệt kê chính xác, hệ thống của bạn đã sẵn sàng dùng tăng tốc GPU để chạy Bonsai cục bộ.

1. Tải mô hình Bonsai 8B GGUF

Trước tiên, truy cập repo Bonsai 8B GGUF trên Hugging Face và tải trực tiếp tệp mô hình GGUF bằng nút tải xuống.

Sau đó, tạo một thư mục tên “Bonsai” trên hệ thống của bạn. Bên trong, tạo thư mục “model”, rồi đặt tệp GGUF đã tải vào trong thư mục đó.

2. Tải bản build llama.cpp của PrismML

Tiếp theo, mở trang phát hành PrismML llama.cpp và tải bản Windows x64 dựng sẵn khớp với phiên bản CUDA của bạn. Trong hướng dẫn này, bạn nên tải tệp Windows x64 (CUDA 13.1) và các DLL CUDA 13.1 từ cùng trang phát hành.

3. Thiết lập thư mục dự án Bonsai

Sau khi tải cả hai tệp ZIP, giải nén chúng vào thư mục “Bonsai” bạn đã tạo trước đó.

Khi hoàn tất, thư mục sẽ bao gồm thư mục model với tệp GGUF của Bonsai, cũng như các tệp llama.cpp cần thiết để chạy mô hình trong dòng lệnh và như một máy chủ cục bộ.

4. Kiểm thử mô hình với llama-cli

Giờ hãy mở thư mục “Bonsai”, nhấp chuột phải vào vùng trống và chọn Open in Terminal. Cách này cho phép bạn chạy mô hình trực tiếp từ thư mục chứa các tệp llama.cpp và thư mục “model”.

Sau đó chạy lệnh sau để kiểm thử Bonsai với llama-cli:

.\llama-cli -m model/Bonsai-8B.gguf -p "Explain quantum computing in simple terms." -n 256 --temp 0.5 --top-p 0.85 --top-k 20 -ngl 99

Lệnh này theo các thiết lập nhắc và sinh văn bản được khuyến nghị trong quickstart chính thức của Bonsai, gồm temperature 0.5, top-p 0.85, top-k 20 và -ngl 99 để chuyển tầng sang GPU. 

Trong bài thử của tôi, mô hình nạp vào bộ nhớ GPU dưới một giây, và phản hồi vừa nhanh vừa chính xác.

Tôi cũng đạt khoảng 88,6 token mỗi giây, rất ấn tượng khi chạy mô hình cục bộ trên laptop cũ.

5. Chạy Bonsai như một máy chủ suy luận cục bộ

Sau khi thử mô hình trong CLI, bạn có thể chạy nó như một máy chủ suy luận cục bộ với llama-server:

.\llama-server -m model/Bonsai-8B.gguf -ngl 99 --host 127.0.0.1 --port 8033

Thiết lập máy chủ cục bộ này giống như trên trang mô hình chính thức của Bonsai, nơi PrismML dùng llama-server để phục vụ mô hình qua endpoint HTTP cục bộ.

Trong thử nghiệm của tôi, mô hình nạp vào bộ nhớ dưới 5 giây.

Khi nạp xong, terminal sẽ hiển thị máy chủ đang chạy tại 127.0.0.1:8033, nghĩa là Bonsai hiện sẵn sàng qua API cục bộ trên máy của bạn.

6. Kiểm thử máy chủ với curl

Khi máy chủ Bonsai đang chạy, bước tiếp theo là kiểm thử API cục bộ bằng curl. Endpoint của llama-server tương thích với OpenAI, nên bạn có thể gửi yêu cầu tới /v1/chat/completions và nhận về phản hồi chat completion bình thường.

Chạy lệnh sau trong terminal:

curl -X POST "http://127.0.0.1:8033/v1/chat/completions" -H "Content-Type: application/json" --data-raw '{"model":"Bonsai-8B","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Write a short Python function to reverse a string."}],"temperature":0.7,"max_tokens":200,"stream":false}'

Nếu mọi thứ hoạt động đúng, máy chủ sẽ trả về phản hồi JSON với nội dung được sinh.

7. Mở và kiểm thử WebUI

Khi máy chủ đang chạy, mở http://127.0.0.1:8033/ trong trình duyệt. Máy chủ llama.cpp có sẵn một web UI tích hợp.

Bạn sẽ có một giao diện đơn giản giống ChatGPT để kiểm thử mô hình chạy cục bộ. Trường hợp của tôi, UI mở ngay lập tức và tôi có thể bắt đầu trò chuyện trực tiếp với Bonsai từ trình duyệt. 

Bài thử 1: Viết truyện ngắn

Tôi đầu tiên yêu cầu viết một câu chuyện, và chỉ sau vài giây, mô hình phản hồi với tốc độ khoảng 85 token mỗi giây.

Bài thử 2: Viết mã cho trò chơi đơn giản

Để xem khả năng xử lý tác vụ lập trình thực tế, tôi đưa ra lời nhắc sau:

Write Python code to build a command-line number guessing game where the user guesses a randomly selected number, receives "too high" or "too low" hints after each guess, and sees the total number of attempts once they guess correctly.

Phản hồi một lần nữa rất nhanh. Mô hình tạo mã kèm hướng dẫn đơn giản cách lưu tệp và chạy bằng Python.

Tôi sao chép mã vào tệp Python, chạy trong terminal, và nó hoạt động ngay mà không gặp vấn đề gì.

Bài thử 3: Tạo một website đơn giản

Tôi cũng thử một lời nhắc thứ hai để xem khả năng tạo front-end:

Create a simple, clean HTML personal profile website for Abid Ali Awan, a Data Scientist, with sections for a hero intro, about, skills, projects, and contact, using modern styling and placeholder content that can be customized later.

Phản hồi lại nhanh. Tôi sao chép mã sinh ra vào tệp HTML và mở trong trình duyệt, trang hiển thị đúng.

Với một mô hình nhỏ như vậy, kết quả thực sự ấn tượng.

Kết luận

Điều khiến tôi bất ngờ nhất về Bonsai là sự kết hợp giữa tốc độ, kích thước và mức độ thông minh. Tôi không ngờ một mô hình nhỏ như vậy lại nhanh và dùng được trên một laptop Windows cũ.

Toàn bộ quá trình thiết lập cũng dễ hơn tôi tưởng. Tôi chỉ cần tải tệp GGUF từ Hugging Face và các tệp build llama.cpp của PrismML, đặt tất cả vào một thư mục, rồi chạy các lệnh trong terminal để kiểm thử và phục vụ mô hình cục bộ. Từ đầu đến cuối, tôi mất chưa đầy hai phút để chuyển từ chưa thiết lập gì đến sử dụng được mô hình. 

WebUI của llama.cpp càng làm trải nghiệm trở nên dễ tiếp cận hơn, đặc biệt với người ít kiến thức về thiết lập AI cục bộ hay tính toán. Khi máy chủ chạy, tôi có thể thử prompt, tạo mã và thử các tác vụ sáng tác qua giao diện trình duyệt đơn giản mà không cần thêm công cụ nào.

Tôi cũng hài lòng với chất lượng đầu ra. Với kích thước này, Bonsai xử lý cả lập trình và sáng tác khá tốt. Nó nhanh trong CLI, nhanh qua máy chủ cục bộ và nhanh trên WebUI. Dẫu vậy, tôi không nghĩ một mô hình nhỏ như vậy là lựa chọn phù hợp cho lập trình dạng tác tử hoặc các tác vụ phức tạp cần suy luận sâu và xử lý ngữ cảnh dài.

Tuy nhiên, nếu bạn muốn chạy mô hình cục bộ, tôi cho rằng mô hình 1-bit là một hướng đi rất hứa hẹn. Chúng cân bằng tốt giữa hiệu quả và trí tuệ, và khiến AI cục bộ thực tế hơn nhiều trên phần cứng hằng ngày. Tôi rất muốn thử một mô hình 1-bit lớn hơn tiếp theo, gần với dải Qwen3.5-27B, vì có thể mang lại cân bằng tốt hơn nữa giữa tốc độ, sử dụng bộ nhớ và năng lực.