Bonsai 2 27B: Chạy mô hình AI 27B ngay trên laptop của bạn

Hầu hết các lần ra mắt mô hình tôi theo dõi trong năm nay đều theo đuổi cùng một mục tiêu: cửa sổ ngữ cảnh lớn hơn, điểm SWE-bench cao hơn, thêm một nghìn tỷ tham số nữa.

PrismML lại đi theo hướng ngược lại.

Ngày 17 tháng 9 năm 2026, đội ngũ đã phát hành Ternary Bonsai 2 27B, một phiên bản nén của Qwen3.8 27B chỉ nặng 5,9GB và chạy được trên laptop.

Bằng cách nén mạnh cách lưu trữ thông tin, PrismML đã khiến Bonsai 2 27B nhỏ hơn hơn 9 lần so với phiên bản Qwen gốc. Tuy vậy, nó vẫn giữ được 98,2% hiệu năng ban đầu và cửa sổ ngữ cảnh 262 nghìn token, xử lý cả văn bản lẫn hình ảnh.

Trong bài viết này, tôi sẽ điểm qua tất cả những điểm mới của Bonsai 2 27B, xem các tính năng, khám phá benchmark, và phân tích mức giá cùng cách truy cập.

Nếu bạn muốn tự chạy mô hình Bonsai đầu tiên, chúng tôi có hướng dẫn từng bước trong hướng dẫn thiết lập Bonsai 27B cục bộ.

Tóm tắt nhanh

• Bonsai 2 27B nén Qwen3.8 27B xuống 5,9GB trong khi giữ 98,2% hiệu năng tổng hợp trên benchmark.
• Điểm mấu chốt là nơi năng lực được giữ lại: toán và lập trình duy trì ngang bằng, trong khi kiến thức và thị giác chịu ảnh hưởng lớn nhất.
• Chạy cục bộ trên GPU NVIDIA qua CUDA và thiết bị Apple qua MLX, đạt 143 token/giây trên RTX 5090.
• Giấy phép Apache 2.0, trọng số trên Hugging Face, và hiện có nhà cung cấp bên thứ ba lưu trữ miễn phí.
• Đáng dùng nếu bạn cần agent lập trình trên thiết bị hoặc xử lý tài liệu riêng tư; cân nhắc lựa chọn khác nếu bạn phụ thuộc vào khả năng hồi tưởng kiến thức chi tiết hoặc OCR rủi ro cao.

Bonsai 2 27B là gì?

Bonsai 2 27B là mô hình đa phương thức nén chủ lực của PrismML, được xây dựng bằng cách áp dụng lượng tử hóa bậc ba xuyên suốt mô hình ngôn ngữ Qwen3.8 27B.

Trong khi Qwen3.8 27B độ chính xác đầy đủ chiếm 54GB ở FP16 (phiên bản không nén, kích thước đầy đủ), Bonsai 2 27B chỉ còn 5,9GB cho phần văn bản, đủ nhỏ để nằm gọn trên GPU phổ thông hoặc MacBook.

Theo PrismML, việc nén sử dụng trọng số bậc ba giới hạn ở −1, 0 và +1, kết hợp với thu nhỏ theo nhóm FP16. Theo cách tính của PrismML, điều này tương đương 1,72 bit thực mỗi trọng số, so với 16 bit của tham chiếu FP16.

Mô hình giữ nguyên cửa sổ ngữ cảnh 262 nghìn token và đầu vào đa phương thức văn bản + hình ảnh như bản gốc.

Kết quả đáng chú ý nhất là con số giữ lại hiệu năng.

Trên bộ gồm 14 benchmark trong sáu nhóm kỹ năng mà PrismML mô tả, đánh giá ở chế độ tư duy bằng EvalScope và vLLM trên H100, Bonsai 2 27B đạt trung bình 84,78 so với chuẩn FP16 là 86,32, tức 98,2%.

Với một mô hình dưới 2 bit, đây là khoảng cách nhỏ hơn nhiều so với lượng tử hóa thông thường.

Các tính năng chính của Bonsai 2 27B

Điều bạn có thể làm với Bonsai 2 27B nằm ở chỗ chạy được năng lực cấp 27B ở những nơi mô hình 27B thường không thể.

Dưới đây là các tính năng định nghĩa nó.

Chạy mô hình đa phương thức 27B trên laptop

Bonsai 2 27B gói gọn trong 5,9GB, đưa mô hình hạng 27B đến gần với phần cứng phổ thông thay vì trung tâm dữ liệu.

Biểu diễn ít bit được áp dụng xuyên suốt toàn bộ mô hình ngôn ngữ, không chỉ vài tầng, nên việc thu nhỏ dung lượng là thực chất chứ không phải hình thức.

Với người dùng chuyên môn, điều này thay đổi ý nghĩa của "chạy cục bộ".

Thay vì phải hạ xuống mô hình 8B cho công việc trên thiết bị, bạn có thể chạy thứ gì đó có khả năng suy luận và lập trình của mô hình 27B mà vẫn còn RAM trống.

Điểm lưu ý là về kiến trúc, nó vẫn là mô hình 27B, nên phần cứng quá yếu vẫn sẽ chịu áp lực bộ nhớ.

Cửa sổ ngữ cảnh 262 nghìn token cho tài liệu dài

Mô hình có cửa sổ ngữ cảnh 262 nghìn token, đủ để chứa toàn bộ codebase, một hợp đồng pháp lý dài, hoặc một chồng PDF nghiên cứu trong một prompt duy nhất.

Điều này đặc biệt quan trọng cho các thiết lập RAG khi bạn muốn giữ lượng lớn ngữ cảnh thường trực thay vì phải chia nhỏ quá mức.

Cộng đồng cũng ghi nhận một lưu ý: một số người dùng nhận thấy suy giảm khả năng hồi tưởng và mạch lạc ở vùng biên, quá khoảng 200 nghìn token.

Nếu bạn chạy gần giới hạn, hãy kiểm tra khả năng hồi tưởng trên dữ liệu của riêng bạn trước khi dùng trong sản xuất.

Agent lập trình và gọi công cụ

Bonsai 2 27B được xây dựng để trụ vững trong các vòng lặp agent, nơi lỗi nhỏ tích lũy qua nhiều bước.

PrismML đã chứng minh khả năng điều khiển agent lập trình qua Cline và chạy quy trình sử dụng máy tính, cả hai đều trên RTX 5090.

Đây thường là khu vực lượng tử hóa thất bại, vì chỉ một bước suy giảm có thể làm trật hướng cả lượt chạy agent.

Bonsai 2 27B đạt 90,07 trên LiveCodeBench và 74,92 trên BFCL v3, sát với số FP16, điều này khiến công việc agent cục bộ trở nên khả thi chứ không chỉ là kỳ vọng.

Đầu vào đa phương thức văn bản và hình ảnh

Mô hình chấp nhận ảnh cùng với văn bản, bao phủ hỏi đáp thị giác, hiểu tài liệu, và OCR.

Điều này mở ra quy trình đa phương thức riêng tư như gỡ lỗi từ ảnh chụp màn hình hoặc phân tích tài liệu quét mà không phải gửi lên đám mây.

Thị giác cũng là nơi chi phí nén thể hiện rõ nhất.

Trên MMMU-Pro, Bonsai 2 27B đạt 75,49 so với 81,73 của mô hình FP16, và trên OCR Bench v2 giảm xuống 56,88 so với 60,99.

Với xử lý tài liệu rủi ro cao, sơ đồ phức tạp, hoặc văn bản độ phân giải thấp, tôi sẽ coi thị giác là mắt xích yếu nhất và cần xác minh kết quả.

Bonsai 2 27B thể hiện thế nào trên các benchmark?

Bức tranh tổng hợp là 84,78 so với 86,32 của FP16, nhưng con số tổng hợp không nói hết điều quan trọng.

Các bản dưới 4 bit thông thường sụp đổ có chọn lọc đúng ở những benchmark đòi hỏi suy luận bền bỉ, và Bonsai 2 27B được thiết kế để giữ vững những phần đó.

So sánh mà PrismML đưa ra là với một bản 2 bit thông thường của cùng mô hình gốc, Qwen3.8-27B IQ2_XXS, đạt trung bình 72,59.

Bonsai 2 27B vượt hơn 12 điểm trong khi kích thước chỉ dưới hai phần ba, và chỉ kém 0,4 điểm so với bản 4 bit lớn hơn nhiều (UD-Q4_K_XL đạt 85,18) trong khi kích thước chỉ bằng một phần ba.

Suy luận và toán

Toán là nơi Bonsai 2 27B gần như không phân biệt được với mô hình độ chính xác đầy đủ.

Nó đạt 95,83 trên AIME26 và 98,80 trên MATH-500, so với điểm FP16 là 94,58 và 99,80.

Tương phản với lượng tử hóa thông thường rất rõ: IQ2_XXS rơi xuống 57,50 trên AIME26, tụt 37 điểm mà kiểm thử qua loa với câu dễ sẽ hoàn toàn bỏ lỡ.

Về kiến thức rộng và suy luận, bức tranh mềm hơn.

Bonsai 2 27B đạt 89,09 trên MMLU-Redux so với 91,46 của FP16, và đánh giá bên thứ ba đặt nhóm kiến thức và suy luận tổng hợp khoảng 79,9 so với 85,6 của FP16.

Hồi tưởng chi tiết là nơi nén bậc ba khiến bạn mất mát nhiều nhất.

Lập trình và quy trình agent

Lập trình giữ ở mức ngang bằng, thậm chí đôi nơi nhỉnh hơn bản gốc. Bonsai 2 27B đạt 95,12 trên HumanEval+ và 90,07 trên LiveCodeBench, so với FP16 là 93,29 và 90,05.

Trung bình hợp phần lập trình ở mức 89,42 so với 89,07 của FP16 là một thắng lợi nhỏ cho mô hình nén.

Về gọi công cụ dạng agent, BFCL v3 ở mức 74,92 so với 76,74 của FP16, một khoảng cách vừa phải.

So sánh thêm, khi chúng tôi đánh giá Qwen3.8-Max, mô hình lớn hơn nhiều 2,4T đạt 86,1 trên OSWorld-Verified cho tác vụ sử dụng máy tính dạng agent, nên Bonsai 2 27B không cạnh tranh với các mô hình đám mây đầu bảng về năng lực agent thuần.

Nó cạnh tranh ở chỗ có thể chạy agent cục bộ.

Tuân thủ hướng dẫn

Tuân thủ hướng dẫn là một trong số ít hạng mục nơi Bonsai 2 27B nhỉnh hơn hẳn mô hình độ chính xác đầy đủ.

Nó đạt 91,31 trên IFEval so với 91,50 của FP16, và 74,00 trên IFBench prompt-loose so với 71,00 của FP16.

Thông lượng và hiệu quả năng lượng

Tốc độ là một phần của câu chuyện benchmark vì nó quyết định vòng lặp agent cục bộ có dùng được hay không.

Bonsai 2 27B đạt tới 143 token/giây trên NVIDIA GeForce RTX 5090 và 46,8 token/giây trên M5 Max.

Về năng lượng, PrismML báo cáo 0,581 mWh mỗi token trên RTX 4090, mà theo họ là hiệu quả hơn 40% so với mô hình 8B chạy ở độ chính xác đầy đủ.

Với trợ lý lập trình, thông lượng cao hơn nghĩa là vòng lặp chỉnh sửa–gỡ lỗi nhanh hơn; với trợ lý nền trên laptop, năng lượng mỗi token thấp hơn nghĩa là pin lâu hơn mà không phải gọi đám mây liên tục.

Giá và khả dụng của Bonsai 2 27B

Bonsai 2 27B được phát hành dưới giấy phép Apache 2.0, nên trọng số có thể tải về và sử dụng thương mại miễn phí.

PrismML định vị nó là mô hình tự lưu trữ trước tiên, và tài liệu chính thức tập trung vào phục vụ cục bộ thay vì API tính phí theo token.

Trọng số hiện có trên Hugging Face trong bộ sưu tập Bonsai 2.

Bản GGUF vào khoảng 5,93 đến 5,95GB cho biến thể bậc ba PTQ1_0, kèm bản MLX chạy với kích thước lớn hơn. Lưu ý Ternary Bonsai 2 chỉ có bản 27B, không có các bản 8B, 4B, hay 1,7B trong thế hệ này.

Cách truy cập Bonsai 2 27B

Bonsai 2 27B là open-weight theo Apache 2.0, nên bạn tự chạy thay vì gọi API độc quyền.

Nó chạy trên GPU NVIDIA qua CUDA và trên thiết bị Apple (Mac, iPhone, iPad) qua MLX, dùng các nhân xử lý ít bit tùy biến của PrismML.

Các cách chính gồm:

• Tự lưu trữ với bản fork llama.cpp của PrismML: kéo trọng số GGUF từ bộ sưu tập Hugging Face và phục vụ; API cục bộ mặc định là http://localhost:8080/v1.
• Tự lưu trữ trên Apple Silicon với MLX: phục vụ bản MLX với API cục bộ http://localhost:8081/v1, lưu ý các máy Mac cũ có thể chạm trần RAM vì biến thể MLX lớn hơn GGUF.
• Suy luận được lưu trữ: truy cập qua Together AI dưới tên Prism-ML/Ternary-Bonsai-27B hoặc qua Puter, hiện đều miễn phí.

PrismML cung cấp giao diện REST kiểu OpenAI, nên có thể lắp vào các công cụ hiện có vốn kỳ vọng endpoint chat-completions.

Để xem hướng dẫn cục bộ đầy đủ của mô hình đầu tiên, xem hướng dẫn thiết lập Bonsai cục bộ tổng quát của chúng tôi.

Kết luận

Bonsai 2 27B đặt cược rằng biên giới thú vị nằm ở “trí tuệ trên mỗi gigabyte”, không phải năng lực thô.

Thu hẹp khoảng cách giữ lại từ 95% ở thế hệ đầu lên hơn 98% là điều khiến cách gọi “gần như không suy hao” trở nên đáng tin thay vì tiếp thị, và biểu đồ mật độ đặt nó vượt xa các bản ít bit thông thường cùng nền tảng.

Tôi sẽ chọn dùng nếu bạn đang xây dựng agent lập trình trên thiết bị, phân tích tài liệu riêng tư, hoặc hệ lai giữ công việc nhạy cảm ở cục bộ.

Tôi sẽ thận trọng hơn với hỏi đáp nặng kiến thức và OCR rủi ro cao, nơi chi phí nén là có thật và đo được.