Bonsai 2 27B: Menjalankan AI 27B Secara Lokal di Laptop Anda

Kebanyakan peluncuran model yang saya bahas tahun ini mengejar tujuan yang sama: jendela konteks yang lebih besar, skor SWE-bench yang lebih tinggi, satu triliun parameter lagi.

PrismML mengambil arah sebaliknya.

Pada 17 September 2026, tim merilis Ternary Bonsai 2 27B, versi terkompresi dari Qwen3.8 27B yang muat dalam 5,9GB dan berjalan di laptop.

Dengan mengompresi cara penyimpanan informasi secara intensif, PrismML membuat Bonsai 2 27B lebih dari 9 kali lebih kecil daripada Qwen versi asli. Namun, model ini tetap mempertahankan 98,2% dari performa aslinya dan jendela konteks 262k token, memproses teks dan gambar.

Dalam artikel ini, saya akan membahas semua hal baru pada Bonsai 2 27B, melihat fitur-fitur barunya, menelusuri benchmark, serta menguraikan harga dan cara aksesnya.

Jika Anda ingin menjalankan model Bonsai pertama sendiri, kami memiliki panduan langkah demi langkah di tutorial setelan lokal Bonsai 27B.

Ringkasan

• Bonsai 2 27B memampatkan Qwen3.8 27B menjadi 5,9GB sambil mempertahankan 98,2% performa benchmark agregatnya.
• Cerita utamanya adalah di mana kapabilitas dipertahankan: matematika dan pengodean tetap setara, sementara pengetahuan dan visi paling terdampak.
• Berjalan secara lokal di GPU NVIDIA melalui CUDA dan perangkat Apple melalui MLX, mencapai 143 token/detik pada RTX 5090.
• Berlisensi Apache 2.0 dengan bobot di Hugging Face, dan penyedia pihak ketiga saat ini meng-host secara gratis.
• Layak dipilih jika Anda perlu agen pengodean on-device atau pekerjaan dokumen privat; pertimbangkan opsi lain jika Anda mengandalkan penarikan pengetahuan yang sangat rinci atau OCR berisiko tinggi.

Apa Itu Bonsai 2 27B?

Bonsai 2 27B adalah model multimodal terkompresi andalan PrismML, dibangun dengan menerapkan kuantisasi ternari end-to-end pada model bahasa Qwen3.8 27B.

Jika Qwen3.8 27B presisi penuh memakan 54GB dalam FP16 (versi tidak terkompresi, ukuran penuh), Bonsai 2 27B berukuran 5,9GB untuk teks saja, cukup kecil untuk ditempatkan di GPU konsumen atau MacBook.

Menurut PrismML, kompresi menggunakan bobot ternari yang dibatasi pada −1, 0, dan +1, dipasangkan dengan skala kelompok FP16. Itu setara dengan 1,72 bit sesungguhnya per bobot menurut perhitungan PrismML, dibandingkan 16 bit pada referensi FP16.

Model ini mempertahankan jendela konteks 262K token dan input multimodal teks-dan-gambar dari basisnya.

Hasil utamanya adalah angka retensi.

Di seluruh rangkaian yang dijelaskan PrismML sebagai 14 benchmark dalam enam kategori keterampilan, dievaluasi dalam mode berpikir dengan EvalScope dan vLLM pada H100, Bonsai 2 27B mencetak rata-rata 84,78 dibanding baseline FP16 sebesar 86,32, atau 98,2%.

Untuk model di bawah 2 bit, itu adalah selisih yang jauh lebih kecil daripada kuantisasi konvensional.

Fitur Utama Bonsai 2 27B

Apa yang dapat Anda lakukan dengan Bonsai 2 27B pada dasarnya adalah menjalankan kapabilitas kelas 27B di tempat di mana model 27B biasanya tidak bisa.

Berikut fitur-fitur yang mendefinisikannya.

Jalankan model multimodal 27B di laptop

Bonsai 2 27B berukuran 5,9GB, yang menempatkan model kelas 27B dalam jangkauan perangkat keras konsumen alih-alih pusat data.

Representasi bit rendah diterapkan ke seluruh model bahasa, bukan hanya beberapa layer, sehingga pengurangan jejak memori benar-benar nyata, bukan kosmetik.

Bagi praktisi, ini mengubah arti "lokal".

Alih-alih turun ke model 8B untuk kerja on-device, Anda dapat menjalankan sesuatu dengan kemampuan penalaran dan pengodean setara model 27B dan tetap menyisakan RAM.

Kendala utamanya: secara arsitektural ini tetap model 27B, jadi perangkat keras kelas sangat bawah tetap akan terasa tertekan memorinya.

Konteks 262K token untuk kerja dokumen panjang

Model ini membawa jendela konteks 262K token, cukup untuk memuat satu basis kode penuh, kontrak hukum panjang, atau setumpuk PDF riset dalam satu prompt.

Itu paling penting untuk setup retrieval-augmented generation di mana Anda ingin menjaga konteks dalam jumlah besar tetap berada di memori alih-alih dipecah agresif.

Laporan komunitas menandai satu catatan: beberapa pengguna mencatat degradasi penarikan dan koherensi di ujung ekstrem jendela, melewati kira-kira 200K token.

Jika Anda mendorong hingga mendekati batas, uji penarikan pada data Anda sendiri sebelum menggunakannya di produksi.

Agen pengodean dan pemanggilan alat

Bonsai 2 27B dibangun untuk tetap andal dalam loop agen, di mana kesalahan kecil dapat bertumpuk selama banyak langkah.

PrismML menunjukkan kemampuannya menggerakkan agen pengodean melalui Cline dan menjalankan alur kerja penggunaan komputer, keduanya pada RTX 5090.

Ini adalah area yang biasanya runtuh saat kompresi, karena satu langkah yang menurun dapat menggagalkan seluruh run agen.

Bonsai 2 27B mencetak 90,07 pada LiveCodeBench dan 74,92 pada BFCL v3, dekat dengan angka FP16, yang membuat kerja agen lokal di sini menjadi realistis, bukan sekadar aspirasi.

Input multimodal teks-dan-gambar

Model menerima gambar bersama teks, mencakup tanya jawab visual, pemahaman dokumen, dan OCR.

Ini membuka alur kerja multimodal privat seperti debugging dari tangkapan layar atau menganalisis dokumen hasil pindai tanpa mengirimkannya ke cloud.

Visi juga menjadi tempat biaya kompresi paling tampak.

Pada MMMU-Pro, Bonsai 2 27B mencetak 75,49 dibanding 81,73 untuk model FP16, dan pada OCR Bench v2 turun ke 56,88 dibanding 60,99.

Untuk pemrosesan dokumen berisiko tinggi, diagram kompleks, atau teks beresolusi rendah, saya akan menganggap visi sebagai mata rantai terlemah dan memverifikasi hasilnya.

Bagaimana Performa Bonsai 2 27B pada Benchmark?

Cerita agregatnya adalah 84,78 versus 86,32 untuk FP16, namun angka agregat menutupi hal yang sebenarnya penting.

Build sub-4-bit konvensional runtuh selektif tepat pada benchmark yang menuntut penalaran berkelanjutan, dan Bonsai 2 27B dirancang untuk mempertahankannya.

Perbandingan yang ditarik PrismML adalah melawan build 2-bit konvensional dari model dasar yang sama, Qwen3.8-27B IQ2_XXS, yang mencetak agregat 72,59.

Bonsai 2 27B mengunggulinya lebih dari 12 poin dengan ukuran kurang dari dua pertiganya, dan hanya terpaut 0,4 poin dari build 4-bit yang jauh lebih besar (UD-Q4_K_XL di 85,18) sambil berukuran sepertiganya.

Penalaran dan matematika

Matematika adalah area di mana Bonsai 2 27B nyaris tak terbedakan dari model presisi penuh.

Model ini mencetak 95,83 pada AIME26 dan 98,80 pada MATH-500, dibanding skor FP16 sebesar 94,58 dan 99,80.

Kontras dengan kuantisasi konvensional sangat tajam: IQ2_XXS turun ke 57,50 pada AIME26, penurunan 37 poin yang akan sama sekali tak terlihat pada pengujian kasual dengan soal mudah.

Pada pengetahuan dan penalaran yang lebih luas, gambarnya lebih lunak.

Bonsai 2 27B mencetak 89,09 pada MMLU-Redux dibanding 91,46 untuk FP16, dan ulasan pihak ketiga menempatkan kategori gabungan pengetahuan-dan-penalaran sekitar 79,9 dibanding 85,6 untuk FP16.

Penarikan fakta yang sangat rinci adalah area di mana kompresi ternari paling berbiaya.

Pengodean dan alur kerja agentic

Pengodean bertahan setara, dan di beberapa tempat sedikit melampaui model dasar. Bonsai 2 27B mencetak 95,12 pada HumanEval+ dan 90,07 pada LiveCodeBench, dibanding skor FP16 sebesar 93,29 dan 90,05.

Rata-rata gabungan pengodean di 89,42 versus 89,07 untuk FP16 adalah kemenangan kecil bagi model terkompresi.

Pada pemanggilan alat agentic, BFCL v3 berada di 74,92 dibanding 76,74 untuk FP16, selisih yang moderat.

Untuk perbandingan, saat kami meninjau Qwen3.8-Max, model yang jauh lebih besar 2,4T mencetak 86,1 pada OSWorld-Verified untuk penggunaan komputer agentic, jadi Bonsai 2 27B tidak bersaing dengan andalan cloud dalam kemampuan agen mentah.

Yang diperjuangkan adalah kemampuan menjalankan agen secara lokal sama sekali.

Mengikuti instruksi

Mengikuti instruksi adalah salah satu sedikit kategori di mana Bonsai 2 27B sedikit mengungguli model presisi penuh.

Model ini mencetak 91,31 pada IFEval versus 91,50 untuk FP16, dan 74,00 pada IFBench prompt-loose dibanding 71,00 untuk FP16.

Throughput dan efisiensi energi

Kecepatan adalah bagian dari cerita benchmark di sini karena menentukan apakah loop agen lokal dapat digunakan.

Bonsai 2 27B mencapai hingga 143 token/detik pada NVIDIA GeForce RTX 5090 dan 46,8 token/detik pada M5 Max.

Dari sisi energi, PrismML melaporkan 0,581 mWh per token pada RTX 4090, yang diklaim 40% lebih efisien daripada model 8B yang berjalan pada presisi penuh.

Untuk asisten pengodean, throughput yang lebih tinggi berarti siklus edit-debug lebih cepat; untuk asisten latar di laptop, energi per token yang lebih rendah berarti baterai lebih awet tanpa terus-menerus memanggil cloud.

Harga dan Ketersediaan Bonsai 2 27B

Bonsai 2 27B dirilis di bawah lisensi Apache 2.0, jadi bobotnya gratis untuk diunduh dan digunakan secara komersial.

PrismML memposisikannya terutama sebagai model self-hosted, dan dokumentasi resminya berfokus pada penyajian lokal alih-alih API per token.

Bobotnya tersedia hari ini di Hugging Face dalam koleksi Bonsai 2.

Build GGUF berukuran sekitar 5,93 hingga 5,95GB untuk varian ternari PTQ1_0, dengan build MLX yang berjalan lebih besar. Perhatikan bahwa Ternary Bonsai 2 hanya 27B, tanpa pendamping 8B, 4B, atau 1,7B pada generasi ini.

Cara Mengakses Bonsai 2 27B

Bonsai 2 27B berbobot terbuka di bawah Apache 2.0, jadi Anda menjalankannya sendiri alih-alih memanggil API proprietari.

Model ini berjalan di GPU NVIDIA melalui CUDA dan di perangkat Apple (Mac, iPhone, iPad) melalui MLX, menggunakan kernel bit rendah kustom PrismML.

Rute utamanya:

• Self-host dengan fork llama.cpp dari PrismML: tarik bobot GGUF dari koleksi Hugging Face dan sajikan; basis API lokal default adalah http://localhost:8080/v1.
• Self-host di Apple Silicon dengan MLX: sajikan build MLX dengan basis API lokal http://localhost:8081/v1, dengan catatan Mac lama mungkin terkena batas RAM karena varian MLX lebih besar daripada GGUF.
• Inference ter-host: akses melalui Together AI sebagai Prism-ML/Ternary-Bonsai-27B atau melalui Puter, keduanya saat ini gratis.

PrismML mengekspos antarmuka REST gaya OpenAI, sehingga cocok dengan tooling yang mengharapkan endpoint chat-completions.

Untuk panduan lokal lengkap model pertama, lihat panduan setelan Bonsai lokal umum kami.

Pikiran Akhir

Bonsai 2 27B bertaruh bahwa frontier menarik adalah kecerdasan per gigabita, bukan kemampuan mentah.

Menutup celah retensi dari 95% pada generasi pertama menjadi lebih dari 98% membuat framing "hampir tanpa rugi" menjadi kredibel, bukan sekadar pemasaran, dan grafik kerapatan menempatkannya jauh di depan build bit rendah konvensional dari basis yang sama.

Saya akan memilihnya jika Anda membangun agen pengodean on-device, analisis dokumen privat, atau sistem hibrida yang menjaga pekerjaan sensitif tetap lokal.

Saya akan lebih berhati-hati untuk QA yang sangat bergantung pada pengetahuan dan OCR berisiko tinggi, di mana biaya kompresi nyata dan terukur.