PrismML का Bonsai 2 27B, 27B मल्टीमॉडल मॉडल को 5.9GB तक संपीड़ित करता है, फुल-प्रिसिशन बेंचमार्क प्रदर्शन का 98.2% बनाए रखता है, और यह लैपटॉप पर चलता है।
इस साल जिन ज्यादातर मॉडल लॉन्चों को मैंने कवर किया है, वे एक ही लक्ष्य के पीछे भागते दिखे: बड़ा कॉन्टेक्स्ट विंडो, ऊँचा SWE-bench स्कोर, एक और ट्रिलियन पैरामीटर्स।
PrismML उलटी दिशा में जा रहा है।
17 सितंबर, 2026 को, टीम ने Ternary Bonsai 2 27B जारी किया, जो Qwen3.8 27B का एक संकुचित संस्करण है, जो 5.9GB में समा जाता है और लैपटॉप पर चलता है।
जानकारी को स्टोर करने के तरीके को कड़ी तरह से संपीड़ित करके, PrismML ने Bonsai 2 27B को मूल Qwen संस्करण से 9 गुना से भी अधिक छोटा बना दिया। फिर भी, यह अपने मूल प्रदर्शन का 98.2% और 262k टोकन कॉन्टेक्स्ट विंडो बनाए रखता है, जो टेक्स्ट और इमेज दोनों को प्रोसेस करता है।
इस लेख में, मैं Bonsai 2 27B की नई बातें कवर करूँगा—नई क्षमताएँ, बेंचमार्क्स का विश्लेषण, और मूल्य निर्धारण व एक्सेस का ब्योरा।
Bonsai 2 27B, Qwen3.8 27B को 5.9GB तक संपीड़ित करता है और उसके समग्र बेंचमार्क प्रदर्शन का 98.2% बनाए रखता है।
असल कहानी यह है कि किन क्षेत्रों में क्षमता बनी रहती है: गणित और कोडिंग बराबरी पर हैं, जबकि नॉलेज और विज़न में सबसे बड़ी गिरावट है।
यह CUDA के जरिए NVIDIA GPUs पर और MLX के जरिए Apple डिवाइसेज़ पर लोकली चलता है, RTX 5090 पर 143 टोकन/सेकंड तक पहुँचता है।
यह Apache 2.0 लाइसेंस के तहत है, वेट्स Hugging Face पर हैं, और थर्ड-पार्टी प्रदाता वर्तमान में इसे मुफ्त में होस्ट करते हैं।
यदि आपको ऑन-डिवाइस कोडिंग एजेंट्स या निजी दस्तावेज़ी काम की ज़रूरत है तो यह किफायती है; लेकिन यदि आप सूक्ष्म ज्ञान-स्मरण या उच्च-जोखिम OCR पर निर्भर हैं, तो अन्यत्र देखें।
Bonsai 2 27B क्या है?
Bonsai 2 27B, PrismML का प्रमुख संकुचित मल्टीमॉडल मॉडल है, जिसे Qwen3.8 27B के भाषा मॉडल पर एंड-टू-एंड टर्नरी क्वांटाइज़ेशन लागू करके बनाया गया है।
जहाँ फुल-प्रिसिशन Qwen3.8 27B, FP16 में 54GB लेता है (मॉडल का असंपीड़ित, पूर्ण आकार का संस्करण), वहीं Bonsai 2 27B केवल-टेक्स्ट के लिए 5.9GB पर आता है—इतना छोटा कि उपभोक्ता GPU या MacBook पर बैठ सके।
PrismML के अनुसार, कंप्रेशन में टर्नरी वेट्स का उपयोग होता है जो −1, 0 और +1 तक सीमित हैं, और उनके साथ FP16 ग्रुप-वाइज़ स्केलिंग जोड़ी जाती है। PrismML के अपने आकलन में यह प्रति वेट 1.72 वास्तविक बिट्स के बराबर बैठता है, जबकि FP16 संदर्भ में 16 बिट्स होते हैं।
मॉडल अपने आधार की तरह 262K-टोकन कॉन्टेक्स्ट विंडो और टेक्स्ट-एंड-इमेज मल्टीमॉडल इनपुट बनाए रखता है।
मुख्य नतीजा रिटेन्शन नंबर है।
PrismML के बताए 6 कौशल श्रेणियों में 14 बेंचमार्क्स के सूट में, H100 पर EvalScope और vLLM के साथ थिंकिंग मोड में मूल्यांकित, Bonsai 2 27B औसतन 84.78 स्कोर करता है, जबकि FP16 बेसलाइन 86.32 पर है—यानी 98.2%।
एक सब-2-बिट मॉडल के लिए, यह परंपरागत क्वांटाइज़ेशन की तुलना में कहीं छोटा गैप है।
Bonsai 2 27B की प्रमुख विशेषताएँ
Bonsai 2 27B के साथ आप जो कर सकते हैं, उसका सार यह है कि 27B-क्लास क्षमता को वहाँ चलाना जहाँ आम तौर पर 27B मॉडल नहीं चल पाता।
ये हैं इसकी परिभाषित विशेषताएँ।
एक लैपटॉप पर 27B मल्टीमॉडल मॉडल चलाएँ
Bonsai 2 27B 5.9GB में फिट हो जाता है, जिससे 27B-क्लास मॉडल को डेटा सेंटर के बजाय उपभोक्ता हार्डवेयर की पहुँच में लाया जा सकता है।
लो-बिट प्रतिनिधित्व पूरे भाषा मॉडल पर लागू है, केवल कुछ लेयर्स पर नहीं, इसलिए फुटप्रिंट में कमी दिखावे की बजाय वास्तविक है।
प्रैक्टिशनर्स के लिए, यह "लोकल" का अर्थ बदल देता है।
ऑन-डिवाइस काम के लिए 8B मॉडल पर उतरने के बजाय, आप 27B मॉडल की रीज़निंग और कोडिंग क्षमता वाला कुछ चला सकते हैं और फिर भी RAM बचा रहेगा।
पेंच यह है कि आर्किटेक्चर के लिहाज़ से यह अब भी 27B मॉडल है, इसलिए बहुत लो-एंड हार्डवेयर पर मेमोरी का दबाव महसूस होगा।
लंबे दस्तावेज़ी काम के लिए 262K-टोकन कॉन्टेक्स्ट
मॉडल 262K-टोकन का कॉन्टेक्स्ट विंडो देता है, जो एक पूरा कोडबेस, लंबा कानूनी कांट्रैक्ट, या रिसर्च PDFs का ढेर एक ही प्रॉम्प्ट में रखने के लिए काफी है।
यह खासकर उन RAG सेटअप्स में मायने रखता है, जहाँ आप आक्रामक चंकिंग के बजाय बड़े कॉन्टेक्स्ट को रेज़िडेंट रखना चाहते हैं।
समुदाय की रिपोर्ट्स यहाँ एक सावधानी बताती हैं: कुछ उपयोगकर्ता विंडो के अतिवादी सिरे—लगभग 200K टोकन्स के बाद—रीकॉल और कोहेरेंस में गिरावट नोट करते हैं।
यदि आप सीमा के पास जा रहे हैं, तो प्रोडक्शन में भरोसा करने से पहले अपने डेटा पर रीकॉल का परीक्षण करें।
कोडिंग एजेंट्स और टूल कॉलिंग
Bonsai 2 27B एजेंटिक लूप्स में टिके रहने के लिए बनाया गया है, जहाँ छोटे-छोटे त्रुटि कई चरणों में मिलकर बढ़ जाती हैं।
PrismML ने RTX 5090 पर Cline के माध्यम से कोडिंग एजेंट्स चलाने और कंप्यूटर-यूज़ वर्कफ़्लोज़ ऑपरेट करने की इसकी क्षमता प्रदर्शित की।
यहीं पर कंप्रेशन सामान्यतः टूट जाता है, क्योंकि एक भी कमजोर चरण पूरे एजेंट रन को पटरी से उतार सकता है।
Bonsai 2 27B, LiveCodeBench पर 90.07 और BFCL v3 पर 74.92 स्कोर करता है—FP16 नंबरों के करीब—जो लोकल एजेंट काम को हक़ीक़ी बनाता है, महज़ आकांक्षी नहीं।
मल्टीमॉडल टेक्स्ट-एंड-इमेज इनपुट
मॉडल टेक्स्ट के साथ इमेज भी स्वीकार करता है, जिससे विज़ुअल प्रश्नोत्तरी, दस्तावेज़ समझ और OCR कवर होते हैं।
यह निजी मल्टीमॉडल वर्कफ़्लोज़ खोलता है—जैसे स्क्रीनशॉट से डिबग करना, या स्कैन किए गए दस्तावेज़ का विश्लेषण करना—वह भी क्लाउड में भेजे बिना।
विज़न वहीं है जहाँ कंप्रेशन की क़ीमत सबसे साफ़ दिखती है।
MMMU-Pro पर, Bonsai 2 27B का स्कोर 75.49 है, जबकि FP16 मॉडल 81.73 पर है; और OCR Bench v2 पर यह 56.88 तक गिरता है, जो 60.99 के मुकाबले है।
उच्च-जोखिम दस्तावेज़ प्रोसेसिंग, जटिल डायग्राम, या लो-रेज़ोल्यूशन टेक्स्ट के लिए, मैं विज़न को सबसे कमजोर कड़ी मानूँगा और परिणामों का सत्यापन करूँगा।
Bonsai 2 27B बेंचमार्क्स पर कैसा प्रदर्शन करता है?
समग्र कहानी 84.78 बनाम FP16 के लिए 86.32 है, लेकिन समग्र आँकड़ा असल मायने को कम कर देता है।
परंपरागत सब-4-बिट बिल्ड्स, ठोस रीज़निंग माँगने वाले बेंचमार्क्स पर चुनिंदा तौर पर ढहते हैं—और Bonsai 2 27B इन्हें थामने के लिए डिज़ाइन किया गया है।
PrismML की तुलना उसी बेस मॉडल के परंपरागत 2-बिट बिल्ड, Qwen3.8-27B IQ2_XXS, से है, जो समग्र 72.59 स्कोर करता है।
Bonsai 2 27B उससे 12 से अधिक अंकों से आगे है, जबकि आकार में दो-तिहाई से भी कम है, और एक कहीं बड़े 4-बिट बिल्ड (UD-Q4_K_XL, 85.18) से मात्र 0.4 अंक पीछे है, जबकि उसका फुटप्रिंट तीन में एक है।
रीज़निंग और गणित
गणित वह जगह है जहाँ Bonsai 2 27B फुल-प्रिसिशन मॉडल से लगभग अलग नज़र नहीं आता।
यह AIME26 पर 95.83 और MATH-500 पर 98.80 स्कोर करता है, जबकि FP16 स्कोर्स 94.58 और 99.80 हैं।
परंपरागत क्वांटाइज़ेशन से तुलना तेज़ है: IQ2_XXS, AIME26 पर 57.50 तक गिरता है—37 अंकों की गिरावट, जिसे आसान सवालों पर सरसरी परीक्षण पूरी तरह चूक जाएगा।
विस्तृत ज्ञान और रीज़निंग पर तस्वीर कुछ नरम है।
Bonsai 2 27B, MMLU-Redux पर 89.09 स्कोर करता है, जबकि FP16 91.46 पर है; और थर्ड-पार्टी रिव्यूज़, नॉलेज-एंड-रीज़निंग समग्र को लगभग 79.9 पर रखते हैं, जो FP16 के 85.6 के मुकाबले है।
सूक्ष्म तथ्य-स्मरण वहीं है जहाँ टर्नरी कंप्रेशन की क़ीमत सबसे ज़्यादा पड़ती है।
कोडिंग और एजेंटिक वर्कफ़्लोज़
कोडिंग बराबरी पर टिकी रहती है, और कुछ जगहों पर बेस मॉडल से थोड़ा आगे निकलती है। Bonsai 2 27B, HumanEval+ पर 95.12 और LiveCodeBench पर 90.07 स्कोर करता है, जबकि FP16 93.29 और 90.05 पर है।
समग्र कोडिंग औसत 89.42, FP16 के 89.07 के मुकाबले, संकुचित मॉडल के लिए छोटा-सा फायदा है।
एजेंटिक टूल कॉलिंग पर, BFCL v3, FP16 के 76.74 के मुकाबले 74.92 पर बैठता है—मामूली गैप।
तुलना के लिए, जब हमने Qwen3.8-Max की समीक्षा की थी, तो कहीं बड़ा 2.4T मॉडल, एजेंटिक कंप्यूटर-यूज़ के लिए OSWorld-Verified पर 86.1 स्कोर करता है—तो Bonsai 2 27B कच्ची एजेंट क्षमता में क्लाउड फ्लैगशिप्स से मुकाबला नहीं कर रहा।
यह इस बात पर मुकाबला कर रहा है कि एजेंट को लोकली चलाया ही जा सके।
इंस्ट्रक्शन फॉलोइंग
इंस्ट्रक्शन फॉलोइंग उन चंद श्रेणियों में से है जहाँ Bonsai 2 27B, फुल-प्रिसिशन मॉडल को सीधे पछाड़ देता है।
यह IFEval पर 91.31 स्कोर करता है बनाम FP16 के 91.50, और IFBench prompt-loose पर 74.00 बनाम FP16 के 71.00।
Benchmark
Bonsai 2 27B
Qwen3.8 27B FP16
IQ2_XXS (2-bit)
AIME26
95.83
94.58
57.50
MATH-500
98.80
99.80
84.60
LiveCodeBench
90.07
90.05
56.40
HumanEval+
95.12
93.29
91.46
MMLU-Redux
89.09
91.46
88.93
MMMU-Pro
75.49
81.73
65.19
Average (14)
84.78
86.32
72.59
थ्रूपुट और ऊर्जा दक्षता
गति यहाँ बेंचमार्क कहानी का हिस्सा है, क्योंकि यह तय करती है कि लोकल एजेंट लूप्स उपयोगी हैं या नहीं।
Bonsai 2 27B, NVIDIA GeForce RTX 5090 पर 143 टोकन/सेकंड और M5 Max पर 46.8 टोकन/सेकंड तक पहुँचता है।
ऊर्जा पर, PrismML RTX 4090 पर प्रति टोकन 0.581 mWh रिपोर्ट करता है, जिसका दावा है कि यह फुल-प्रिसिशन पर चल रहे 8B मॉडल से 40% अधिक कुशल है।
कोडिंग असिस्टेंट्स के लिए, अधिक थ्रूपुट का मतलब तेज़ एडिट-डिबग लूप्स है; लैपटॉप पर बैकग्राउंड असिस्टेंट्स के लिए, प्रति टोकन कम ऊर्जा का मतलब लंबी बैटरी लाइफ है—बिना लगातार क्लाउड कॉल किए।
Bonsai 2 27B की कीमत और उपलब्धता
Bonsai 2 27B, Apache 2.0 लाइसेंस के तहत जारी है, इसलिए वेट्स डाउनलोड करने और व्यावसायिक रूप से उपयोग करने के लिए मुफ़्त हैं।
PrismML इसे पहले स्व-होस्टेड मॉडल के रूप में पोज़िशन करता है, और इसकी आधिकारिक डॉक्स, प्रति-टोकन API के बजाय लोकल सर्विंग पर केंद्रित हैं।
GGUF बिल्ड्स, टर्नरी PTQ1_0 वैरिएंट के लिए लगभग 5.93 से 5.95GB पर आते हैं, और एक MLX बिल्ड है जो बड़ा चलता है। ध्यान दें कि Ternary Bonsai 2 केवल 27B है—इस जनरेशन में 8B, 4B, या 1.7B साथी नहीं हैं।
Bonsai 2 27B तक कैसे पहुँचे
Bonsai 2 27B, Apache 2.0 के तहत ओपन-वेट है, इसलिए आप इसे किसी स्वामित्व वाले API को कॉल करने के बजाय खुद चलाते हैं।
यह CUDA के जरिए NVIDIA GPUs पर और MLX के जरिए Apple डिवाइसेज़ (Mac, iPhone, iPad) पर चलता है, PrismML के कस्टम लो-बिट कर्नेल्स का उपयोग करते हुए।
मुख्य रास्ते हैं:
PrismML के llama.cpp फोर्क के साथ स्व-होस्ट करें: Hugging Face कलेक्शन से GGUF वेट्स खींचें और सर्व करें; डिफ़ॉल्ट लोकल API बेस http://localhost:8080/v1 है।
Apple Silicon पर MLX के साथ स्व-होस्ट करें: MLX बिल्ड को http://localhost:8081/v1 के लोकल API बेस के साथ सर्व करें; ध्यान रखें पुराने Macs RAM सीमा से टकरा सकते हैं क्योंकि MLX वैरिएंट GGUF से बड़ा है।
होस्टेड इन्फ़ेरेंस: Together AI पर Prism-ML/Ternary-Bonsai-27B के रूप में या Puter के जरिए पहुँचें—दोनों फिलहाल मुफ़्त हैं।
PrismML एक OpenAI-स्टाइल REST इंटरफ़ेस एक्सपोज़ करता है, इसलिए यह उस टूलिंग में सहजता से फिट हो जाता है जिसे चैट-सम्प्लीशन्स एंडपॉइंट की अपेक्षा होती है।
Bonsai 2 27B यह दांव है कि दिलचस्प सीमा कच्ची क्षमता नहीं, बल्कि प्रति गीगाबाइट इंटेलिजेंस है।
पहली पीढ़ी के 95% से रिटेन्शन गैप को 98% से ऊपर तक बंद करना ही "लगभग-लॉसलेस" फ्रेमिंग को मार्केटिंग नहीं, बल्कि विश्वसनीय बनाता है—और डेंसिटी चार्ट इसे उसी बेस के परंपरागत लो-बिट बिल्ड्स से काफी आगे रखता है।
मैं इसे चुनूँगा यदि आप ऑन-डिवाइस कोडिंग एजेंट्स, निजी दस्तावेज़ विश्लेषण, या ऐसे हाइब्रिड सिस्टम बना रहे हैं जो संवेदनशील काम को लोकली रखते हैं।
ज्ञान-प्रधान QA और उच्च-जोखिम OCR के लिए, मैं अधिक सावधानी बरतूँगा—जहाँ कंप्रेशन की क़ीमत वास्तविक और मापने योग्य है।
FAQs
Bonsai 2 27B, Qwen3.8 27B की तुलना में कैसा है?⌄
Bonsai 2 27B, Qwen3.8 27B का टर्नरी-संकुचित संस्करण है। यह फुल-प्रिसिशन मॉडल के समग्र बेंचमार्क स्कोर का 98.2% बनाए रखता है (थिंकिंग-मोड के 14-बेंचमार्क सूट पर 84.78 बनाम 86.32), जबकि फुटप्रिंट को 54GB से 5.9GB तक घटाता है—9x से अधिक छोटा। गणित और कोडिंग बराबरी पर रहते हैं, जबकि नॉलेज और विज़न में सबसे ज़्यादा गिरावट आती है।
क्या Bonsai 2 27B उपयोग करने के लिए मुफ़्त है?⌄
हाँ। Bonsai 2 27B Apache 2.0 लाइसेंस के तहत जारी है, इसलिए वेट्स डाउनलोड करने और व्यावसायिक उपयोग के लिए मुफ़्त हैं। थर्ड-पार्टी प्रदाता Together AI और Puter फिलहाल 1M इनपुट और आउटपुट टोकन्स पर $0 में इसे होस्ट करते हैं, हालांकि वह कीमत प्रचारात्मक हो सकती है और PrismML कोई आधिकारिक प्रति-टोकन API दर प्रकाशित नहीं करता।
Bonsai 2 27B चलाने के लिए मुझे किस हार्डवेयर की ज़रूरत है?⌄
Bonsai 2 27B, 5.9GB GGUF फुटप्रिंट में फिट होता है और CUDA के जरिए NVIDIA GPUs तथा MLX के जरिए Apple डिवाइसेज़ (Mac, iPhone, iPad) पर चलता है। यह RTX 5090 पर 143 टोकन/सेकंड और M5 Max पर 46.8 टोकन/सेकंड तक पहुँचता है। आर्किटेक्चर के लिहाज़ से यह अब भी 27B मॉडल है, इसलिए बहुत लो-एंड हार्डवेयर और बड़े MLX बिल्ड चलाने वाले पुराने Macs पर मेमोरी सीमाएँ आ सकती हैं।
Bonsai 2 27B की कमजोरियाँ क्या हैं?⌄
कंप्रेशन की क़ीमत नॉलेज और विज़न में केंद्रित है। समग्र नॉलेज-एंड-रीज़निंग लगभग 85.6 FP16 से घटकर 79.9 पर आता है, विज़न लगभग 71.4 से 66.2 पर, और OCR Bench v2 60.99 से 56.88 पर। समुदाय की रिपोर्ट्स लगभग 200K टोकन्स के बाद रीकॉल गिरावट और FP16 Qwen बेसलाइन्स से स्विच करते समय प्रॉम्प्ट्स को फिर से ट्यून करने की ज़रूरत पर भी रोशनी डालती हैं।
Bonsai 2 27B किन उपयोग मामलों के लिए सबसे बेहतर है?⌄
Bonsai 2 27B, ऑन-डिवाइस कोडिंग एजेंट्स, निजी दस्तावेज़ विश्लेषण, कंप्यूटर-यूज़ वर्कफ़्लोज़ और ऐसे हाइब्रिड सेटअप्स के लिए उपयुक्त है जहाँ लोकल मॉडल संवेदनशील या उच्च-आवृत्ति वाले काम संभालते हैं और ज़रूरत पर क्लाउड की ओर बढ़ते हैं। इसकी कोडिंग, गणित और इंस्ट्रक्शन-फॉलोइंग स्कोर्स फुल-प्रिसिशन के क़रीब रहते हैं, जिससे लोकल एजेंट लूप्स व्यवहारिक बनते हैं। ज्ञान-प्रधान QA और उच्च-जोखिम OCR के लिए यह कमजोर फ़िट है।
इस साल जिन ज्यादातर मॉडल लॉन्चों को मैंने कवर किया है, वे एक ही लक्ष्य के पीछे भागते दिखे: बड़ा कॉन्टेक्स्ट विंडो, ऊँचा SWE-bench स्कोर, एक और ट्रिलियन पैरामीटर्स।
PrismML उलटी दिशा में जा रहा है।
17 सितंबर, 2026 को, टीम ने Ternary Bonsai 2 27B जारी किया, जो Qwen3.8 27B का एक संकुचित संस्करण है, जो 5.9GB में समा जाता है और लैपटॉप पर चलता है।
जानकारी को स्टोर करने के तरीके को कड़ी तरह से संपीड़ित करके, PrismML ने Bonsai 2 27B को मूल Qwen संस्करण से 9 गुना से भी अधिक छोटा बना दिया। फिर भी, यह अपने मूल प्रदर्शन का 98.2% और 262k टोकन कॉन्टेक्स्ट विंडो बनाए रखता है, जो टेक्स्ट और इमेज दोनों को प्रोसेस करता है।
इस लेख में, मैं Bonsai 2 27B की नई बातें कवर करूँगा—नई क्षमताएँ, बेंचमार्क्स का विश्लेषण, और मूल्य निर्धारण व एक्सेस का ब्योरा।
यदि आप पहला Bonsai मॉडल स्वयं चलाना चाहते हैं, तो हमारे पास Bonsai 27B लोकल सेटअप ट्यूटोरियल में चरण-दर-चरण वॉकथ्रू है।
संक्षेप में
Bonsai 2 27B क्या है?
Bonsai 2 27B, PrismML का प्रमुख संकुचित मल्टीमॉडल मॉडल है, जिसे Qwen3.8 27B के भाषा मॉडल पर एंड-टू-एंड टर्नरी क्वांटाइज़ेशन लागू करके बनाया गया है।
जहाँ फुल-प्रिसिशन Qwen3.8 27B, FP16 में 54GB लेता है (मॉडल का असंपीड़ित, पूर्ण आकार का संस्करण), वहीं Bonsai 2 27B केवल-टेक्स्ट के लिए 5.9GB पर आता है—इतना छोटा कि उपभोक्ता GPU या MacBook पर बैठ सके।
PrismML के अनुसार, कंप्रेशन में टर्नरी वेट्स का उपयोग होता है जो −1, 0 और +1 तक सीमित हैं, और उनके साथ FP16 ग्रुप-वाइज़ स्केलिंग जोड़ी जाती है। PrismML के अपने आकलन में यह प्रति वेट 1.72 वास्तविक बिट्स के बराबर बैठता है, जबकि FP16 संदर्भ में 16 बिट्स होते हैं।
मॉडल अपने आधार की तरह 262K-टोकन कॉन्टेक्स्ट विंडो और टेक्स्ट-एंड-इमेज मल्टीमॉडल इनपुट बनाए रखता है।
मुख्य नतीजा रिटेन्शन नंबर है।
PrismML के बताए 6 कौशल श्रेणियों में 14 बेंचमार्क्स के सूट में, H100 पर EvalScope और vLLM के साथ थिंकिंग मोड में मूल्यांकित, Bonsai 2 27B औसतन 84.78 स्कोर करता है, जबकि FP16 बेसलाइन 86.32 पर है—यानी 98.2%।
एक सब-2-बिट मॉडल के लिए, यह परंपरागत क्वांटाइज़ेशन की तुलना में कहीं छोटा गैप है।
Bonsai 2 27B की प्रमुख विशेषताएँ
Bonsai 2 27B के साथ आप जो कर सकते हैं, उसका सार यह है कि 27B-क्लास क्षमता को वहाँ चलाना जहाँ आम तौर पर 27B मॉडल नहीं चल पाता।
ये हैं इसकी परिभाषित विशेषताएँ।
एक लैपटॉप पर 27B मल्टीमॉडल मॉडल चलाएँ
Bonsai 2 27B 5.9GB में फिट हो जाता है, जिससे 27B-क्लास मॉडल को डेटा सेंटर के बजाय उपभोक्ता हार्डवेयर की पहुँच में लाया जा सकता है।
लो-बिट प्रतिनिधित्व पूरे भाषा मॉडल पर लागू है, केवल कुछ लेयर्स पर नहीं, इसलिए फुटप्रिंट में कमी दिखावे की बजाय वास्तविक है।
प्रैक्टिशनर्स के लिए, यह "लोकल" का अर्थ बदल देता है।
ऑन-डिवाइस काम के लिए 8B मॉडल पर उतरने के बजाय, आप 27B मॉडल की रीज़निंग और कोडिंग क्षमता वाला कुछ चला सकते हैं और फिर भी RAM बचा रहेगा।
पेंच यह है कि आर्किटेक्चर के लिहाज़ से यह अब भी 27B मॉडल है, इसलिए बहुत लो-एंड हार्डवेयर पर मेमोरी का दबाव महसूस होगा।
लंबे दस्तावेज़ी काम के लिए 262K-टोकन कॉन्टेक्स्ट
मॉडल 262K-टोकन का कॉन्टेक्स्ट विंडो देता है, जो एक पूरा कोडबेस, लंबा कानूनी कांट्रैक्ट, या रिसर्च PDFs का ढेर एक ही प्रॉम्प्ट में रखने के लिए काफी है।
यह खासकर उन RAG सेटअप्स में मायने रखता है, जहाँ आप आक्रामक चंकिंग के बजाय बड़े कॉन्टेक्स्ट को रेज़िडेंट रखना चाहते हैं।
समुदाय की रिपोर्ट्स यहाँ एक सावधानी बताती हैं: कुछ उपयोगकर्ता विंडो के अतिवादी सिरे—लगभग 200K टोकन्स के बाद—रीकॉल और कोहेरेंस में गिरावट नोट करते हैं।
यदि आप सीमा के पास जा रहे हैं, तो प्रोडक्शन में भरोसा करने से पहले अपने डेटा पर रीकॉल का परीक्षण करें।
कोडिंग एजेंट्स और टूल कॉलिंग
Bonsai 2 27B एजेंटिक लूप्स में टिके रहने के लिए बनाया गया है, जहाँ छोटे-छोटे त्रुटि कई चरणों में मिलकर बढ़ जाती हैं।
PrismML ने RTX 5090 पर Cline के माध्यम से कोडिंग एजेंट्स चलाने और कंप्यूटर-यूज़ वर्कफ़्लोज़ ऑपरेट करने की इसकी क्षमता प्रदर्शित की।
यहीं पर कंप्रेशन सामान्यतः टूट जाता है, क्योंकि एक भी कमजोर चरण पूरे एजेंट रन को पटरी से उतार सकता है।
Bonsai 2 27B, LiveCodeBench पर 90.07 और BFCL v3 पर 74.92 स्कोर करता है—FP16 नंबरों के करीब—जो लोकल एजेंट काम को हक़ीक़ी बनाता है, महज़ आकांक्षी नहीं।
मल्टीमॉडल टेक्स्ट-एंड-इमेज इनपुट
मॉडल टेक्स्ट के साथ इमेज भी स्वीकार करता है, जिससे विज़ुअल प्रश्नोत्तरी, दस्तावेज़ समझ और OCR कवर होते हैं।
यह निजी मल्टीमॉडल वर्कफ़्लोज़ खोलता है—जैसे स्क्रीनशॉट से डिबग करना, या स्कैन किए गए दस्तावेज़ का विश्लेषण करना—वह भी क्लाउड में भेजे बिना।
विज़न वहीं है जहाँ कंप्रेशन की क़ीमत सबसे साफ़ दिखती है।
MMMU-Pro पर, Bonsai 2 27B का स्कोर 75.49 है, जबकि FP16 मॉडल 81.73 पर है; और OCR Bench v2 पर यह 56.88 तक गिरता है, जो 60.99 के मुकाबले है।
उच्च-जोखिम दस्तावेज़ प्रोसेसिंग, जटिल डायग्राम, या लो-रेज़ोल्यूशन टेक्स्ट के लिए, मैं विज़न को सबसे कमजोर कड़ी मानूँगा और परिणामों का सत्यापन करूँगा।
Bonsai 2 27B बेंचमार्क्स पर कैसा प्रदर्शन करता है?
समग्र कहानी 84.78 बनाम FP16 के लिए 86.32 है, लेकिन समग्र आँकड़ा असल मायने को कम कर देता है।
परंपरागत सब-4-बिट बिल्ड्स, ठोस रीज़निंग माँगने वाले बेंचमार्क्स पर चुनिंदा तौर पर ढहते हैं—और Bonsai 2 27B इन्हें थामने के लिए डिज़ाइन किया गया है।
PrismML की तुलना उसी बेस मॉडल के परंपरागत 2-बिट बिल्ड, Qwen3.8-27B IQ2_XXS, से है, जो समग्र 72.59 स्कोर करता है।
Bonsai 2 27B उससे 12 से अधिक अंकों से आगे है, जबकि आकार में दो-तिहाई से भी कम है, और एक कहीं बड़े 4-बिट बिल्ड (UD-Q4_K_XL, 85.18) से मात्र 0.4 अंक पीछे है, जबकि उसका फुटप्रिंट तीन में एक है।
रीज़निंग और गणित
गणित वह जगह है जहाँ Bonsai 2 27B फुल-प्रिसिशन मॉडल से लगभग अलग नज़र नहीं आता।
यह AIME26 पर 95.83 और MATH-500 पर 98.80 स्कोर करता है, जबकि FP16 स्कोर्स 94.58 और 99.80 हैं।
परंपरागत क्वांटाइज़ेशन से तुलना तेज़ है: IQ2_XXS, AIME26 पर 57.50 तक गिरता है—37 अंकों की गिरावट, जिसे आसान सवालों पर सरसरी परीक्षण पूरी तरह चूक जाएगा।
Bonsai 2 27B, MMLU-Redux पर 89.09 स्कोर करता है, जबकि FP16 91.46 पर है; और थर्ड-पार्टी रिव्यूज़, नॉलेज-एंड-रीज़निंग समग्र को लगभग 79.9 पर रखते हैं, जो FP16 के 85.6 के मुकाबले है।
सूक्ष्म तथ्य-स्मरण वहीं है जहाँ टर्नरी कंप्रेशन की क़ीमत सबसे ज़्यादा पड़ती है।
कोडिंग और एजेंटिक वर्कफ़्लोज़
कोडिंग बराबरी पर टिकी रहती है, और कुछ जगहों पर बेस मॉडल से थोड़ा आगे निकलती है। Bonsai 2 27B, HumanEval+ पर 95.12 और LiveCodeBench पर 90.07 स्कोर करता है, जबकि FP16 93.29 और 90.05 पर है।
समग्र कोडिंग औसत 89.42, FP16 के 89.07 के मुकाबले, संकुचित मॉडल के लिए छोटा-सा फायदा है।
एजेंटिक टूल कॉलिंग पर, BFCL v3, FP16 के 76.74 के मुकाबले 74.92 पर बैठता है—मामूली गैप।
तुलना के लिए, जब हमने Qwen3.8-Max की समीक्षा की थी, तो कहीं बड़ा 2.4T मॉडल, एजेंटिक कंप्यूटर-यूज़ के लिए OSWorld-Verified पर 86.1 स्कोर करता है—तो Bonsai 2 27B कच्ची एजेंट क्षमता में क्लाउड फ्लैगशिप्स से मुकाबला नहीं कर रहा।
यह इस बात पर मुकाबला कर रहा है कि एजेंट को लोकली चलाया ही जा सके।
इंस्ट्रक्शन फॉलोइंग
इंस्ट्रक्शन फॉलोइंग उन चंद श्रेणियों में से है जहाँ Bonsai 2 27B, फुल-प्रिसिशन मॉडल को सीधे पछाड़ देता है।
यह IFEval पर 91.31 स्कोर करता है बनाम FP16 के 91.50, और IFBench prompt-loose पर 74.00 बनाम FP16 के 71.00।
थ्रूपुट और ऊर्जा दक्षता
गति यहाँ बेंचमार्क कहानी का हिस्सा है, क्योंकि यह तय करती है कि लोकल एजेंट लूप्स उपयोगी हैं या नहीं।
Bonsai 2 27B, NVIDIA GeForce RTX 5090 पर 143 टोकन/सेकंड और M5 Max पर 46.8 टोकन/सेकंड तक पहुँचता है।
ऊर्जा पर, PrismML RTX 4090 पर प्रति टोकन 0.581 mWh रिपोर्ट करता है, जिसका दावा है कि यह फुल-प्रिसिशन पर चल रहे 8B मॉडल से 40% अधिक कुशल है।
कोडिंग असिस्टेंट्स के लिए, अधिक थ्रूपुट का मतलब तेज़ एडिट-डिबग लूप्स है; लैपटॉप पर बैकग्राउंड असिस्टेंट्स के लिए, प्रति टोकन कम ऊर्जा का मतलब लंबी बैटरी लाइफ है—बिना लगातार क्लाउड कॉल किए।
Bonsai 2 27B की कीमत और उपलब्धता
Bonsai 2 27B, Apache 2.0 लाइसेंस के तहत जारी है, इसलिए वेट्स डाउनलोड करने और व्यावसायिक रूप से उपयोग करने के लिए मुफ़्त हैं।
PrismML इसे पहले स्व-होस्टेड मॉडल के रूप में पोज़िशन करता है, और इसकी आधिकारिक डॉक्स, प्रति-टोकन API के बजाय लोकल सर्विंग पर केंद्रित हैं।
वेट्स आज ही Hugging Face पर Bonsai 2 कलेक्शन में उपलब्ध हैं।
GGUF बिल्ड्स, टर्नरी PTQ1_0 वैरिएंट के लिए लगभग 5.93 से 5.95GB पर आते हैं, और एक MLX बिल्ड है जो बड़ा चलता है। ध्यान दें कि Ternary Bonsai 2 केवल 27B है—इस जनरेशन में 8B, 4B, या 1.7B साथी नहीं हैं।
Bonsai 2 27B तक कैसे पहुँचे
Bonsai 2 27B, Apache 2.0 के तहत ओपन-वेट है, इसलिए आप इसे किसी स्वामित्व वाले API को कॉल करने के बजाय खुद चलाते हैं।
यह CUDA के जरिए NVIDIA GPUs पर और MLX के जरिए Apple डिवाइसेज़ (Mac, iPhone, iPad) पर चलता है, PrismML के कस्टम लो-बिट कर्नेल्स का उपयोग करते हुए।
मुख्य रास्ते हैं:
http://localhost:8080/v1है।http://localhost:8081/v1के लोकल API बेस के साथ सर्व करें; ध्यान रखें पुराने Macs RAM सीमा से टकरा सकते हैं क्योंकि MLX वैरिएंट GGUF से बड़ा है।Prism-ML/Ternary-Bonsai-27Bके रूप में या Puter के जरिए पहुँचें—दोनों फिलहाल मुफ़्त हैं।PrismML एक OpenAI-स्टाइल REST इंटरफ़ेस एक्सपोज़ करता है, इसलिए यह उस टूलिंग में सहजता से फिट हो जाता है जिसे चैट-सम्प्लीशन्स एंडपॉइंट की अपेक्षा होती है।
पहले मॉडल का पूरा लोकल वॉकथ्रू देखने के लिए हमारा सामान्य Bonsai लोकल सेटअप गाइड देखें।
अंतिम विचार
Bonsai 2 27B यह दांव है कि दिलचस्प सीमा कच्ची क्षमता नहीं, बल्कि प्रति गीगाबाइट इंटेलिजेंस है।
पहली पीढ़ी के 95% से रिटेन्शन गैप को 98% से ऊपर तक बंद करना ही "लगभग-लॉसलेस" फ्रेमिंग को मार्केटिंग नहीं, बल्कि विश्वसनीय बनाता है—और डेंसिटी चार्ट इसे उसी बेस के परंपरागत लो-बिट बिल्ड्स से काफी आगे रखता है।
मैं इसे चुनूँगा यदि आप ऑन-डिवाइस कोडिंग एजेंट्स, निजी दस्तावेज़ विश्लेषण, या ऐसे हाइब्रिड सिस्टम बना रहे हैं जो संवेदनशील काम को लोकली रखते हैं।
ज्ञान-प्रधान QA और उच्च-जोखिम OCR के लिए, मैं अधिक सावधानी बरतूँगा—जहाँ कंप्रेशन की क़ीमत वास्तविक और मापने योग्य है।