Bonsai AI ट्यूटोरियल: पुराने लैपटॉप पर 1-बिट LLM को लोकली चलाएँ

नोट: Bonsai 2 27B अब उपलब्ध है, जो Qwen3.8 27B पर आधारित है

भाषा मॉडलों को लोकली चलाना अब आसान होता जा रहा है—यहाँ तक कि पुराने हार्डवेयर पर भी। Bonsai एक 1-बिट मॉडल है जिसे छोटा, तेज़ और कुशल होने के लिए डिज़ाइन किया गया है, जो इसे Windows लैपटॉप पर लोकल उपयोग के लिए अच्छा विकल्प बनाता है।

इस ट्यूटोरियल में, मैं सरल तरीके से बताऊँगा कि Bonsai क्या है और 1-बिट मॉडल कैसे काम करते हैं। मैं आपको पूरे सेटअप प्रोसेस से चरण-दर-चरण ले चलूँगा। 

इसमें Bonsai 8B GGUF मॉडल डाउनलोड करना, llama.cpp के PrismML फोर्क को सेट करना, कमांड लाइन में मॉडल की जाँच करना, इसे लोकल सर्वर के रूप में चलाना, और curl तथा बिल्ट-इन WebUI—दोनों से सब कुछ सही तरह काम कर रहा है या नहीं—यह जाँचना शामिल है।

मैं आपको सलाह दूँगा कि आप लोकली GLM-5.1 और Qwen3.5-27B चलाने पर हमारे गाइड भी देखें।

Bonsai AI मॉडल क्या है?

Bonsai PrismML के कॉम्पैक्ट 1-बिट भाषा मॉडलों का एक परिवार है जिसमें 1.7B, 4B और 8B वैरिएंट शामिल हैं, जो उपयोगकर्ताओं को उनके डिवाइस और परफॉर्मेंस आवश्यकताओं के अनुसार विभिन्न आकारों के विकल्प देता है। 

Bonsai लाइन को कुशल लोकल इन्फरेंस के लिए डिज़ाइन किया गया है, जिसका सपोर्ट llama.cpp और संबंधित रनटाइम्स में उपलब्ध है, और फ्लैगशिप Bonsai 8B GGUF मॉडल को एक सामान्य FP16 8B मॉडल की तुलना में काफी छोटा बताया गया है, जबकि क्षमता में प्रतिस्पर्धी बना रहता है।

1-बिट मॉडल कैसे काम करते हैं?

1-बिट मॉडल में प्रत्येक वेट को मानक फुल-प्रिसिशन वैल्यू के बजाय एक सिंगल बिट के रूप में स्टोर किया जाता है। Bonsai के Q1_0 फॉर्मेट में, 0 का मान नेगेटिव स्केल से मैप होता है और 1 का मान पॉज़िटिव स्केल से, जहाँ हर 128 वेट्स पर एक FP16 स्केल साझा किया जाता है। 

यह तरीका मेमोरी उपयोग को बड़े पैमाने पर कम कर देता है, जबकि मॉडल को इन्फरेंस के लिए उपयोगी और कुशल बनाए रखता है। Bonsai इस 1-बिट डिज़ाइन को एम्बेडिंग्स, अटेंशन प्रोजेक्शंस, MLP प्रोजेक्शंस और LM हेड में लागू करता है, जिससे यह एंड-टू-एंड 1-बिट मॉडल बनता है।

स्रोत: prism-ml/Bonsai-8B-gguf · Hugging Face

बेंचमार्क परीक्षणों में, Bonsai 8B दिखाता है कि बहुत छोटा 1-बिट मॉडल भी 6B से 9B रेंज के फुल-प्रिसिशन मॉडलों के साथ प्रतिस्पर्धी बना रह सकता है। मॉडल कार्ड छह मूल्यांकन श्रेणियों में औसत 70.5 स्कोर रिपोर्ट करता है, जो इसे कई मानक 8B मॉडलों के करीब रखता है। इससे Bonsai केवल आकार और गति के लिए ही नहीं, बल्कि ठोस प्रदर्शन बनाए रखने के लिए भी उल्लेखनीय बनता है।

Bonsai सिस्टम आवश्यकताएँ और पूर्वापेक्षाएँ

इस ट्यूटोरियल में, मैं Bonsai को एक पुराने Windows लैपटॉप पर चला रहा हूँ, जिसमें 12th Gen Intel प्रोसेसर और NVIDIA RTX 3070 GPU है। Bonsai 8B का एक बड़ा फायदा यह है कि यह लगभग 2 GB VRAM या सिस्टम RAM के साथ चल सकता है, जो इसे पुराने लैपटॉप और कम मेमोरी वाले सिस्टम्स के लिए व्यावहारिक विकल्प बनाता है। 

बेहतर स्पीड के लिए, मैं सुझाव देता हूँ कि आप नवीनतम NVIDIA GPU ड्राइवर और CUDA Toolkit NVIDIA के आधिकारिक डाउनलोड पेज से इंस्टॉल करें। CUDA Toolkit GPU-त्वरित एप्लिकेशनों के लिए NVIDIA का आधिकारिक डेवलपमेंट वातावरण है।

सब कुछ इंस्टॉल होने के बाद, Command Prompt या Terminal खोलें और चलाएँ:

nvidia-smi

यह कमांड आपके NVIDIA GPU, ड्राइवर वर्ज़न और CUDA सपोर्ट दिखाती है। अगर आपका GPU सही तरह सूचीबद्ध है, तो आपका सिस्टम Bonsai को लोकली चलाने के लिए GPU एक्सेलरेशन उपयोग करने के लिए तैयार है।

1. Bonsai 8B GGUF मॉडल डाउनलोड करें

सबसे पहले, Bonsai 8B GGUF रिपॉज़िटरी पर Hugging Face में जाएँ और डाउनलोड बटन का उपयोग करके GGUF मॉडल फ़ाइल सीधे डाउनलोड करें।

इसके बाद, अपने सिस्टम पर “Bonsai” नाम का एक फ़ोल्डर बनाइए। उसके अंदर “model” नाम का दूसरा फ़ोल्डर बनाएँ, फिर डाउनलोड की गई GGUF फ़ाइल को उसी फ़ोल्डर के अंदर रखें।

2. PrismML llama.cpp बिल्ड डाउनलोड करें

अगले चरण में, PrismML llama.cpp रिलीज़ पेज खोलें और अपनी CUDA वर्ज़न से मिलती हुई प्रीबिल्ट Windows x64 बिल्ड डाउनलोड करें। इस ट्यूटोरियल के लिए, आपको Windows x64 (CUDA 13.1) फ़ाइल और उसी रिलीज़ पेज से CUDA 13.1 DLLs डाउनलोड करनी चाहिए।

3. Bonsai प्रोजेक्ट फ़ोल्डर सेट करें

दोनों ZIP फ़ाइलें डाउनलोड करने के बाद, उन्हें उसी “Bonsai” फ़ोल्डर में एक्सट्रैक्ट करें जिसे आपने पहले बनाया था।

जब यह पूरा हो जाए, तो फ़ोल्डर में आपके मॉडल डायरेक्टरी में Bonsai GGUF फ़ाइल के साथ-साथ वे llama.cpp फ़ाइलें शामिल होनी चाहिए जो मॉडल को कमांड लाइन में और लोकल सर्वर के रूप में चलाने के लिए आवश्यक हैं।

4. llama-cli से मॉडल टेस्ट करें

अब अपना “Bonsai” फ़ोल्डर खोलें, खाली जगह पर राइट-क्लिक करें, और Open in Terminal चुनें। इससे आप उसी फ़ोल्डर से मॉडल चला पाएँगे जिसमें llama.cpp फ़ाइलें और आपका “model” डायरेक्टरी है।

फिर Bonsai को llama-cli से टेस्ट करने के लिए यह कमांड चलाएँ:

.\llama-cli -m model/Bonsai-8B.gguf -p "Explain quantum computing in simple terms." -n 256 --temp 0.5 --top-p 0.85 --top-k 20 -ngl 99

यह कमांड आधिकारिक Bonsai क्विकस्टार्ट में दिखाए गए अनुशंसित प्रॉम्प्ट और जनरेशन सेटिंग्स का ही अनुसरण करती है, जिसमें temperature 0.5, top-p 0.85, top-k 20 और GPU पर लेयर्स ऑफ़लोड करने के लिए -ngl 99 शामिल हैं। 

मेरे टेस्ट में, मॉडल एक सेकंड से कम समय में GPU मेमोरी में लोड हो गया, और प्रतिक्रिया तेज़ और सटीक थी।

मुझे लगभग 88.6 टोकन प्रति सेकंड की स्पीड भी मिल रही थी, जो एक पुराने लैपटॉप पर लोकल मॉडल चलाने के लिए काफ़ी प्रभावशाली है।

5. Bonsai को लोकल इन्फरेंस सर्वर के रूप में चलाएँ

CLI में मॉडल टेस्ट करने के बाद, आप इसे llama-server के साथ लोकल इन्फरेंस सर्वर के रूप में चला सकते हैं:

.\llama-server -m model/Bonsai-8B.gguf -ngl 99 --host 127.0.0.1 --port 8033

यह उसी लोकल सर्वर सेटअप का अनुसरण करता है जो आधिकारिक Bonsai मॉडल पेज पर दिखाया गया है, जहाँ PrismML llama-server का उपयोग लोकल HTTP एंडपॉइंट पर मॉडल सर्व करने के लिए करता है।

मेरे टेस्ट में, मॉडल 5 सेकंड से कम समय में मेमोरी में लोड हो गया।

लोडिंग पूरा होते ही, टर्मिनल दिखाता है कि सर्वर 127.0.0.1:8033 पर चल रहा है, जिसका अर्थ है कि अब Bonsai आपकी मशीन पर एक लोकल API एंडपॉइंट के माध्यम से उपलब्ध है।

6. curl के साथ सर्वर टेस्ट करें

अब जबकि Bonsai सर्वर चल रहा है, अगला कदम curl से लोकल API को टेस्ट करना है। llama-server एंडपॉइंट OpenAI-कम्पैटिबल है, इसलिए आप /v1/chat/completions पर रिक्वेस्ट भेज सकते हैं और सामान्य चैट कम्प्लीशन रिस्पॉन्स प्राप्त कर सकते हैं।

अपने टर्मिनल में निम्न कमांड चलाएँ:

curl -X POST "http://127.0.0.1:8033/v1/chat/completions" -H "Content-Type: application/json" --data-raw '{"model":"Bonsai-8B","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Write a short Python function to reverse a string."}],"temperature":0.7,"max_tokens":200,"stream":false}'

यदि सब कुछ सही तरह काम कर रहा है, तो सर्वर जेनरेटेड आउटपुट के साथ JSON रिस्पॉन्स लौटाएगा।

7. WebUI खोलें और टेस्ट करें

सर्वर चलने के बाद, अपने ब्राउज़र में http://127.0.0.1:8033/ खोलें। llama.cpp सर्वर में बिल्ट-इन वेब UI शामिल है।

यह आपको अपने लोकली चल रहे मॉडल को टेस्ट करने के लिए एक साधारण ChatGPT-जैसा इंटरफेस देता है। मेरे मामले में, UI तुरंत खुल गया, और मैं सीधे ब्राउज़र से Bonsai के साथ चैट शुरू कर सका। 

टेस्ट 1: एक लघु कहानी लिखें

मैंने पहले इसे कहानी लिखने के लिए कहा, और कुछ ही सेकंड में इसने लगभग 85 टोकन प्रति सेकंड की दर से जवाब दिया।

टेस्ट 2: एक सरल गेम कोड करें

यह देखने के लिए कि यह वास्तविक कोडिंग टास्क को कितना अच्छी तरह संभालता है, मैंने इसे यह प्रॉम्प्ट दिया:

Write Python code to build a command-line number guessing game where the user guesses a randomly selected number, receives "too high" or "too low" hints after each guess, and sees the total number of attempts once they guess correctly.

फिर से, प्रतिक्रिया तेज़ थी। मॉडल ने कोड के साथ-साथ यह बताने के लिए सरल निर्देश भी दिए कि फ़ाइल को कैसे सेव करें और Python से कैसे चलाएँ।

मैंने कोड को एक Python फ़ाइल में कॉपी किया, टर्मिनल में चलाया, और यह बिना किसी दिक्कत के तुरंत काम कर गया।

टेस्ट 3: एक सरल वेबसाइट जनरेट करें

मैंने यह भी जाँचा कि यह फ्रंट-एंड जनरेशन को कैसे संभालता है, इसके लिए दूसरा प्रॉम्प्ट दिया:

Create a simple, clean HTML personal profile website for Abid Ali Awan, a Data Scientist, with sections for a hero intro, about, skills, projects, and contact, using modern styling and placeholder content that can be customized later.

जवाब फिर से तेज़ था। मैंने जेनरेटेड कोड को HTML फ़ाइल में कॉपी किया और ब्राउज़र में खोला—पेज सही तरह रेंडर हुआ।

इतने छोटे मॉडल के लिए, परिणाम वाकई प्रभावशाली था।

अंतिम विचार

Bonsai के बारे में मुझे सबसे ज़्यादा इसकी स्पीड, आकार और इंटेलिजेंस का संयोजन चौंकाने वाला लगा। मैंने उम्मीद नहीं की थी कि इतना छोटा मॉडल एक पुराने Windows लैपटॉप पर इतना तेज़ और उपयोगी लगेगा। 

पूरा सेटअप भी मेरी उम्मीद से कहीं आसान था। मुझे सिर्फ Hugging Face से GGUF फ़ाइल और PrismML llama.cpp बिल्ड फ़ाइलें डाउनलोड करनी थीं, सब कुछ एक फ़ोल्डर में रखना था, और टर्मिनल में कमांड्स चलाकर मॉडल को लोकली टेस्ट और सर्व करना था। शुरू से अंत तक, बिना किसी तैयारी के मॉडल का उपयोग करने तक, मुझे दो मिनट से भी कम समय लगा। 

llama.cpp WebUI ने पूरे अनुभव को और भी सुलभ बना दिया, खासकर उनके लिए जिन्हें लोकल AI सेटअप या कंप्यूट के बारे में सीमित जानकारी है। सर्वर चलने के बाद, मैं बिना किसी अतिरिक्त टूल के एक साधारण ब्राउज़र इंटरफेस के ज़रिये प्रॉम्प्ट्स टेस्ट कर सकता था, कोड जेनरेट कर सकता था, और रचनात्मक लेखन कार्य आज़मा सकता था।

मुझे आउटपुट की क्वालिटी भी पसंद आई। इस आकार के मॉडल के लिए, Bonsai ने कोडिंग और क्रिएटिव राइटिंग दोनों को आश्चर्यजनक रूप से अच्छी तरह संभाला। यह CLI में तेज़ था, लोकल सर्वर के माध्यम से तेज़ था, और WebUI में भी तेज़ था। फिर भी, मुझे नहीं लगता कि इतना छोटा मॉडल एजेंटिक कोडिंग या अधिक जटिल कार्यों के लिए, जिनमें गहरे तर्क और लंबा कॉन्टेक्स्ट हैंडलिंग चाहिए, सही विकल्प है।

फिर भी, यदि आप लोकली मॉडल चलाना चाहते हैं, तो मुझे लगता है कि 1-बिट मॉडल बहुत आशाजनक दिशा हैं। वे दक्षता और बुद्धिमत्ता के बीच अच्छा संतुलन देते हैं और रोज़मर्रा के हार्डवेयर पर लोकल AI को बहुत अधिक व्यावहारिक बनाते हैं। अगली बार मैं किसी बड़े 1-बिट मॉडल को आज़माने में बहुत रुचि रखूँगा, कुछ ऐसा जो Qwen3.5-27B रेंज के करीब हो, क्योंकि वह गति, मेमोरी उपयोग और क्षमता के बीच और भी बेहतर संतुलन दे सकता है।