Unsloth Studio को लोकल में कैसे चलाएँ: चरण-दर-चरण मार्गदर्शिका

संभवतः आप पहले से ही Unsloth के बारे में सुन चुके हैं। वे नए ओपन मॉडलों के क्वांटाइज़्ड संस्करण तेज़ी से जारी करने के लिए प्रसिद्ध हैं, जिससे उन्हें लोकल इन्फ़रेंस सेटअप्स पर डाउनलोड, लोड और रन करना आसान हो जाता है। उन्होंने नवीनतम ओपन मॉडलों को बिना झंझट के चलाने और फाइन-ट्यून करने पर व्यावहारिक गाइड्स के लिए भी मज़बूत प्रतिष्ठा बनाई है। 

हाल ही में, Unsloth Studio ने उस वर्कफ़्लो का बहुत सा हिस्सा एक जगह पर ला दिया है: मॉडलों को चलाने और ट्रेन करने के लिए लोकल वेब UI, जिसमें GGUF और Safetensors सपोर्ट, साथ-साथ मॉडल तुलना, इन्फ़रेंस पैरामीटर की ऑटो ट्यूनिंग, टूल कॉलिंग, और OpenAI-कम्पैटिबल API शामिल हैं।

इस ट्यूटोरियल में, मैं आपको Unsloth Studio के लिए आवश्यक वातावरण सेट करने, इसे लोकल में इंस्टॉल करने, इंटरफ़ेस लॉन्च करने, और UI से सीधे एक मॉडल टेस्ट करने की प्रक्रिया बताऊँगा। न कोई उलझी हुई मैनुअल पाइपलाइन, न पाँच अलग-अलग टूल्स के बीच इधर-उधर जाना, और न ही शुरुआत करने के लिए अतिरिक्त इन्फ़रेंस कोड लिखने की ज़रूरत। 

आप हमारा Unsloth Studio के साथ फाइन-ट्यूनिंग गाइड और हमारा मूल Unsloth गाइड भी देख सकते हैं। 

Unsloth Studio क्या है?

Unsloth Studio, Unsloth का नया ओपन-सोर्स लोकल वेब इंटरफ़ेस है, जो एक ही जगह से ओपन मॉडलों को चलाने, ट्रेन करने और एक्सपोर्ट करने देता है। इन्फ़रेंस, फाइन-ट्यूनिंग और टेस्टिंग के लिए अलग-अलग टूल्स सँभालने के बजाय, यह सब कुछ एक सेटअप में लाता है जिसे आप अपनी मशीन पर चला सकते हैं। 

Unsloth Studio GGUF और Safetensors मॉडलों को सपोर्ट करता है, Mac, Windows और Linux पर काम करता है, और स्क्रिप्ट्स को जोड़ने-घटाने की जगह विज़ुअल वर्कफ़्लो चाहने वालों के लिए लोकल मॉडल एक्सपेरिमेंटेशन को काफी आसान बनाता है।

Unsloth Studio की प्रमुख विशेषताएँ

कई उल्लेखनीय फीचर्स इसे बेहद दिलचस्प टूल बनाते हैं, जिनमें शामिल हैं:

• एक ही इंटरफ़ेस से मॉडल खोजें, डाउनलोड करें, और लोकली चलाएँ
• दो मॉडलों की साइड-बाय-साइड तुलना करें
• सेल्फ-हीलिंग टूल कॉलिंग और इन-बिल्ट वेब सर्च का उपयोग करें
• इन्फ़रेंस सेटिंग्स को स्वतः ट्यून करें
• चैट टेम्पलेट्स को आसानी से एडिट करें
• OpenAI-कम्पैटिबल APIs तक पहुँच
• नो-कोड वर्कफ़्लो के साथ मॉडलों को फाइन-ट्यून करें
• PDF, CSV, JSON, DOCX और TXT जैसी फ़ाइलों से स्वतः डाटासेट बनाएं
• मॉडलों को GGUF और 16-बिट Safetensors जैसे फ़ॉर्मैट्स में एक्सपोर्ट करें

Unsloth Studio के लिए पूर्वापेक्षाएँ

इंस्टॉलेशन शुरू करने से पहले, सुनिश्चित करें कि आपके सिस्टम में Unsloth Studio को लोकल में चलाने के लिए ज़रूरी बेसिक टूल्स मौजूद हैं। सेटअप काफ़ी संभालने योग्य है, लेकिन यदि आप केवल चैट चलाने के बजाय मॉडल्स को फाइन-ट्यून करना चाहते हैं, तो आपको अधिक पूर्ण GPU-रेडी वातावरण चाहिए होगा।

• Python: वर्ज़न 3.11 से 3.13
• Git: रिपॉज़िटरी क्लोन और मैनेज करने के लिए आवश्यक
• CMake: सेटअप के दौरान लोकल कम्पोनेंट्स बिल्ड करने के लिए आवश्यक
• macOS टूल्स: macOS पर Homebrew और OpenSSL की भी ज़रूरत पड़ सकती है
• NVIDIA GPU: यदि आप मॉडलों को लोकली फाइन-ट्यून करना चाहते हैं तो आवश्यक
• नवीनतम NVIDIA ड्राइवर्स: सेटअप, CUDA या ट्रेनिंग संबंधी समस्याओं से बचने के लिए अनुशंसित

सरल शब्दों में, बेसिक लोकल चैट को CPU पर चलाना आसान है, लेकिन फाइन-ट्यूनिंग के लिए सही NVIDIA हार्डवेयर और अपडेटेड ड्राइवर्स के साथ स्टैंडर्ड सेटअप टूल्स की ज़रूरत होती है।

अपना RunPod वातावरण सेट करें

इस ट्यूटोरियल के लिए, हम RunPod A40 मशीन का उपयोग करेंगे। मैं सब कुछ अपने लैपटॉप पर भी चला सकता था, लेकिन मेरे पास पर्याप्त स्टोरेज नहीं है, और बड़े मॉडलों व डिपेंडेंसीज़ को आराम से डाउनलोड करने के लिए मेरी इंटरनेट स्पीड भी बहुत धीमी है। 

इसलिए, लम्बे डाउनलोड समय, धीमे बिल्ड्स, और अपने लोकल सिस्टम में अनावश्यक अव्यवस्था के जोखिम से लड़ने के बजाय, मैं इस वर्कफ़्लो के लिए सेटअप को बहुत तेज़ बनाने वाले एक सरल क्लाउड विकल्प के रूप में RunPod का उपयोग कर रहा हूँ।

• एक नया A40 pod बनाकर शुरू करें और नवीनतम PyTorch 2.8.0 टेम्पलेट चुनें। 
• डिप्लॉय करने से पहले, pod सेटिंग्स एडिट करें और कंटेनर डिस्क को 50 GB और वॉल्यूम डिस्क को 100 GB पर सेट करें ताकि इंस्टॉलेशन और मॉडल डाउनलोड्स के लिए पर्याप्त जगह रहे। 
• आपको HTTP पोर्ट 8888 (Jupyter Notebook के लिए) और पोर्ट 8910 (Unsloth Studio के लिए) भी एक्सपोज़ करना चाहिए। 
• अपना Hugging Face टोकन एनवायरनमेंट वेरिएबल के रूप में जोड़ना वैकल्पिक है, लेकिन यह मॉडल डाउनलोड्स को तेज़ कर सकता है और गेटेड मॉडलों तक पहुँच आसान बना सकता है।

जब सब कुछ सही दिखे, बदलाव सेव करें, pod सारांश की समीक्षा करें, और pod को डिप्लॉय करें।

Unsloth Studio इंस्टॉल करें

एक मिनट के भीतर, आपको RunPod डैशबोर्ड में JupyterLab एक्सेस करने का लिंक दिखेगा। इसे खोलें, फिर एक टर्मिनल लॉन्च करें। आप SSH का उपयोग करके पोर्ट्स लोकल पर फ़ॉरवर्ड कर सकते हैं, या वेब टर्मिनल का उपयोग कर सकते हैं, लेकिन मुझे इस तरह के सेटअप के लिए JupyterLab टर्मिनल बहुत आसान लगता है। यह जल्दी एक्सेस होता है, मैनेज करना सरल है, और बिना किसी दिक्कत के एक साथ कई टर्मिनल खुले रखने देता है।

सबसे पहले, pip को अपग्रेड करें और uv इंस्टॉल करें। 

pip install --upgrade pip && pip install uv

अब प्रोजेक्ट के लिए एक नया फ़ोल्डर बनाएँ और उसमें जाएँ।

mkdir Unsloth-Studio && cd Unsloth-Studio

उसके बाद, uv का उपयोग करके एक वर्चुअल एनवायरनमेंट बनाएँ।

uv venv

इसके बाद आपको इसी तरह का आउटपुट दिखेगा, जो दर्शाता है कि वर्चुअल एनवायरनमेंट सफलतापूर्वक बन गया है।

Using CPython 3.12.3 interpreter at: /usr/local/bin/python
Creating virtual environment at: .venv
Activate with: source .venv/bin/activate

अब वर्चुअल एनवायरनमेंट को सक्रिय करें।

source .venv/bin/activate

एनवायरनमेंट सक्रिय होने के बाद, uv का उपयोग करके Unsloth इंस्टॉल करें।

uv pip install unsloth --torch-backend=auto

अंत में, Studio सेटअप कमांड चलाएँ। यह चरण आपके लिए भारी सेटअप संभालता है, जिसमें Node.js, npm इंस्टॉल करना, llama.cpp बिल्ड करना, और इस रन के लिए आवश्यक अतिरिक्त Python पैकेज इंस्टॉल करना शामिल है।

unsloth studio setup

सेटअप पूरा होने पर, आपको Unsloth Studio को लोकल में लॉन्च करने के लिए आवश्यक कमांड दिखेगी।

Unsloth Studio को लोकल में लॉन्च करें

याद रखें कि शुरुआत में, हमने RunPod टेम्पलेट एडिट करते समय पोर्ट 8910 एक्सपोज़ किया था। 

अब हम Unsloth Studio को उसी पोर्ट पर लॉन्च करेंगे ताकि मशीन के अंदर केवल localhost उपयोग करने के बजाय हम RunPod लिंक के ज़रिए सीधे इसे एक्सेस कर सकें।

Unsloth Studio वेब इन्फ़रेंस शुरू करने के लिए टर्मिनल में निम्न कमांड चलाएँ।

unsloth studio -H 0.0.0.0 -p 8910

स्टार्ट होने पर, आपको दिखेगा कि इसने A40 GPU डिटेक्ट कर लिया है, साथ ही डिफ़ॉल्ट एडमिन क्रेडेंशियल्स और वह डिफ़ॉल्ट मॉडल जो पहले से डाउनलोड होकर उपयोग के लिए तैयार है। ज़्यादातर मामलों में, एक Qwen3.5 4B क्वांटाइज़्ड मॉडल डिफ़ॉल्ट रूप से उपलब्ध होता है, ताकि आप बिना कोई और मॉडल डाउनलोड किए तुरंत Studio टेस्ट कर सकें।

टर्मिनल में दिख रहे localhost लिंक पर क्लिक करने के बजाय, RunPod डैशबोर्ड पर वापस जाएँ और Connect टैब खोलें। वहाँ से पोर्ट 8910 के लिंक पर क्लिक करें ताकि Unsloth Studio वेब इंटरफ़ेस खुल जाए।

पहली बार खोलने पर, Studio आपसे नया पासवर्ड बनाने के लिए कहेगा। एक पासवर्ड सेट करें ताकि यह इंस्टेंस सुरक्षित रहे और उस पब्लिक लिंक का उपयोग करने वाले अन्य किसी को एक्सपोज़ न हो।

इसके बाद आप ऑनबोर्डिंग फ़्लो में पहुँचेंगे, जिसे चाहें तो स्किप कर सकते हैं। यदि आप इंटरफ़ेस, बटनों और मुख्य सेक्शनों का एक त्वरित वॉकथ्रू चाहते हैं तो यह उपयोगी है, लेकिन शुरुआत करने के लिए ज़रूरी नहीं है।

अंदर आने पर, आप Unsloth Studio डैशबोर्ड पर लैंड करेंगे। इंटरफ़ेस चार मुख्य टैब्स में संगठित है। 

Studio वह जगह है जहाँ आप फाइन-ट्यूनिंग सँभालते हैं, Recipes आपको PDF और CSV जैसी फ़ाइलों से डाटासेट बनाने देता है, Export आपको फाइन-ट्यून किए गए मॉडलों को GGUF या 16-बिट Safetensors जैसे फ़ॉर्मैट्स में सेव करने में मदद करता है, और Chat वह जगह है जहाँ आप सीधे मॉडल से इंटरैक्ट करते हैं।

Unsloth Studio चैट इंटरफ़ेस का परीक्षण करें

Chat टैब पर क्लिक करें, फिर बाएँ ऊपर Select model बटन पर क्लिक करें। जैसा कि स्क्रीनशॉट में दिखाया गया है, Qwen3.5 4B मॉडल पहले से डाउनलोड है। इस पर क्लिक करें, फिर इंस्टॉल किए गए क्वांटाइज़्ड संस्करण का चयन करें, और आप उपयोग के लिए तैयार हैं। मॉडल को GPU मेमोरी में लोड होने में कुछ सेकंड लगेंगे।

इसे टेस्ट करने के लिए, हमने इसे एक गणित का सवाल दिया, और प्रतिक्रिया प्रभावशाली रूप से तेज़, सुचारू और सुसंगत थी।

आप वेब सर्च भी सक्षम कर सकते हैं और हाल के विषयों के बारे में पूछ सकते हैं। जब यह विकल्प ऑन होता है, तो Unsloth Studio पहले वेब सर्च करता है, फिर प्राप्त जानकारी को मॉडल को पास करता है ताकि वह अधिक आधारित (ग्राउंडेड) उत्तर जनरेट कर सके।

जैसा कि आप देख सकते हैं, इसने स्टॉक मार्केट के बारे में प्रमुख प्रकाशनों से शीर्ष पाँच समाचार परिणाम लौटाए।

आप Hugging Face से अपनी पसंद का कोई भी मॉडल खोज सकते हैं और उसे सीधे इंटरफ़ेस के अंदर डाउनलोड कर सकते हैं। इस उदाहरण में, हमने Qwen3.5 9B 4-बिट क्वांटाइज़्ड डाउनलोड किया।

मॉडल पर क्लिक करते ही डाउनलोड शुरू हो जाता है। मॉडल के आकार और आपकी इंटरनेट स्पीड पर निर्भर करते हुए, इसे पूरा होने में समय लग सकता है।

डाउनलोड पूरा होने के बाद, आप नए डाउनलोड किए गए मॉडल को लोड कर सकते हैं। कुछ ही सेकंड में, Unsloth Studio पहले वाले मॉडल से नए मॉडल पर स्विच कर देता है, जिससे आपको अधिक सक्षम मॉडल का एक्सेस मिल जाता है।

फिर हमने नए मॉडल से स्लॉथ का SVG आर्ट जनरेट करने को कहा।

इसने पहले अनुरोध पर विचार किया, फिर SVG कोड जनरेट किया, और अंत में इंटरफ़ेस में सीधे स्लॉथ आर्ट दिखा दिया।

यह निश्चित रूप से स्लॉथ जैसा दिख रहा था, भले ही बहुत प्रभावशाली नहीं। बड़े और अधिक शक्तिशाली मॉडल के साथ, आमतौर पर आप कहीं बेहतर परिणाम पा सकते हैं, खासकर यदि आपके सिस्टम में अधिक शक्तिशाली GPU और पर्याप्त RAM हो।

Unsloth Studio चैट इंटरफ़ेस में कई कॉन्फ़िगरेशन विकल्प भी हैं। आप जनरेशन पैरामीटर्स को समायोजित कर सकते हैं, सिस्टम प्रॉम्प्ट जोड़ सकते हैं, चैट टेम्पलेट संशोधित कर सकते हैं, और मॉडल के व्यवहार के साथ और अधिक स्वतंत्र रूप से प्रयोग कर सकते हैं।

अंतिम विचार

कुल मिलाकर, मुझे Unsloth Studio का उपयोग करके वास्तव में आनंद आया। सेटअप उतना सुचारू नहीं था जितनी मैंने उम्मीद की थी, और रास्ते में निश्चित रूप से कुछ परेशानियाँ थीं, लेकिन एक बार जब अंततः सब कुछ चल पड़ा, तो मेरा अनुभव पूरी तरह बदल गया। 

सबसे बड़ी समस्या unsloth studio setup चरण था। कागज़ पर यह सरल लगता है, लेकिन वास्तविकता में, सब कुछ इंस्टॉल करने में लगभग 15 से 20 मिनट लग गए। शायद मैं इंस्टॉलेशन के कुछ हिस्से खुद कहीं कम समय में कर सकता था। 

डॉक्स में भी 5 से 10 मिनट का अनुमान है, लेकिन मेरे केस में यह निश्चित रूप से अधिक समय लगा।

दूसरा दर्द बिंदु स्टोरेज था। शुरू में मैंने माना था कि मुझे मध्यम मात्रा में स्पेस चाहिए होगी, लेकिन पूरा सेटअप करीब 100 GB ले गया, जो मेरी अपेक्षा से कहीं अधिक था। मुझे पूरी तरह समझ नहीं आया कि इतना स्पेस कहाँ खर्च हुआ। 

यह वर्चुअल एनवायरनमेंट, डाउनलोड की गई डिपेंडेंसीज़, मॉडल फ़ाइलें, बिल्ड आर्टिफैक्ट्स, या सेटअप के दौरान कुछ टूल्स के अधिक ग्लोबल रूप से इंस्टॉल होने की वजह से हो सकता है। वह हिस्सा बहुत पारदर्शी नहीं था। 

लेकिन इन समस्याओं के बावजूद, एक बार जब Unsloth Studio वास्तव में लॉन्च हो गया, तो मुझे यह सचमुच पसंद आया। इंटरफ़ेस परिष्कृत, तेज़ और आश्चर्यजनक रूप से उपयोग में आसान महसूस होता है। 

सब कुछ एक ही जगह है, वर्कफ़्लो सुचारू लगता है, और यह लोकल मॉडल एक्सपेरिमेंटेशन को काफी अधिक सुलभ बना देता है। इसलिए जबकि सेटअप आपकी सहनशीलता को थोड़ा परखेगा, वास्तविक प्रोडक्ट अनुभव इसे सार्थक महसूस कराता है।