स्थानीय AI वर्कफ़्लो के लिए Unsloth Desktop का उपयोग कैसे करें

Unsloth Studio को Unsloth Desktop के साथ बड़ा अपग्रेड मिला है, जो आपको सब कुछ स्थानीय रूप से एक डेस्कटॉप एप्लिकेशन के रूप में चलाने देता है। यह खास तौर पर उपयोगी है अगर आप पैकेज इंस्टॉल करने, अलग-अलग टूल कॉन्फ़िगर करने, या टर्मिनल में लगातार कमांड चलाने में समय नहीं लगाना चाहते।

Unsloth Desktop मूल रूप से स्थानीय AI वर्कफ़्लो के लिए ऑल-इन-वन समाधान है। 

आप LLM को फाइन-ट्यून कर सकते हैं, विज़न मॉडल टेस्ट कर सकते हैं, छवियां और वीडियो जनरेट कर सकते हैं, इमेज मॉडल ट्रेन कर सकते हैं, ऑडियो के साथ काम कर सकते हैं, AI कोडिंग टूल्स इस्तेमाल कर सकते हैं, मॉडल मैनेज कर सकते हैं, और एक स्थानीय API चला सकते हैं—यह सब एक ही एप्लिकेशन से।

इस गाइड में, मैं आपको Linux पर Unsloth Desktop इंस्टॉल करना, स्थानीय LLM चलाना, इसे OpenCode से जोड़ना, और एक स्थानीय मॉडल से Python प्रोजेक्ट बनाना दिखाऊंगा। 

हम इसकी अन्य विशेषताओं को भी देखेंगे और समझेंगे कि आप एक ही एप्लिकेशन से स्थानीय रूप से कितना कुछ कर सकते हैं।

1. अपना NVIDIA GPU जाँचें

Unsloth Desktop इंस्टॉल करने से पहले, यह जल्दी से जाँच लेना अच्छा है कि आपका NVIDIA GPU डिटेक्ट हो रहा है और CUDA ठीक से काम कर रहा है। 

जब आप स्थानीय रूप से मॉडल चलाना या फाइन-ट्यून करना शुरू करेंगे, तो इससे बाद में समस्याओं से बचने में मदद मिलेगी।

सबसे पहले, टर्मिनल खोलें और चलाएँ:

nvidia-smi

इससे आपका NVIDIA GPU, ड्राइवर वर्ज़न, उपलब्ध GPU मेमोरी, और CUDA संगतता की जानकारी दिखनी चाहिए।

अब, अपने सिस्टम पर इंस्टॉल CUDA कंपाइलर जाँचें:

nvcc --version

आपको इससे मिलता-जुलता आउटपुट दिखना चाहिए:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

यदि दोनों कमांड काम करते हैं और आपका GPU सही तरह डिटेक्ट हो रहा है, तो आपका सिस्टम Unsloth Desktop के लिए तैयार है।

2. Unsloth Desktop डाउनलोड और इंस्टॉल करें

इसके बाद, आधिकारिक Unsloth वेबसाइट पर जाएँ और Unsloth Desktop डाउनलोड करें। 

यह सुनिश्चित करें कि आप अपने ऑपरेटिंग सिस्टम के लिए सही पैकेज चुनें।

स्रोत: Linux के लिए Unsloth Desktop डाउनलोड करें 

डाउनलोड पूरा होने के बाद, पैकेज को किसी भी अन्य डेस्कटॉप एप्लिकेशन की तरह इंस्टॉल करें। 

Linux पर, यह आपके डिस्ट्रीब्यूशन के आधार पर .deb पैकेज हो सकता है।

इंस्टॉलेशन पूरा हो जाने पर, Unsloth Desktop लॉन्च करें। 

एप्लिकेशन को स्वचालित रूप से आपका उपलब्ध हार्डवेयर डिटेक्ट करना चाहिए और मुख्य इंटरफ़ेस तक पहुँच देनी चाहिए।

यहाँ से, आप मॉडल ब्राउज़ और डाउनलोड कर सकते हैं, LLMs को स्थानीय रूप से चला सकते हैं, मॉडल फाइन-ट्यून कर सकते हैं, छवियों और अन्य मोडैलिटी पर काम कर सकते हैं, अपने स्थानीय मॉडल मैनेज कर सकते हैं, और Unsloth Desktop के अंदर उपलब्ध अन्य टूल का उपयोग कर सकते हैं।

3. Unsloth Desktop में एक LLM डाउनलोड करें और चलाएँ

Unsloth Desktop में Model hub खोलें और वह मॉडल खोजें जिसे आप चलाना चाहते हैं। 

इस परीक्षण के लिए, मैंने अपने पसंदीदा छोटे मॉडलों में से एक का उपयोग किया:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

मॉडल डाउनलोड होने के बाद, आप इसे लोड कर सकते हैं और सीधे Unsloth Desktop के अंदर इसके साथ चैट शुरू कर सकते हैं। 

मेरे सिस्टम पर औसतन लगभग 102 टोकन प्रति सेकंड की गति मिल रही थी, जो कुछ कोडिंग-संबंधित क्वेरीज़ पर लगभग 125 टोकन प्रति सेकंड तक बढ़ गई। 

मैंने वेब एक्सेस भी सक्षम किया और मॉडल से ताज़ा स्टॉक मार्केट समाचारों के बारे में प्रश्न पूछे। 

जब आपको मॉडल के भीतर मौजूद जानकारी से आगे की ज़रूरत होती है, तो इससे स्थानीय चैट अनुभव काफी ज़्यादा उपयोगी हो जाता है। 

अगला, मैं देखना चाहता था कि क्या यह केवल प्रश्नों के उत्तर देने के बजाय कुछ बना भी सकता है। 

मैंने इसे एक वेबसाइट बनाने को कहा, और इसने कोड जनरेट किया और चैट के साथ-साथ वेबसाइट भी दिखा दी, जिससे बदलाव जारी रखते हुए परिणाम देखना आसान हो गया। 

4. एक विज़न मॉडल का परीक्षण करें

Unsloth Desktop विज़न-लैंग्वेज मॉडल को भी सपोर्ट करता है, इसलिए आप किसी छवि को सीधे चैट में अपलोड करके उसके बारे में प्रश्न पूछ सकते हैं।

मेरे परीक्षण में, आवश्यक विज़न एन्कोडर मॉडल डाउनलोड करते समय अपने-आप इंस्टॉल हो गया। 

मैंने बस एक छवि अपलोड की, उसके बारे में सवाल पूछा, और कुछ ही सेकंड में मॉडल ने बेहद सटीक उत्तर दे दिया।

कोडिंग एजेंट्स के साथ काम करते समय विज़न सपोर्ट विशेष रूप से मददगार होता है। 

उदाहरण के लिए, आप किसी वेबसाइट का स्क्रीनशॉट अपलोड कर सकते हैं और वह समस्या इंगित कर सकते हैं जिसे आप ठीक करना चाहते हैं, किसी डिज़ाइन को दिखा सकते हैं जिसे आप दोहराना चाहते हैं, या अपना एप्लिकेशन बनाते समय किसी मौजूदा इंटरफ़ेस को विज़ुअल रेफ़रेंस के रूप में उपयोग कर सकते हैं। 

5. OpenCode के साथ Unsloth Desktop का उपयोग करें

छोटे मॉडल परीक्षण और हल्के एजेंटिक कोडिंग के लिए बेहतरीन हैं। 

लेकिन यदि आप कोई गंभीर स्थानीय कोडिंग एजेंट चाहते हैं जो बड़े प्रोजेक्ट संभाल सके, तो आपको ऐसा मज़बूत मॉडल चाहिए जो फिर भी आपके GPU की VRAM में फिट हो सके।

मेरे मामले में, मैं 24 GB VRAM वाला RTX 3090 इस्तेमाल कर रहा हूँ, इसलिए मैंने Muse Glimmer 30B का Q4 वर्ज़न डाउनलोड किया।

Unsloth Desktop में Models टैब खोलें, मॉडल खोजें, और UD-Q4_K_XL वर्ज़न डाउनलोड करें। 

कुछ ही मिनटों में, मॉडल डाउनलोड होकर आपके सिस्टम पर लोड हो जाना चाहिए।

डिफ़ॉल्ट रूप से, कॉन्टेक्स्ट विंडो लगभग 4K पर सेट थी, जो कई फ़ाइलों में काम करने वाले कोडिंग एजेंट के लिए बहुत छोटी है। 

Unsloth Desktop में दाईं ओर का पैनल खोलें, कॉन्टेक्स्ट लंबाई को 64K पर बदलें, नीचे स्क्रॉल करें, और मॉडल को रीलोड करें। 

मॉडल रीलोड होने के बाद, Settings → System पर जाएँ और अपने GPU मेमोरी उपयोग की जाँच करें। 

मेरे मामले में, मॉडल लगभग 22 GB VRAM उपयोग कर रहा था, जिससे लगभग 2 GB KV कैश के लिए बच रहा था। मेरी टेस्टिंग के लिए यह काफ़ी था, हालाँकि उपलब्ध मेमोरी आपके GPU और वर्कलोड पर निर्भर करेगी। 

अगला, Settings → Agents खोलें और कोडिंग एजेंट के रूप में OpenCode चुनें। 

Unsloth Desktop अपने-आप वह कमांड जेनरेट कर देगा जिसकी मदद से आप इसे लॉन्च कर सकते हैं। 

पहले, टर्मिनल का उपयोग करके एक प्रोजेक्ट डायरेक्टरी बनाएँ:

mkdir unsloth-project
cd unsloth-project

फिर OpenCode लॉन्च करें:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

सुनिश्चित करें कि आप कमांड में कॉन्टेक्स्ट लंबाई शामिल करें। 

अन्यथा, OpenCode डिफ़ॉल्ट छोटे कॉन्टेक्स्ट विंडो के साथ शुरू हो सकता है।

यह कमांड आवश्यक होने पर OpenCode इंस्टॉल करेगा और फिर आपके स्थानीय Unsloth मॉडल के साथ इसका टर्मिनल इंटरफ़ेस लॉन्च कर देगा। 

6. OpenCode के साथ एक प्रोजेक्ट बनाएं

अब जब सब कुछ कनेक्ट हो चुका है, तो मैं स्थानीय कोडिंग एजेंट को एक सही टेस्ट देना चाहता था। 

छोटे कोड स्निपेट जनरेट करने को कहने के बजाय, मैंने इसे शुरू से एक Mario-शैली का गेम Python में पूरी तरह बनवाने को कहा।

मैंने यह प्रॉम्प्ट उपयोग किया:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. 
Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode ने पहले एक टू-डू सूची बनाई और फिर प्रोजेक्ट को चरण-दर-चरण आगे बढ़ाया। इसने फ़ाइलें बनाईं, गेम लॉजिक लिखा, डिपेंडेंसीज़ हैंडल कीं, और अंत में गेम लॉन्च करने का कमांड दिया। 

अंतिम गेम चला, हालाँकि अभी भी थोड़ा बग्गी था। 

इस बड़े कोडिंग कार्य के लिए Muse Glimmer का Q4 वर्ज़न उम्मीद के मुताबिक अच्छा प्रदर्शन नहीं कर पाया, इसलिए यदि आपके पास पर्याप्त VRAM है, तो बेहतर कोडिंग प्रदर्शन के लिए Q8 वर्ज़न आज़माने की सलाह दूँगा। 

Unsloth Desktop की अन्य प्रमुख विशेषताएँ

अब तक, हमने ज़्यादातर Unsloth Desktop का उपयोग LLMs और कोडिंग एजेंट चलाने के लिए किया है, लेकिन यह इससे कहीं अधिक कर सकता है। 

मकसद यह है कि हर कार्य के लिए अलग टूल सेटअप करने की बजाय, आपके अधिकतर स्थानीय AI वर्कफ़्लो एक ही एप्लिकेशन से उपलब्ध हों।

LLM फाइन-ट्यूनिंग

आप स्थानीय रूप से LoRA और QLoRA जैसी विधियों से LLMs को फाइन-ट्यून कर सकते हैं। 

नो-कोड ट्रेनिंग इंटरफ़ेस से अपना डेटासेट चुनना, ट्रेनिंग सेटिंग्स कॉन्फ़िगर करना, रन शुरू करना, और अंतिम मॉडल एक्सपोर्ट करना भी आसान हो जाता है—बिना पूरी ट्रेनिंग पाइपलाइन खुद बनाने के।

छवि जनरेशन और संपादन

आप समर्थित डिफ्यूज़न मॉडल डाउनलोड कर सकते हैं और टेक्स्ट प्रॉम्प्ट से स्थानीय रूप से छवियाँ जनरेट कर सकते हैं। आप किसी मौजूदा छवि को अपलोड करके वांछित बदलावों का वर्णन कर सकते हैं और समर्थित मॉडलों से इमेज एडिटिंग कर सकते हैं।

इमेज LoRA ट्रेनिंग

यदि आप इमेज जनरेशन से आगे जाना चाहते हैं, तो आप अपने ही डेटासेट पर इमेज LoRA भी ट्रेन कर सकते हैं। 

यह किसी विशेष विषय, कैरेक्टर, प्रोडक्ट, या विज़ुअल स्टाइल को मॉडल को सिखाने में उपयोगी है, ताकि आप भविष्य की जनरेशन में उसी LoRA का उपयोग कर सकें।

वीडियो जनरेशन

Unsloth Desktop समर्थित डिफ्यूज़न मॉडलों का उपयोग करके स्थानीय वीडियो जनरेशन वर्कफ़्लो भी सपोर्ट करता है। 

इसका मतलब है कि आप एक ही एप्लिकेशन से छवि और वीडियो—दोनों जनरेशन के साथ प्रयोग कर सकते हैं, अलग वातावरण सेटअप किए बिना।

स्पीच और ऑडियो मॉडल

आप स्पीच-टू-टेक्स्ट, टेक्स्ट-टू-स्पीच, और अन्य समर्थित ऑडियो मॉडलों के साथ काम कर सकते हैं। 

इससे आप ऑडियो ट्रांसक्राइब कर सकते हैं, स्पीच जनरेट कर सकते हैं, और अलग-अलग ऑडियो AI वर्कफ़्लो पर स्थानीय रूप से प्रयोग कर सकते हैं।

डेटा रेसिपी

डेटा रेसिपी, PDF और CSV जैसी फ़ाइलों को ऐसे डेटासेट में बदलने में मदद करती हैं जिन्हें आप निरीक्षण, संपादित, और ट्रेनिंग के लिए तैयार कर सकें। 

जब आपके पास अपना डेटा हो, लेकिन आप शुरू से डेटासेट मैन्युअली बनाना नहीं चाहते, तब यह विशेष रूप से उपयोगी है।

मॉडल स्टोरेज और प्रबंधन

जैसे-जैसे आप अधिक मॉडल डाउनलोड करते हैं और अपने मॉडल ट्रेन करना शुरू करते हैं, सब कुछ मैनेज करना जल्दी ही उलझन भरा हो सकता है। 

Unsloth Desktop आपको डाउनलोड किए गए मॉडल, डेटासेट, एडॉप्टर, ट्रेनिंग रन, और अन्य स्थानीय एसेट—सब कुछ एक ही जगह मैनेज करने देता है।

मॉडल एक्सपोर्ट करें

Unsloth Studio आधिकारिक तौर पर Safetensors/LoRA मॉडलों को GGUF और अन्य फॉर्मैट्स में एक्सपोर्ट करने का समर्थन करता है। एक्सपोर्टेड मॉडलों को चलाने के लिए llama.cpp को स्पष्ट रूप से सपोर्ट किया गया है। 

स्थानीय API

अंत में, Unsloth Desktop आपका स्थानीय मॉडल OpenAI-कम्पैटिबल API के ज़रिए एक्सपोज़ कर सकता है। इससे बिना होस्टेड मॉडल API पर निर्भर हुए, अपने स्थानीय रूप से चल रहे मॉडलों को अन्य एप्लिकेशन, कोडिंग टूल्स, या AI प्रोजेक्ट्स से जोड़ना आसान हो जाता है।

अंतिम विचार

Unsloth Desktop बहुत दिलचस्प दिशा में आगे बढ़ रहा है। 

LLMs, फाइन-ट्यूनिंग, छवि और वीडियो जनरेशन, कोडिंग एजेंट, डेटासेट, और स्थानीय API—इन सबको एक ही डेस्कटॉप एप्लिकेशन में पाना स्थानीय AI के साथ काम करना बहुत आसान बना देता है, खासकर उनके लिए जो हर टूल को मैन्युअली कॉन्फ़िगर नहीं करना चाहते।

इसके बावजूद, अभी भी कुछ किनारों पर यह थोड़ा खुरदुरा लगता है। 

पुराने GPUs या आउटडेटेड CUDA ड्राइवर्स वाले सिस्टम पर, आपको Linux या Windows में डिपेंडेंसीज़ का ट्रबलशूट करना और कुछ चीज़ें मैन्युअली इंस्टॉल करनी पड़ सकती हैं।

मुझे इमेज जनरेशन, कॉन्टेक्स्ट सेटिंग्स, और कोडिंग एजेंट्स के साथ भी कुछ समस्याएँ आईं। 

उदाहरण के लिए, यदि आप Unsloth Desktop में मॉडल कॉन्टेक्स्ट बढ़ाते हैं, तो कोडिंग एजेंट लॉन्च करते समय भी आपको स्पष्ट रूप से वही कॉन्टेक्स्ट लंबाई सेट करनी पड़ सकती है। कुछ वेबसाइट जनरेशन और Canvas-शैली के वर्कफ़्लो भी हमेशा अपेक्षित रूप से व्यवहार नहीं करते थे।

Unsloth ने बहुत कम समय में बहुत सारी विशेषताएँ जोड़ दी हैं, लेकिन हर चीज़ अभी पूरी तरह स्थिर नहीं लगती। मुझे उम्मीद है कि Desktop के अधिक ऑप्टिमाइज़ और परिपक्व होने के साथ इन समस्याओं में काफी सुधार होगा।

अभी के लिए, यदि मेरा मुख्य लक्ष्य केवल किसी AI कोडिंग एजेंट या अन्य एप्लिकेशन के लिए एक स्थानीय LLM सर्व करना है, तो मैं अभी भी llama.cpp को तरजीह देता हूँ। 

यह मुझे मॉडल, कॉन्टेक्स्ट, GPU ऑफ़लोडिंग, मेमोरी उपयोग, और अन्य लो-लेवल सेटिंग्स पर कहीं अधिक नियंत्रण देता है।

Unsloth Desktop इस्तेमाल करने में कहीं आसान है, जबकि जब मैं कॉन्फ़िगरेशन को बारीकी से ट्यून करना चाहता हूँ और अपने हार्डवेयर से अधिकतम प्रदर्शन निकालना चाहता हूँ, तब भी llama.cpp बेहतर विकल्प रहता है।