लोकल AI वर्कफ़्लोज़ के लिए Unsloth Desktop का उपयोग कैसे करें

Unsloth Studio को एक बड़ा अपग्रेड मिला है—Unsloth Desktop—जो आपको सब कुछ लोकल तौर पर एक डेस्कटॉप एप्लिकेशन की तरह चलाने देता है। यह खास तौर पर तब उपयोगी है जब आप पैकेज इंस्टॉल करने, अलग-अलग टूल कॉन्फ़िगर करने, या लगातार टर्मिनल में कमांड चलाने में समय नहीं लगाना चाहते।

Unsloth Desktop मूल रूप से लोकल AI वर्कफ़्लोज़ के लिए ऑल-इन-वन समाधान है। आप LLMs चला और फाइन-ट्यून कर सकते हैं, विज़न मॉडल टेस्ट कर सकते हैं, इमेज और वीडियो बना सकते हैं, इमेज मॉडल ट्रेन कर सकते हैं, ऑडियो के साथ काम कर सकते हैं, AI कोडिंग टूल्स इस्तेमाल कर सकते हैं, मॉडल मैनेज कर सकते हैं, और लोकल API चला सकते हैं—वह भी एक ही एप्लिकेशन से।

इस गाइड में, हम Linux पर Unsloth Desktop इंस्टॉल करेंगे, लोकल LLMs चलाएँगे, इसे OpenCode से जोड़ेंगे, और एक लोकल मॉडल से Python प्रोजेक्ट बनाएँगे। हम इसकी अन्य सुविधाओं को भी देखेंगे और जानेंगे कि आप एक ही एप्लिकेशन से लोकल तौर पर कितना कुछ कर सकते हैं।

1. अपनी NVIDIA GPU जाँचें

Unsloth Desktop इंस्टॉल करने से पहले, यह जल्दी से जाँचना अच्छा है कि आपकी NVIDIA GPU डिटेक्ट हो रही है और CUDA सही तरह से काम कर रहा है। इससे बाद में लोकल तौर पर मॉडल चलाते या फाइन-ट्यून करते समय समस्याओं से बचने में मदद मिलती है।

सबसे पहले, टर्मिनल खोलें और चलाएँ:

nvidia-smi

यह आपकी NVIDIA GPU, ड्राइवर वर्ज़न, उपलब्ध GPU मेमोरी और CUDA अनुकूलता संबंधी जानकारी दिखाएगा।

इसके बाद, अपने सिस्टम पर इंस्टॉल CUDA कंपाइलर जाँचें:

nvcc --version

आपको इससे मिलता-जुलता आउटपुट दिखना चाहिए:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

यदि दोनों कमांड काम करते हैं और आपकी GPU सही तरह से डिटेक्ट हो रही है, तो आपका सिस्टम Unsloth Desktop के लिए तैयार है।

2. Unsloth Desktop डाउनलोड और इंस्टॉल करें

अब आधिकारिक Unsloth वेबसाइट पर जाएँ और Unsloth Desktop डाउनलोड करें। सुनिश्चित करें कि आप अपने ऑपरेटिंग सिस्टम के लिए सही पैकेज चुनें।

स्रोत: Linux के लिए Unsloth Desktop डाउनलोड करें 

डाउनलोड पूरा होने के बाद, पैकेज को वैसे ही इंस्टॉल करें जैसे आप कोई भी डेस्कटॉप ऐप इंस्टॉल करते हैं। Linux पर, यह आपकी डिस्ट्रीब्यूशन के अनुसार .deb पैकेज हो सकता है।

इंस्टॉलेशन पूरा होने के बाद, Unsloth Desktop लॉन्च करें। ऐप को अपने-आप उपलब्ध हार्डवेयर डिटेक्ट करना चाहिए और आपको मुख्य इंटरफ़ेस तक पहुँच मिल जानी चाहिए।

यहाँ से, आप मॉडल ब्राउज़ और डाउनलोड कर सकते हैं, लोकल तौर पर LLMs चला सकते हैं, मॉडल फाइन-ट्यून कर सकते हैं, इमेज और अन्य मोडालिटी के साथ काम कर सकते हैं, अपने लोकल मॉडल मैनेज कर सकते हैं, और Unsloth Desktop के भीतर उपलब्ध अन्य टूल्स का उपयोग कर सकते हैं।

3. Unsloth Desktop में LLM डाउनलोड और चलाएँ

Unsloth Desktop में Model hub खोलें और वह मॉडल खोजें जिसे आप चलाना चाहते हैं। इस टेस्ट के लिए, मैंने अपने पसंदीदा छोटे मॉडलों में से एक इस्तेमाल किया:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

मॉडल डाउनलोड करने के बाद, आप इसे लोड कर सकते हैं और सीधे Unsloth Desktop के भीतर चैट शुरू कर सकते हैं। मेरे सिस्टम पर औसतन लगभग 102 टोकन प्रति सेकंड मिल रहे थे, जो कुछ कोडिंग-संबंधी क्वेरीज़ पर लगभग 125 टोकन प्रति सेकंड तक बढ़ गए। 

मैंने वेब एक्सेस भी सक्षम किया और मॉडल से नवीनतम शेयर मार्केट खबरों के बारे में सवाल किए। जब आपको मॉडल के भीतर पहले से मौजूद जानकारी से आगे की ज़रूरत होती है, तो यह लोकल चैट अनुभव को ज्यादा उपयोगी बना देता है। 

इसके बाद, मैं यह देखना चाहता था कि क्या यह सिर्फ सवालों के जवाब देने के बजाय कुछ बना भी सकता है। मैंने इसे एक वेबसाइट बनाने को कहा, और इसने कोड जेनरेट किया और चैट के साथ ही वेबसाइट का प्रीव्यू दिखाया, जिससे बदलाव करते हुए नतीजा देखना आसान हो गया। 

4. किसी विज़न मॉडल का परीक्षण करें

Unsloth Desktop विज़न-लैंग्वेज मॉडल्स को भी सपोर्ट करता है, इसलिए आप सीधे चैट में कोई इमेज अपलोड कर सकते हैं और उस पर सवाल पूछ सकते हैं।

मेरे टेस्ट में, आवश्यक विज़न एन्कोडर मॉडल डाउनलोड करते समय अपने-आप इंस्टॉल हो गया। मैंने बस एक इमेज अपलोड की, उस पर सवाल पूछा, और कुछ ही सेकंड में मॉडल ने काफ़ी सटीक जवाब दिया।

कोडिंग एजेंट्स के साथ काम करते समय विज़न सपोर्ट खास तौर पर उपयोगी है। उदाहरण के लिए, आप किसी वेबसाइट का स्क्रीनशॉट अपलोड करके वह समस्या दिखा सकते हैं जिसे आप ठीक कराना चाहते हैं, एजेंट को वह डिज़ाइन दिखा सकते हैं जिसे आप दोहराना चाहते हैं, या अपना ऐप बनाते समय किसी मौजूदा इंटरफ़ेस को विज़ुअल रेफरेंस के रूप में उपयोग कर सकते हैं। 

5. OpenCode के साथ Unsloth Desktop का उपयोग करें

छोटे मॉडल परीक्षण और हल्के एजेंटिक कोडिंग के लिए अच्छे हैं। लेकिन यदि आप ऐसा गंभीर लोकल कोडिंग एजेंट चाहते हैं जो बड़े प्रोजेक्ट संभाल सके, तो आपको एक अधिक शक्तिशाली मॉडल चाहिए जो आपकी GPU के VRAM में फिट भी हो जाए।

मेरे केस में, मैं RTX 3090 (24 GB VRAM) का उपयोग कर रहा हूँ, इसलिए मैंने Muse Glimmer 30B का Q4 वर्ज़न डाउनलोड किया।

Unsloth Desktop में Models टैब खोलें, मॉडल खोजें, और UD-Q4_K_XL वर्ज़न डाउनलोड करें। कुछ ही मिनटों में मॉडल आपके सिस्टम पर डाउनलोड होकर लोड हो जाना चाहिए।

डिफ़ॉल्ट रूप से कॉन्टेक्स्ट विंडो लगभग 4K पर सेट थी, जो कई फ़ाइलों में काम करने वाले कोडिंग एजेंट के लिए छोटी है। Unsloth Desktop में दाईं ओर का पैनल खोलें, कॉन्टेक्स्ट लंबाई को 64K पर बदलें, नीचे स्क्रॉल करें, और मॉडल को रीलोड करें। 

मॉडल रीलोड होने के बाद, Settings → System पर जाएँ और अपनी GPU मेमोरी उपयोग जाँचें। मेरे केस में, मॉडल ने लगभग 22 GB VRAM ली, जिससे KV कैश के लिए लगभग 2 GB बचा। यह मेरे परीक्षण के लिए पर्याप्त था, हालाँकि उपलब्ध मेमोरी आपकी GPU और वर्कलोड पर निर्भर करेगी। 

अब Settings → Agents खोलें और कोडिंग एजेंट के रूप में OpenCode चुनें। Unsloth Desktop अपने-आप वह कमांड जेनरेट कर देगा जिसकी आपको इसे लॉन्च करने के लिए ज़रूरत है। 

सबसे पहले, टर्मिनल का उपयोग करके एक प्रोजेक्ट डायरेक्टरी बनाएँ:

mkdir unsloth-project
cd unsloth-project

फिर OpenCode लॉन्च करें:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

सुनिश्चित करें कि आप कमांड में कॉन्टेक्स्ट लंबाई शामिल करें। वरना, OpenCode डिफ़ॉल्ट छोटे कॉन्टेक्स्ट विंडो के साथ शुरू हो सकता है।

यदि ज़रूरत हो तो यह कमांड OpenCode इंस्टॉल करेगा और फिर आपके लोकल Unsloth मॉडल के साथ उसका टर्मिनल इंटरफ़ेस लॉन्च करेगा। 

6. OpenCode के साथ एक प्रोजेक्ट बनाएँ

अब जब सब कुछ कनेक्ट हो गया है, तो मैं लोकल कोडिंग एजेंट का सही परीक्षण करना चाहता था। छोटे कोड स्निपेट बनाने के बजाय, मैंने इसे शुरू से एक Mario-शैली का Python गेम बनाने को कहा।

मैंने यह प्रॉम्प्ट इस्तेमाल किया:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode ने पहले टू-डू सूची बनाई और फिर प्रोजेक्ट को चरण-दर-चरण आगे बढ़ाया। इसने फाइलें बनाईं, गेम लॉजिक लिखा, डिपेंडेंसी संभालीं, और अंत में गेम लॉन्च करने का कमांड दिया। 

अंतिम गेम चल गया, हालाँकि अभी भी थोड़ा बग्गी था। Muse Glimmer का Q4 वर्ज़न इस बड़े कोडिंग टास्क के लिए उम्मीद के मुताबिक प्रदर्शन नहीं कर पाया, इसलिए यदि आपके पास पर्याप्त VRAM है, तो बेहतर कोडिंग प्रदर्शन के लिए Q8 वर्ज़न आज़माने की सलाह दूँगा। 

7. Unsloth Desktop की अन्य प्रमुख विशेषताएँ

अब तक, हमने अधिकतर Unsloth Desktop का उपयोग LLMs और कोडिंग एजेंट्स चलाने के लिए किया है, लेकिन यह इससे कहीं अधिक कर सकता है। विचार यह है कि हर काम के लिए अलग टूल सेट करने के बजाय आपके अधिकांश लोकल AI वर्कफ़्लो एक ही ऐप में उपलब्ध हों।

LLM फाइन-ट्यूनिंग

आप LoRA और QLoRA जैसी विधियों से लोकल तौर पर LLMs फाइन-ट्यून कर सकते हैं। नो-कोड ट्रेनिंग इंटरफ़ेस आपको अपना डेटासेट चुनने, ट्रेनिंग सेटिंग्स कॉन्फ़िगर करने, रन शुरू करने, और फाइनल मॉडल एक्सपोर्ट करने में आसानी देता है—बिना पूरी ट्रेनिंग पाइपलाइन खुद बनाने के।

इमेज जेनरेशन और एडिटिंग

आप समर्थित डिफ्यूज़न मॉडल डाउनलोड करके टेक्स्ट प्रॉम्प्ट से लोकल तौर पर इमेज जेनरेट कर सकते हैं। आप कोई मौजूदा इमेज अपलोड करके, अपने इच्छित बदलाव बताकर, समर्थित मॉडलों से इमेज एडिटिंग भी कर सकते हैं।

इमेज LoRA ट्रेनिंग

यदि आप इमेज जेनरेशन से आगे जाना चाहते हैं, तो आप अपने स्वयं के डेटासेट पर इमेज LoRAs भी ट्रेन कर सकते हैं। यह किसी विशेष विषय, पात्र, प्रोडक्ट, या विज़ुअल स्टाइल को मॉडल को सिखाने और फिर भविष्य की जेनरेशन में उस LoRA का उपयोग करने के लिए उपयोगी है।

वीडियो जेनरेशन

Unsloth Desktop समर्थित डिफ्यूज़न मॉडल्स के साथ लोकल वीडियो जेनरेशन वर्कफ़्लोज़ को भी सपोर्ट करता है। यानी आप अलग वातावरण सेटअप किए बिना एक ही ऐप से इमेज और वीडियो जेनरेशन दोनों के साथ प्रयोग कर सकते हैं।

स्पीच और ऑडियो मॉडल

आप स्पीच-टू-टेक्स्ट, टेक्स्ट-टू-स्पीच, और अन्य समर्थित ऑडियो मॉडल्स के साथ काम कर सकते हैं। इससे आप ऑडियो ट्रांसक्राइब कर सकते हैं, स्पीच जेनरेट कर सकते हैं, और अलग-अलग ऑडियो AI वर्कफ़्लो लोकल तौर पर आज़मा सकते हैं।

डेटा रेसिपीज़

डेटा रेसिपीज़ PDFs और CSVs जैसी फाइलों को ऐसे डेटासेट में बदलने में मदद करती हैं जिन्हें आप जाँच, संपादित, और ट्रेनिंग के लिए तैयार कर सकें। जब आपके पास अपना डेटा हो लेकिन आप मैन्युअली स्क्रैच से डेटासेट नहीं बनाना चाहते, तब यह खासा उपयोगी है।

मॉडल स्टोरेज और मैनेजमेंट

जैसे-जैसे आप अधिक मॉडल डाउनलोड करते हैं और अपने खुद के ट्रेन करने लगते हैं, सब कुछ मैनेज करना जल्दी ही उलझ सकता है। Unsloth Desktop आपको डाउनलोडेड मॉडल्स, डेटासेट्स, एडेप्टर्स, ट्रेनिंग रन और अन्य लोकल एसेट्स को एक ही जगह मैनेज करने देता है।

मॉडल एक्सपोर्ट

Unsloth Studio आधिकारिक तौर पर Safetensors/LoRA मॉडल्स को GGUF और अन्य फ़ॉर्मैट्स में एक्सपोर्ट करना सपोर्ट करता है। एक्सपोर्टेड मॉडल्स चलाने के लिए llama.cpp को स्पष्ट रूप से सपोर्ट किया गया है। 

लोकल API

अंत में, Unsloth Desktop आपका लोकल मॉडल OpenAI-कम्पैटिबल API के ज़रिए एक्सपोज़ कर सकता है। इससे आप अपने लोकल मॉडल्स को अन्य ऐप्लिकेशंस, कोडिंग टूल्स, या AI प्रोजेक्ट्स से आसानी से जोड़ सकते हैं—बिना होस्टेड मॉडल API पर निर्भर हुए।

अंतिम विचार

Unsloth Desktop बहुत दिलचस्प दिशा में आगे बढ़ रहा है। LLMs, फाइन-ट्यूनिंग, इमेज और वीडियो जेनरेशन, कोडिंग एजेंट्स, डेटासेट्स, और लोकल APIs—सब कुछ एक ही डेस्कटॉप ऐप में होने से लोकल AI के साथ काम करना काफी आसान हो जाता है, खासकर उनके लिए जो हर टूल को मैन्युअली कॉन्फ़िगर नहीं करना चाहते।

इसके बावजूद, अभी भी कुछ जगहों पर कच्चापन महसूस होता है। पुरानी GPUs या आउटडेटेड CUDA ड्राइवर्स वाले सिस्टम पर, आपको Linux या Windows पर डिपेंडेंसीज़ ट्रबलशूट करनी और कुछ चीज़ें मैन्युअली इंस्टॉल करनी पड़ सकती हैं। मुझे इमेज जेनरेशन, कॉन्टेक्स्ट सेटिंग्स, और कोडिंग एजेंट्स के साथ भी दिक्कतें आईं। उदाहरण के लिए, यदि आप Unsloth Desktop में मॉडल कॉन्टेक्स्ट बढ़ाते हैं, तो कोडिंग एजेंट लॉन्च करते समय भी वही कॉन्टेक्स्ट लंबाई स्पष्ट रूप से सेट करनी पड़ सकती है। कुछ वेबसाइट जेनरेशन और Canvas-स्टाइल वर्कफ़्लो भी हमेशा अपेक्षा के अनुसार व्यवहार नहीं करते थे।

Unsloth ने बहुत कम समय में ढेर सारी सुविधाएँ जोड़ दी हैं, लेकिन अभी सब कुछ पूरी तरह स्थिर नहीं लगता। मुझे उम्मीद है कि Desktop के अधिक अनुकूलित और परिपक्व होने के साथ इनमें से कई समस्याएँ सुधरेंगी।

फिलहाल, यदि मेरा मुख्य लक्ष्य किसी AI कोडिंग एजेंट या अन्य ऐप्लिकेशन के लिए सिर्फ एक लोकल LLM सर्व करना है, तो मेरी प्राथमिकता अब भी llama.cpp ही है। यह मुझे मॉडल, कॉन्टेक्स्ट, GPU ऑफ़लोडिंग, मेमोरी उपयोग, और अन्य लो-लेवल सेटिंग्स पर कहीं ज़्यादा नियंत्रण देता है। उपयोग में आसानी के लिहाज़ से Unsloth Desktop बेहतर है, जबकि जब मुझे कॉन्फ़िगरेशन बारीकी से ट्यून करके अपने हार्डवेयर से अधिकतम प्रदर्शन निचोड़ना होता है, तब llama.cpp बेहतर विकल्प रहता है।