LM Studio ट्यूटोरियल: लोकल LLMs के साथ शुरुआत करें

बड़े भाषा मॉडल्स (LLMs) को लोकल रूप से चलाना लगातार लोकप्रिय हो रहा है, खासकर तब जब आप निजी डेटा बाहरी सर्वरों पर नहीं भेजना चाहते। जब सब कुछ आपकी मशीन पर चलता है, तो आपके प्रॉम्प्ट्स और डेटा आपके ही वातावरण में रहते हैं, जिससे आपको अधिक नियंत्रण और बेहतर गोपनीयता मिलती है।

यदि आप भी वही क्षमता चाहते हैं, तो मैं आपको बताऊंगा कि LM Studio का उपयोग करके LLMs को लोकल रूप से कैसे रन और चैट करें। यह एक GUI-पहला टूल है, इसलिए आपको टर्मिनल अनुभव या गहरी तकनीकी जानकारी की आवश्यकता नहीं है। सेटअप सीधा है, और आप जल्दी शुरू कर सकते हैं। चलिए शुरू करते हैं!

यदि आप एजेंटिक टूल्स को लोकल रूप से चलाने में रुचि रखते हैं, तो मैं सलाह दूंगा कि आप क्रमशः Ollama के साथ OpenClaw और Claude Code सेट करने पर हमारे ट्यूटोरियल देखें।

LM Studio क्या है?

LM Studio एक क्रॉस-प्लेटफ़ॉर्म एप्लिकेशन है जो आपको अपने कंप्यूटर पर बड़े भाषा मॉडल्स को लोकल रूप से चलाने और डाउनलोड करने देता है, ताकि आपका डेटा बाहरी सर्वरों तक न पहुंचे। 

यह एक बिल्ट-इन मॉडल ब्राउज़र के साथ आता है जहाँ आप Hugging Face से सीधे मॉडल खोज, ब्राउज़ और डाउनलोड कर सकते हैं। आप लगभग कोई भी मॉडल डाउनलोड कर सकते हैं, जिनमें DeepSeek, Llama, Gemma, Phi, या Mistral के विभिन्न संस्करण शामिल हैं। आपको कोई अतिरिक्त सेटअप करने की जरूरत नहीं है। 

LM Studio शुरुआती लोगों के लिए भी एक बढ़िया विकल्प है, खासकर यदि आप कमांड-लाइन प्रॉम्प्ट्स के साथ काम करने में सहज नहीं हैं। यह आपको एक उपयोगकर्ता-अनुकूल इंटरफ़ेस देता है, जहाँ आप मॉडल चुन सकते हैं, कॉन्फ़िगरेशन समायोजित कर सकते हैं, और तुरंत उससे चैट शुरू कर सकते हैं। 

आप अपने लोकल फ़ाइलें भी अपलोड कर सकते हैं और उनसे चैट कर सकते हैं: LM Studio चैट सेशंस में .docx, .pdf, और .txt फ़ाइलें अटैच कर सकता है। यदि कोई डॉक्यूमेंट संदर्भ में फिट होता है, तो उसे पूरा जोड़ा जाता है, और यदि वह बहुत लंबा है, तो LM Studio retrieval-augmented generation (RAG)का उपयोग करके उन फ़ाइलों से प्रासंगिक जानकारी खींच सकता है ताकि आपके सवालों के जवाब दिए जा सकें।

क्योंकि LM Studio क्रॉस-प्लेटफ़ॉर्म है, यह Windows, Mac, और Linux पर सहजता से काम करता है, इसलिए आप अपने सेटअप से सीमित नहीं हैं। और जब आप बुनियादी बातों से आगे बढ़ जाते हैं, तो आप इससे और भी कुछ कर सकते हैं। आप MCP सर्वर्स को इंटीग्रेट करके अपने लोकल LLMs को बाहरी टूल्स, डेटा सोर्सेज, और APIs से कनेक्ट कर सकते हैं, जो इसे उन्नत वर्कफ़्लोज़ के लिए पर्याप्त लचीला बनाता है।

LM Studio बनाम Ollama

LM Studio और Ollama दोनों बड़े भाषा मॉडल्स को लोकल रूप से चलाने और उनसे चैट करने के लिए बनाए गए हैं। हालांकि, कुछ प्रमुख अंतर हैं:

LM Studio सिस्टम आवश्यकताएँ और मॉडल चयन

LM Studio में मॉडल डाउनलोड करना शुरू करने से पहले, यह समझना उपयोगी है कि आपका सिस्टम वास्तव में क्या संभाल सकता है। जो मॉडल आप चुनते हैं, वह सीधे आपकी उपलब्ध RAM पर निर्भर करता है, और गलत चयन चीज़ों को धीमा कर सकता है या ऐप को अनुपयोगी बना सकता है।

विभिन्न उपलब्ध RAM के लिए उपयुक्त मॉडलों की एक त्वरित तालिका:

GPU वैकल्पिक है, लेकिन यह स्पष्ट अंतर लाता है। यदि आपके पास है, तो मॉडल के उत्तर काफी तेज़ और स्मूद हो जाते हैं। CUDA सपोर्ट वाले NVIDIA GPUs सबसे अच्छा काम करते हैं, Apple Silicon प्रभावी रूप से Metal का उपयोग करता है, और AMD में सेटअप के अनुसार आंशिक सपोर्ट है।

अपने हार्डवेयर के लिए सही मॉडल कैसे चुनें

यहाँ कुछ व्यावहारिक सिफारिशें हैं ऐसा मॉडल चुनने के लिए जो आपकी मशीन पर बिना ज़्यादा दबाव के अच्छी तरह चले।

आपको एक ही मॉडल के विभिन्न संस्करण भी दिखाई देंगे जिन पर Q4_K_M या Q8_0 जैसे लेबल लगे होते हैं। यह क्वांटाइज़ेशन स्तरों को दर्शाता है, जो मूलतः बताते हैं कि मॉडल कितना संकुचित है। कम क्वांटाइज़ेशन, जैसे Q4, मेमोरी उपयोग को कम करता है और तेज़ चलता है, लेकिन कुछ गुणवत्ता खो जाती है। अधिक क्वांटाइज़ेशन, जैसे Q8, आउटपुट की गुणवत्ता बेहतर रखता है, लेकिन अधिक RAM की आवश्यकता होती है और यह धीमा चलता है।

यदि आप अनिश्चित हैं, तो Q4 या Q5 आमतौर पर शुरू करने के लिए सुरक्षित विकल्प है, खासकर 16GB सेटअप पर जैसा मेरे पास है।

LM Studio इंस्टॉल करना

LM Studio के साथ शुरुआत करने के लिए आधिकारिक वेबसाइट पर जाएँ और ऐप डाउनलोड करें। वेबसाइट आपका ऑपरेटिंग सिस्टम स्वतः पहचानती है और संबंधित संस्करण डाउनलोड करने का विकल्प देती है।

आपसे आपकी सिस्टम सेटिंग्स के आधार पर अनुमतियाँ देने के लिए कहा जा सकता है। मेरे मामले में, Mac पर, यह डाउनलोड किए गए इंस्टॉलर को खोलने के तुरंत बाद एक एप्लिकेशन के रूप में उपलब्ध था।

LM Studio में अपना पहला मॉडल डाउनलोड करना

जब आप पहली बार LM Studio खोलते हैं, तो आप मॉडल ब्राउज़र के साथ एक साफ-सुथरे इंटरफ़ेस पर पहुँचेंगे। आप तुरंत मॉडल खोज सकते हैं, उपलब्ध विकल्प देख सकते हैं, और लोकल रूप से चलाने के लिए किसी मॉडल को डाउनलोड करना शुरू कर सकते हैं।

Discover टैब में ब्राउज़ करना

LM Studio खोलें और बाईं साइडबार से सर्च आइकन पर क्लिक करें।

यह मूलतः आपका मॉडल मार्केटप्लेस है, जहाँ आप विशिष्ट मॉडलों को खोज सकते हैं, आकार के अनुसार फ़िल्टर कर सकते हैं, और अलग-अलग विकल्पों का पता लगा सकते हैं। जब आप खोजते हैं, तो प्रत्येक मॉडल के साथ एक मॉडल कार्ड आता है, जो आकार, क्षमताओं, और कभी-कभी अनुशंसित उपयोग मामलों जैसी उपयोगी जानकारी देता है। डाउनलोड करने से पहले इसे सरसरी तौर पर पढ़ लेना फायदेमंद होता है ताकि आपको पता रहे कि क्या अपेक्षित है।

यदि आप साथ चल रहे हैं और एक भरोसेमंद शुरुआती बिंदु चाहते हैं, तो 16GB सिस्टम के लिए जैसे Qwen 2.5 7B (Q4_K_M) चुनें (या ऊपर दी गई मेरी सिफारिशों में से कोई लें)। यह प्रदर्शन और गुणवत्ता के बीच अच्छा संतुलन बनाता है, और आपकी मशीन पर बिना ज़्यादा दबाव के स्मूदली चलता है।

मॉडल फ़ॉर्मैट्स को समझना

जैसे-जैसे आप ब्राउज़ करेंगे, आपको अधिकांश मॉडल GGUF फ़ॉर्मैट में उपलब्ध मिलेंगे। GGUF, जिसका अर्थ है GPT-Generated Unified Format, एक बाइनरी फ़ॉर्मैट है जो उपभोक्ता-ग्रेड हार्डवेयर पर LLMs को कुशलता से स्टोर और रन करने के लिए होता है। 

यह फ़ॉर्मैट उच्च-सटीकता वाले वेट्स (उदा., Float16) को कम-बिट पूर्णांकों (उदा., 4-बिट, 5-बिट) पर मैप करता है और मॉडल वेट्स, मेटाडेटा, और कॉन्फ़िगरेशन को एक एकल ऑप्टिमाइज़्ड फ़ाइल में पैकेज करता है। यह लोडिंग को तेज़ बनाता है और llama.cpp जैसे इंफ़ेरेंस इंजनों के साथ संगतता सुनिश्चित करता है, जिस पर LM Studio आंतरिक रूप से निर्भर करता है।

LM Studio में लोकल LLM के साथ चैट करना

अब रोमांचक हिस्से पर आते हैं और मॉडल को उपयोग में लाते हैं।

मॉडल लोड करना और पैरामीटर्स कॉन्फ़िगर करना

चरण 1: LM Studio खोलें और बाएँ मेनू बार से My Models सेक्शन पर जाएँ।

चरण 2: मॉडल पर Settings आइकन पर क्लिक करें और Load Model पर क्लिक करें।

लोड होने के बाद, उसी स्क्रीन पर Inference टैब पर जाएँ, और आपको कॉन्टेक्स्ट लंबाई, टेम्परेचर, आदि के लिए कंट्रोल्स दिखेंगे।

• Context length नियंत्रित करता है कि बातचीत के दौरान मॉडल कितनी जानकारी याद रख सकता है। अधिक मान आपको लंबे इनपुट्स के साथ काम करने देता है, लेकिन यह अधिक मेमोरी भी उपयोग करता है। यदि आपकी RAM सीमित है, तो इसे मध्यम रखना बेहतर है। 
• Temperature नियंत्रित करता है कि मॉडल कितना रचनात्मक या पूर्वानुमेय है। कम मान प्रतिक्रियाओं को अधिक निर्धारक बनाते हैं, जबकि अधिक मान उन्हें अधिक विविध बनाते हैं। 
• System prompt मॉडल के व्यवहार को सेट करता है। यहीं आप तय करते हैं कि सहायक को कैसे जवाब देना चाहिए—टोन, शैली, और भूमिका सहित।

आपकी पहली बातचीत

सब कुछ सेट हो जाने के बाद, आप किसी भी AI सहायक की तरह मॉडल से चैट करना शुरू कर सकते हैं। यहाँ एक सरल उदाहरण है:

मैंने प्रॉम्प्ट दिया, “8GB RAM और इमेज डेटा के लिए सबसे अच्छा मॉडल कौन सा है?”

मॉडल ने convolutional neural network (CNN) आर्किटेक्चर वाले मॉडल का उपयोग करने का सुझाव दिया, जैसा कि चित्र में दिखाया गया है।

यही बुनियादी फ्लो है। प्रतिक्रियाओं की गुणवत्ता काफी हद तक आपकी कॉन्फ़िगरेशन पर निर्भर करती है। उदाहरण के लिए, यदि आप सिस्टम प्रॉम्प्ट सेटिंग्स में “सब कुछ सरल शब्दों में छोटे उत्तरों के साथ समझाएँ” सेट करते हैं, तो मॉडल कई प्रतिक्रियाओं में उसी शैली के साथ स्थिर रहता है। 

LM Studio में अपने दस्तावेज़ों के साथ चैट करना

LM Studio की सबसे उपयोगी विशेषताओं में से एक इसका बिल्ट-इन RAG सपोर्ट है। आप सीधे अपने दस्तावेज़ चैट में अपलोड कर सकते हैं और सवाल पूछना शुरू कर सकते हैं।

दस्तावेज़ Q&A सेट करना

शुरू करने के लिए, अपने लोड किए गए मॉडल के साथ एक चैट सेशन खोलें। आपको फ़ाइल अटैच करने के लिए + आइकन दिखाई देगा। उस पर क्लिक करके PDF या टेक्स्ट फ़ाइलों जैसी डॉक्यूमेंट्स को सीधे चैट में अपलोड करें।

फ़ाइल जोड़ने के बाद, LM Studio इसे क्वेरी करने के लिए स्वचालित रूप से तैयार करता है, इसलिए आपको कुछ भी मैन्युअली कॉन्फ़िगर करने की ज़रूरत नहीं है। परदे के पीछे, डॉक्यूमेंट को छोटे-छोटे हिस्सों में बाँटा जाता है ताकि मॉडल उसके साथ कुशलता से काम कर सके। फिर इन हिस्सों को embeddings में बदला जाता है, जो टेक्स्ट के संख्यात्मक निरूपण होते हैं। 

जब आप कोई सवाल पूछते हैं, तो LM Studio सबसे प्रासंगिक हिस्सों को पुनः प्राप्त करता है और उन्हें आपके प्रश्न के साथ मॉडल को पास करता है। इस तरह, मॉडल को आपके दस्तावेज़ों से अतिरिक्त जानकारी मिलती है और वह उसी के अनुसार जवाब देता है।

अपनी नॉलेज बेस में क्वेरी करना

उदाहरण के लिए, मैंने आर्टिफिशियल इंटेलिजेंस पर एक शोध पत्र अपलोड किया और पूछा, “AI का भविष्य आपके अनुसार कैसा है?”

LM Studio दस्तावेज़ के सबसे प्रासंगिक सेक्शन्स को खींचता है और आपके प्रॉम्प्ट के साथ मॉडल को भेजता है। फिर मॉडल दिए गए संदर्भ और अपनी मौजूदा जानकारी—दोनों के आधार पर प्रतिक्रिया उत्पन्न करता है।

आप नीचे की छवि में यही प्रक्रिया दृश्य रूप में देख सकते हैं:

ध्यान रखने के लिए कुछ सीमाएँ हैं। मॉडल अब भी अपने कॉन्टेक्स्ट विंडो पर निर्भर करता है, इसलिए बहुत बड़े डॉक्यूमेंट्स को एक साथ पूरी तरह नहीं माना जा सकता। रिट्रीवल की गुणवत्ता इस बात पर भी निर्भर करती है कि डॉक्यूमेंट को कितनी अच्छी तरह चंक्स में बाँटा गया है—यदि प्रासंगिक हिस्से सही से नहीं मिलते, तो कुछ उत्तर विवरण छोड़ सकते हैं।

LM Studio को लोकल API सर्वर के रूप में चलाना

LM Studio से आप जो अधिक शक्तिशाली काम कर सकते हैं, उनमें से एक है इसे लोकल API सर्वर के रूप में चलाना। इससे आप अपने लोकल LLM को स्क्रिप्ट्स, ऐप्स, या अन्य टूल्स के अंदर उपयोग कर सकते हैं।

सर्वर शुरू करना

चरण 1: इसे सक्षम करने के लिए, LM Studio खोलें और स्क्रीन के बॉटम-लेफ़्ट कोने में Settings आइकन पर क्लिक करें।

चरण 2: बाईं साइडबार से Developer सेक्शन में जाएँ और Developer Mode टॉगल ऑन करें।

चरण 3: चैट इंटरफ़ेस पर वापस जाएँ और बाएँ मेनू बार से Developer आइकन पर क्लिक करें।

चरण 4: सर्वर शुरू करने के लिए Status के बगल में टॉगल ऑन करें, जैसा कि नीचे दी गई छवि में है। चलने के बाद, आप सर्वर एड्रेस कॉपी कर सकते हैं और एक सरल curl रिक्वेस्ट से टेस्ट कर सकते हैं: 

curl http://127.0.0.1:1234/v1/models

यदि सब कुछ ठीक से सेट है, तो आपको उपलब्ध मॉडल की सूची वाला एक JSON रिस्पॉन्स दिखाई देगा।

Python से कनेक्ट करना

एक बार आपका लोकल सर्वर चल रहा हो, तो आप इसे किसी भी अन्य API की तरह ट्रीट कर सकते हैं। एकमात्र अंतर यह है कि OpenAI के सर्वरों को कॉल करने के बजाय, आप अपनी ही मशीन को कॉल कर रहे हैं।

यहाँ एक सरल उदाहरण है:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")

response = client.chat.completions.create(
    model="local-model",
    messages=[
        {"role": "user", "content": "Explain how local LLMs work"}
    ],
)

print(response.choices[0].message.content)

यहाँ क्या हो रहा है:

• base_url कोड को OpenAI के बजाय आपके लोकल LM Studio सर्वर का उपयोग करने को बताता है

• api_key कुछ भी हो सकता है (LM Studio इसे अनिवार्य नहीं करता)

• model उस मॉडल को संदर्भित करता है जिसे आपने LM Studio में लोड किया है

• messages आपका प्रॉम्प्ट है

जब आप इसे चलाते हैं, तो आपकी रिक्वेस्ट “localhost:1234” पर जाती है, मॉडल इसे प्रोसेस करता है, और आपको किसी भी API कॉल की तरह रिस्पॉन्स वापस मिल जाता है। यह काम करता है क्योंकि LM Studio OpenAI API फ़ॉर्मैट का पालन करता है। 

निष्कर्ष

LM Studio आपको लोकल रूप से LLMs के साथ काम करने के लिए एक साफ़, व्यावहारिक इंटरफ़ेस देता है, और आप पूरे वातावरण को नियंत्रित कर सकते हैं। आप मॉडल चुन सकते हैं, सेटिंग्स कॉन्फ़िगर कर सकते हैं, उससे चैट कर सकते हैं, और यहाँ तक कि इसे लोकल API सर्वर के रूप में चलाने के लिए सेटअप का विस्तार भी कर सकते हैं।

खास बात यह है कि बड़े भाषा मॉडल्स को लोकल रूप से चलाने में पहले बहुत सेटअप और टूलिंग लगती थी। LM Studio इसे कुछ ऐसा बना देता है जो एक सामान्य डेस्कटॉप ऐप को इंस्टॉल और उपयोग करने जैसा महसूस होता है।

यदि आप इसे आगे बढ़ाना चाहते हैं, तो अगला कदम है इन मॉडलों को वास्तविक वर्कफ़्लोज़ में एकीकृत करना सीखना। आप Working with the OpenAI API जैसे कोर्स या व्यापक AI fundamentals ट्रैक्स का पता लगा सकते हैं ताकि यह समझ सकें कि प्रॉम्प्ट्स को कैसे स्ट्रक्चर करें, एप्लिकेशन बनाएं, और मॉडलों के साथ प्रभावी ढंग से काम करें।