LLM को लोकल में चलाएँ: 6 आसान तरीके

स्थानीय सिस्टम पर बड़े भाषा मॉडल (LLMs) का उपयोग उनकी बेहतर गोपनीयता, नियंत्रण और विश्वसनीयता के कारण तेजी से लोकप्रिय हो रहा है। कई बार ये मॉडल ChatGPT से भी अधिक सटीक और तेज़ हो सकते हैं।

हम Windows 11 पर GPU एक्सेलेरेशन के साथ LLMs चलाने के सात तरीके दिखाएँगे, लेकिन जिन तरीकों को हम कवर करेंगे वे macOS और Linux पर भी काम करते हैं।

यदि आप LLMs को बिलकुल शुरू से सीखना चाहते हैं, तो Large Learning Models (LLMs) पर यह कोर्स एक अच्छा शुरुआती बिंदु है।

आइए अपने पहले LLM फ्रेमवर्क से शुरुआत करते हैं।

1. Ollama

Ollama Llama 4, Llama 4, Mistral 3, और Gemma 3 जैसे LLMs को लोकल में चलाने के लिए प्रमुख इकोसिस्टम है।

इसके अलावा, कई एप्लिकेशंस Ollama इंटीग्रेशन स्वीकार करते हैं, जो हमारी लोकल मशीन पर भाषा मॉडलों तक तेज़ और आसान पहुँच के लिए इसे उत्कृष्ट टूल बनाता है।

Ollama अब OpenAI API के साथ पूर्ण संगतता प्रदान करता है, जिससे यह OpenAI की क्लाउड सेवा का ड्रॉप-इन प्रतिस्थापन बन जाता है। हाल के फीचर्स में फ़ंक्शन कॉलिंग, स्ट्रक्चर्ड JSON आउटपुट, विज़न मॉडलों के लिए Flash Attention, और Apple Silicon तथा AMD GPUs पर 30% तेज़ इन्फ़रेंस शामिल हैं।

A. Ollama इंस्टॉल करना

हम डाउनलोड पेज से Ollama डाउनलोड कर सकते हैं।

इंस्टॉल करने (डिफ़ॉल्ट सेटिंग्स के साथ) के बाद, सिस्टम ट्रे में Ollama का लोगो दिखाई देगा।

B. Ollama चलाना

हम निम्न टर्मिनल कमांड टाइप करके Llama 3 मॉडल डाउनलोड कर सकते हैं:

$ ollama run llama3संचालित द्वारा

Llama 3 अब उपयोग के लिए तैयार है! नीचे, अन्य LLMs का उपयोग करने के लिए आवश्यक कमांड्स की सूची दिखाई गई है:

C. कस्टम मॉडल चलाना

उन मॉडलों तक पहुँचने के लिए जो पहले से डाउनलोड किए गए हैं और llama.cpp फ़ोल्डर में उपलब्ध हैं, हमें ये करना होगा:

• cd कमांड का उपयोग करके llama.cpp फ़ोल्डर में जाएँ।

$ cd C:/Repository/GitHub/llama.cppसंचालित द्वारा

• Modelfile नाम की फ़ाइल बनाएँ और इसमें यह लाइन जोड़ें: "FROM ./Nous-Hermes-2-Mistral-7B-DPO.Q4_0.gguf"।

$ echo "FROM ./Nous-Hermes-2-Mistral-7B-DPO.Q4_0.gguf" > Modelfileसंचालित द्वारा

• मॉडल के नाम को देते हुए मॉडल को बिल्ड करें।

$ ollama create NHM-7b -f Modelfileसंचालित द्वारा

• NHM-7b मॉडल चलाएँ।

$ ollama run NHM-7bसंचालित द्वारा

• इसे किसी अन्य चैट एप्लिकेशन की तरह उपयोग करें।

इस विधि से, हम Hugging Face से किसी भी .gguf एक्सटेंशन वाले LLM को डाउनलोड कर सकते हैं और टर्मिनल में उपयोग कर सकते हैं। यदि आप और जानना चाहते हैं, तो Working with Hugging Face पर यह कोर्स देखें।

2. LM Studio

LM Studio एक ऑल-इन-वन वर्कबेंच है जो LLMs को लोकल में चलाने के लिए है और नैटिव रूप से फाइन-ट्यूनिंग प्रदान करता है। इसके अलावा, यह मल्टीपल कॉन्करंट मॉडल्स, speculative decoding (1.5x-3x तेज़ टोकन), और डॉक्यूमेंट RAG इंटीग्रेशन का समर्थन करता है।

A. इंस्टॉलेशन

हम LM Studio के होम पेज से इंस्टॉलर डाउनलोड कर सकते हैं।

डाउनलोड पूरा होने के बाद, हम डिफ़ॉल्ट विकल्पों के साथ ऐप इंस्टॉल करते हैं।

अंत में, हम LM Studio लॉन्च करते हैं!

B. मॉडल डाउनलोड करना

हम सर्च फ़ंक्शन का उपयोग करके Hugging Face से कोई भी मॉडल डाउनलोड कर सकते हैं।

हमारे मामले में, हम सबसे छोटा मॉडल, Google का Gemma 2B Instruct, डाउनलोड करेंगे।

C. प्रतिक्रिया जनरेट करना

हम ऊपर के ड्रॉप-डाउन मेनू से डाउनलोड किया गया मॉडल चुन सकते हैं और सामान्य रूप से उससे चैट कर सकते हैं। LM Studio, GPT4All से अधिक कस्टमाइज़ेशन विकल्प प्रदान करता है।

D. लोकल इन्फ़रेंस सर्वर

GPT4All की तरह, हम मॉडल को कस्टमाइज़ कर सकते हैं और एक क्लिक में API सर्वर लॉन्च कर सकते हैं। मॉडल तक पहुँचने के लिए हम OpenAI API Python पैकेज, CURL, या किसी भी एप्लिकेशन के साथ डायरेक्ट इंटीग्रेशन का उपयोग कर सकते हैं।

E. एक से अधिक मॉडल का उपयोग

LM Studio की प्रमुख विशेषता यह है कि यह एक साथ कई मॉडलों को चलाने और सर्व करने का विकल्प देता है। इससे उपयोगकर्ता विभिन्न मॉडलों के परिणामों की तुलना कर सकते हैं और उन्हें कई एप्लिकेशंस में उपयोग कर सकते हैं। एक से अधिक मॉडल सेशन चलाने के लिए, हमें उच्च GPU VRAM की आवश्यकता होगी।

फाइन-ट्यूनिंग, संदर्भ-सचेत और कस्टम प्रतिक्रियाएँ उत्पन्न करने का एक और तरीका है। आप ट्यूटोरियल Fine Tuning Google Gemma: Enhancing LLMs with Customized Instructions का पालन करके अपने Google Gemma मॉडल को फाइन-ट्यून करना सीख सकते हैं। आप GPUs/TPUs पर इन्फ़रेंस चलाना और रोल-प्ले डेटासेट पर नवीनतम Gemma 7b-it मॉडल को फाइन-ट्यून करना सीखेंगे।

3. vLLM

vLLM उत्पादन स्तर पर LLMs चलाने के लिए एक ओपन-सोर्स इन्फ़रेंस इंजन है। Ollama या LM Studio के विपरीत, vLLM मल्टी-यूज़र परिदृश्यों में थ्रूपुट और लेटेंसी को प्राथमिकता देता है।

इसका मुख्य नवाचार PagedAttention है, जो GPU मेमोरी को वर्चुअल मेमोरी की तरह प्रबंधित करता है—बड़े ब्लॉक्स आरक्षित करने के बजाय छोटे पेजों का पुन: उपयोग—और इसे continuous batching के साथ संयोजित करता है। वास्तविक बेंचमार्क दिखाते हैं कि vLLM Llama 70B पर 793 टोकन प्रति सेकंड देता है, जबकि concurrent लोड में Ollama 41 टोकन प्रति सेकंड देता है।

vLLM GPUs के पार टेन्सर पैरेललिज़्म, प्रीफिक्स कैशिंग, और एक साथ कई फाइन-ट्यून वेरिएंट सर्व करने के लिए multi-LoRA batching का भी समर्थन करता है।

A. इंस्टॉलेशन

Mac और Linux पर, vLLM को आसानी से pip से इंस्टॉल किया जा सकता है।

Linux पर CUDA 11.8+ के साथ:

pip install vllmसंचालित द्वारा

Apple Silicon वाले macOS पर:

python3.11 -m venv vllm_env
source vllm_env/bin/activate
pip install vllmसंचालित द्वारा

इस समय Windows के लिए आधिकारिक सपोर्ट नहीं है। हालाँकि, WSL2 या Docker के जरिए वर्कअराउंड मौजूद हैं।

B. मॉडल चलाना

OpenAI-कंपैटिबल सर्वर शुरू करें:

vllm serve meta-llama/Llama-2-7b-hf --port 8000 --gpu-memory-utilization 0.9संचालित द्वारा

मल्टीपल GPUs पर 70B मॉडलों के लिए:

vllm serve meta-llama/Llama-2-70b-hf --tensor-parallel-size 2 --port 8000संचालित द्वारा

Python में बैच प्रोसेसिंग के लिए:

from vllm import LLM, SamplingParams
llm = LLM(model="meta-llama/Llama-2-7b-hf", dtype="bfloat16")
sampling_params = SamplingParams(temperature=0.8, max_tokens=256)
outputs = llm.generate(["Write hello world", "Explain AI"], sampling_params)संचालित द्वारा

C. इन्फ़रेंस चलाना

क्वेरी करने के लिए, OpenAI SDK का उपयोग करें:

from openai import OpenAI

client = OpenAI(base_url='http://localhost:8000/v1', api_key='any')
response = client.chat.completions.create(
    model='meta-llama/Llama-2-7b-hf',
    messages=[{'role': 'user', 'content': 'What is ML?'}],
    max_tokens=200
)
print(response.choices[0].message.content)संचालित द्वारा

एक अन्य विकल्प इसे cURL के माध्यम से चलाना है:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "meta-llama/Llama-2-7b-hf", "messages": [{"role": "user", "content": "Hello"}]}'संचालित द्वारा

सैकड़ों concurrent यूज़र्स को सर्व करने वाले प्रोडक्शन APIs के लिए vLLM चुनें; लोकल डेवलपमेंट के लिए Ollama का उपयोग करें।

4. Jan

सबसे लोकप्रिय और आकर्षक लोकल LLM एप्लिकेशंस में से एक है Jan। यह ChatGPT का एक privacy-first विकल्प है।

A. इंस्टॉलेशन

हम Jan.ai से इंस्टॉलर डाउनलोड कर सकते हैं।

डिफ़ॉल्ट सेटिंग्स के साथ Jan एप्लिकेशन इंस्टॉल करने के बाद, हम ऐप लॉन्च करने के लिए तैयार हैं।

B. मॉडल इंपोर्ट करना

जब हमने GPT4All और LM Studio को कवर किया, तब हमने पहले ही दो मॉडल डाउनलोड कर लिए थे। एक और मॉडल डाउनलोड करने के बजाय, हम मॉडल पेज पर जाकर और Import Model बटन पर क्लिक करके पहले से मौजूद मॉडलों को इंपोर्ट करेंगे।

फिर, हम एप्लिकेशंस डायरेक्टरी में जाते हैं, GPT4All और LM Studio के मॉडल चुनते हैं और प्रत्येक को इंपोर्ट करते हैं।

• GPT4All: "C:/Users/<user_name>/AppData/Local/nomic.ai/GPT4All/"
• LM Studio: "C:/Users/<user_name>/.cache/lm-studio/models"

C. लोकल मॉडलों तक पहुँचना

लोकल मॉडलों तक पहुँचने के लिए, हम चैट यूज़र इंटरफ़ेस पर जाते हैं और दाएँ पैनल में मॉडल सेक्शन खोलते हैं।

हम देखते हैं कि हमारे इंपोर्ट किए गए मॉडल पहले से मौजूद हैं। हम जिसको चाहें चुन सकते हैं और तुरंत उपयोग शुरू कर सकते हैं!

D. प्रतिक्रिया जनरेट करना

प्रतिक्रिया जनरेशन बहुत तेज़ है। यूज़र इंटरफ़ेस स्वाभाविक लगता है, ChatGPT जैसा, और आपके लैपटॉप या पीसी को धीमा नहीं करता।

Jan की अनोखी विशेषता यह है कि यह हमें एक्सटेंशंस इंस्टॉल करने और OpenAI, MistralAI, Groq, TensorRT, और Triton RT के प्रोपाइटरी मॉडलों का उपयोग करने की अनुमति देता है।

E. लोकल API सर्वर

LM Studio की तरह, हम Jan को लोकल API सर्वर के रूप में भी उपयोग कर सकते हैं। यह अधिक लॉगिंग क्षमताएँ और LLM प्रतिक्रिया पर नियंत्रण प्रदान करता है और OpenAI, Mistral AI, Groq, Claude, और DeepSeek को सेटिंग्स में सरल API की सेटअप के माध्यम से इंटीग्रेट करता है।

5. llama.cpp

एक और लोकप्रिय ओपन-सोर्स LLM फ्रेमवर्क है llama.cpp। यह शुद्ध C/C++ में लिखा गया है, जो इसे तेज़ और कुशल बनाता है।

कई लोकल और वेब-आधारित AI एप्लिकेशंस llama.cpp पर आधारित हैं। अतः, इसे लोकल में उपयोग करना सीखना आपको यह समझने में बढ़त देगा कि अन्य LLM एप्लिकेशंस पर्दे के पीछे कैसे काम करते हैं।

llama.cpp को और आगे ले जाने वाले बिल्ड के लिए हमारा गाइड देखें: RTX 5090 पर लोकल में Qwen3.8-27B चलाना, Blackwell-नेेटिव NVFP4 और MTP speculative decoding के साथ।

A. llama.cpp डाउनलोड करना

सबसे पहले, हमें शेल में cd कमांड का उपयोग करके अपने प्रोजेक्ट डायरेक्टरी में जाना होगा—आप टर्मिनल के बारे में और अधिक इस Introduction to Shell कोर्स में सीख सकते हैं।

फिर, हम नीचे दिए गए कमांड का उपयोग करके GitHub सर्वर से सभी फ़ाइलें क्लोन करते हैं:

$ git clone --depth 1 https://github.com/ggerganov/llama.cpp.gitसंचालित द्वारा

B. Windows पर MakeFile का उपयोग

Linux और macOS में make कमांड लाइन टूल डिफ़ॉल्ट रूप से उपलब्ध है। Windows के लिए, हालांकि, हमें निम्न चरण अपनाने होंगे:

• Windows के लिए w64devkit का नवीनतम w64devkit Fortran संस्करण डाउनलोड करें।
• w64devkit को अपनी लोकल डायरेक्टरी में एक्सट्रैक्ट करें।
• मुख्य फ़ोल्डर में, हमें w64devkit.exe फ़ाइल ढूँढकर उसे रन करना है।
• $ cd C:/Repository/GitHub/llama.cpp कमांड का उपयोग करके llama.cpp फ़ोल्डर तक पहुँचें।
• $ make टाइप करें और Enter दबाएँ ताकि llama.cpp इंस्टॉल हो जाए।

B. llama.cpp का WebUI सर्वर शुरू करना

इंस्टॉलेशन पूरा करने के बाद, हम नीचे दिया गया कमांड टाइप करके llama.cpp वेब UI सर्वर चलाते हैं। (नोट: हमने GPT4All फ़ोल्डर से मॉडल फ़ाइल को llama.cpp फ़ोल्डर में कॉपी किया है ताकि हम मॉडल तक आसानी से पहुँच सकें)।

$ ./server -m Nous-Hermes-2-Mistral-7B-DPO.Q4_0.gguf -ngl 27 -c 2048 --port 6589संचालित द्वारा

वेब सर्वर http://127.0.0.1:6589/ पर चल रहा है। आप इस URL को कॉपी कर अपने ब्राउज़र में पेस्ट कर सकते हैं ताकि llama.cpp वेब इंटरफ़ेस तक पहुँच सकें।

चैटबॉट के साथ इंटरैक्ट करने से पहले, हमें सेटिंग्स और मॉडल के पैरामीटर्स को बदलना चाहिए।

यदि आप और सीखना चाहते हैं, तो यह llama.cpp ट्यूटोरियल देखें!

D. प्रतिक्रिया जनरेट करना

प्रतिक्रिया जनरेशन धीमा है क्योंकि हम इसे GPU पर नहीं, CPU पर चला रहे हैं। GPU पर चलाने के लिए हमें llama.cpp का अलग संस्करण इंस्टॉल करना होगा।

$ make LLAMA_CUDA=1संचालित द्वारा

6. llamafile

यदि आपको llama.cpp थोड़ा जटिल लगता है, तो llamafile आज़माएँ। यह फ्रेमवर्क llama.cpp को Cosmopolitan Libc के साथ मिलाकर एक सिंगल-फ़ाइल एग्जिक्यूटेबल में बदलकर डेवलपर्स और एंड-यूज़र्स दोनों के लिए LLMs को सरल बनाता है। यह LLMs से जुड़ी सभी जटिलताओं को हटा देता है और उन्हें अधिक सुलभ बनाता है।

A. मॉडल फ़ाइल डाउनलोड करना

हम llamafile के GitHub रिपोज़िटरी से इच्छित मॉडल फ़ाइल डाउनलोड कर सकते हैं।

हम LLaVA 1.5 डाउनलोड करेंगे क्योंकि यह इमेजेस को भी समझ सकता है।

B. Windows के लिए बदलाव करना

Windows उपयोगकर्ताओं को टर्मिनल में फ़ाइल नामों के अंत में .exe जोड़ना होगा। ऐसा करने के लिए, डाउनलोड की गई फ़ाइल पर राइट-क्लिक करें और Rename चुनें।

C. LlamaFile चलाना

हम पहले टर्मिनल में cd कमांड का उपयोग कर llamafile डायरेक्टरी में जाते हैं। फिर, नीचे दिया गया कमांड चलाकर llama.cpp वेब सर्वर शुरू करते हैं।

$ ./llava-v1.5-7b-q4.llamafile -ngl 9999संचालित द्वारा

वेब सर्वर बिना कुछ इंस्टॉल या कॉन्फ़िगर किए GPU का उपयोग करता है।

यह llama.cpp वेब एप्लिकेशन के साथ डिफ़ॉल्ट वेब ब्राउज़र को ऑटोमैटिक रूप से लॉन्च भी करेगा। यदि यह नहीं होता, तो हम सीधे http://127.0.0.1:8080/ URL का उपयोग कर सकते हैं।

D. प्रतिक्रिया जनरेट करना

मॉडल की कॉन्फ़िगरेशन तय करने के बाद, हम वेब एप्लिकेशन का उपयोग शुरू कर सकते हैं।

llamafile के जरिए llama.cpp चलाना आसान और अधिक कुशल है। हमने 53.18 टोकन/सेकंड की दर से प्रतिक्रिया जनरेट की (llamafile के बिना, दर 10.99 टोकन/सेकंड थी)।

निष्कर्ष

LLMs को लोकल में इंस्टॉल करना और उपयोग करना एक मजेदार और रोमांचक अनुभव हो सकता है। हम नवीनतम ओपन-सोर्स मॉडलों के साथ स्वयं प्रयोग कर सकते हैं, गोपनीयता, नियंत्रण और बेहतर चैट अनुभव का आनंद ले सकते हैं।

LLMs को लोकल में उपयोग करने के व्यावहारिक उपयोग भी हैं, जैसे API सर्वर का उपयोग करके अन्य एप्लिकेशंस के साथ इंटीग्रेशन करना और संदर्भ-सचेत प्रतिक्रियाओं के लिए लोकल फ़ोल्डरों को जोड़ना। कुछ मामलों में, विशेषकर जब गोपनीयता और सुरक्षा महत्वपूर्ण कारक होते हैं, LLMs को लोकल में उपयोग करना आवश्यक होता है।

आप इन संसाधनों के माध्यम से LLMs और AI एप्लिकेशंस बनाना और भी सीख सकते हैं:

• Developing Large Language Models
• Developing LLM Applications with LangChain Course
• How to Build LLM Applications with LangChain Tutorial
• An Introduction to Debugging And Testing LLMs in LangSmith