Hermes Agent के साथ Mythos-एन्हैंस्ड Qwen मॉडल को लोकली चलाएँ

Qwythos-9B-Claude-Mythos-5-1M एक 9B ओपन-वेट रीजनिंग मॉडल है, जो Qwen3.5-9B पर आधारित है और Claude Mythos और Fable रीजनिंग ट्रेसेज़ पर प्रशिक्षित है। 

यह मज़बूत तर्कशक्ति और टूल-यूज़ क्षमताओं को 1M-टोकन कॉन्टेक्स्ट विंडो, नेटिव फ़ंक्शन कॉलिंग, और GGUF क्वांटाइज़ेशन के जरिए प्रैक्टिकल लोकल डिप्लॉयमेंट के साथ जोड़ता है—यही इसकी खासियत है। 

MTP वर्ज़न, हाल के llama.cpp बिल्ड्स में मल्टी-टोकन प्रेडिक्शन और स्पेकुलेटिव डिकोडिंग को भी सपोर्ट करता है, जिससे लोकल एजेंट वर्कफ़्लो के लिए जनरेशन स्पीड बेहतर होती है। 

स्रोत: empero-ai (Empero) 

इस गाइड में, मैं आपको दिखाऊँगा कि Qwythos-9B MTP Q6_K GGUF को लोकली llama.cpp के साथ कैसे चलाएँ और उसे टर्मिनल, ब्राउज़र और Discord में Hermes Agent से कैसे कनेक्ट करें। 

आप मॉडल डाउनलोड करेंगे, एक OpenAI-कम्पैटिबल लोकल एंडपॉइंट लॉन्च करेंगे, Hermes को उसे उपयोग करने के लिए कॉन्फ़िगर करेंगे, Discord एक्सेस के लिए Hermes Messaging Gateway सेटअप करेंगे, और Hermes WebUI तैयार करेंगे।

1. लोकल AI इंफ़रेंस के लिए llama.cpp इंस्टॉल करें

इस सेटअप के लिए, मैं RTX 5060 Ti (16 GB VRAM) इस्तेमाल कर रहा/रही हूँ। Qwythos 9B Q6_K MTP क्वांट इस GPU पर लोकली चल सकता है, हालाँकि उपयोगी कॉन्टेक्स्ट लंबाई उपलब्ध VRAM और KV-cache सेटिंग्स पर निर्भर करेगी।

ऑफिशियल इंस्टॉलर से नवीनतम llama.cpp बिल्ड इंस्टॉल करें:

curl -LsSf https://llama.app/install.sh | sh

llama.cpp बाइनरीज़ को अपने शेल पाथ में जोड़ें और टर्मिनल रीस्टार्ट करें:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

सुनिश्चित करें कि इंस्टॉलेशन सफल रहा:

llama help

2. Qwythos 9B MTP GGUF मॉडल डाउनलोड करें

Hugging Face CLI और hf-xet इंस्टॉल करें, जो Xet स्टोरेज का उपयोग करने वाले रिपॉज़िटरीज़ के लिए डाउनलोड तेज़ कर सकता है:

pip install -U "huggingface_hub[cli]" hf-xet

मॉडल फ़ाइलों के लिए एक फ़ोल्डर बनाएँ:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

डेडिकेटेड GPU वाले अधिकतर लैपटॉप में लगभग 6–8 GB VRAM होती है, इसलिए ऐसे सिस्टम पर Q4 MTP क्वांट अधिक व्यावहारिक विकल्प है। यह कम VRAM उपयोग करता है, जबकि स्पेकुलेटिव डिकोडिंग के लिए आवश्यक MTP प्रेडिक्शन हेड उपलब्ध कराता है।

मैं RTX 5060 Ti के साथ 16 GB VRAM उपयोग कर रहा/रही हूँ, जो मुझे उच्च-गुणवत्ता वाले Q6_K क्वांट चलाने और बड़े कॉन्टेक्स्ट विंडो के साथ प्रयोग करने की अधिक गुंजाइश देता है।

हाई-परफ़ॉर्मेंस ट्रांसफ़र सक्षम करें, फिर Q6_K MTP क्वांट डाउनलोड करें:

export HF_XET_HIGH_PERFORMANCE=1

6-बिट Qwythos मॉडल का GGUF फ़ाइल डाउनलोड करें:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

यह Q6_K MTP फ़ाइल Qwythos का उच्च-गुणवत्ता वाला क्वांटाइज़्ड वर्ज़न है, जिसमें स्पेकुलेटिव डिकोडिंग के लिए आवश्यक मल्टी-टोकन प्रेडिक्शन हेड शामिल है। 

3. लोकल llama.cpp सर्वर शुरू करें

एक नया टर्मिनल खोलें और उसे उस फ़ोल्डर की ओर पॉइंट करें जहाँ आपने मॉडल डाउनलोड किया है:

MODEL_DIR="/workspace/qwythos"

फिर Qwythos MTP मॉडल के साथ llama.cpp शुरू करें:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

सबसे महत्वपूर्ण सेटिंग्स हैं --n-gpu-layers all और --ctx-size 100000। पहली सेटिंग पूरे मॉडल को आपके GPU पर ऑफ़लोड करती है, जिससे इंफ़रेंस बहुत तेज़ होता है, जबकि दूसरी Qwythos को 100K-टोकन की बड़ी कॉन्टेक्स्ट विंडो देती है। बड़े कॉन्टेक्स्ट विंडो के लिए अधिक VRAM चाहिए होती है, इसलिए सीमित मेमोरी वाले GPUs पर इसे 32768 या उससे कम रखें।

Qwythos मल्टी-टोकन प्रेडिक्शन का उपयोग करता है, इसलिए इस MTP मॉडल के लिए --spec-type draft-mtp आवश्यक है। --spec-draft-n-max 6 सेटिंग llama.cpp को अधिकतम छह टोकन आगे तक अनुमान लगाने देती है, जिससे जनरेशन स्पीड बेहतर हो सकती है—खासकर कोडिंग जैसे स्ट्रक्चर्ड टास्क में।

--flash-attn on अटेंशन एफिशिएंसी बढ़ाता है, जबकि Q8 KV-cache सेटिंग्स लंबे प्रॉम्प्ट्स के लिए गुणवत्ता बनाए रखने में मदद करती हैं। --temp, --top-p और --top-k विकल्प रेस्पॉन्स की क्रिएटिविटी को नियंत्रित करते हैं; ये वैल्यूज़ कोडिंग और एजेंट टास्क के लिए संतुलित परिणाम देती हैं।

आपका लोकल OpenAI-कम्पैटिबल एंडपॉइंट यहाँ उपलब्ध होगा:

http://127.0.0.1:8910/v1

आप यह URL http://localhost:8910 ब्राउज़र में भी पेस्ट कर सकते हैं ताकि llama.cpp वेब इंटरफ़ेस खुल जाए और आप मॉडल को सीधे टेस्ट कर सकें। Hermes से कनेक्ट करने से पहले रेस्पॉन्स जल्दी जाँचने में यह उपयोगी है।

एक बेसिक टेस्ट के लिए, मैंने Qwythos से एक रैंडम मज़ेदार तथ्य साझा करने को कहा। इसने Milky Way से जुड़ा तथ्य दिया और औसतन लगभग 64 टोकन प्रति सेकंड की रफ़्तार से जनरेट किया।

फिर मैंने इससे एक पूरा HTML पोर्टफ़ोलियो वेबसाइट बनाने को कहा। 

कोडिंग के दौरान, जनरेशन स्पीड लगभग 102 टोकन प्रति सेकंड तक बढ़ गई—संभवतः इसलिए कि MTP मॉडल स्ट्रक्चर्ड कोड में एक साथ कई संभावित अगले टोकन अधिक कुशलता से अनुमान लगा सकता है।

अंतिम परिणाम एक पॉलिश, काम करने वाली पोर्टफ़ोलियो वेबसाइट थी—मज़बूत लेआउट और साफ़-सुथरी स्टाइलिंग के साथ। लोकली चल रहे 9B मॉडल के लिए आउटपुट क्वालिटी वाकई प्रभावशाली थी।

4. Hermes Agent इंस्टॉल और कॉन्फ़िगर करें

एक और टर्मिनल खोलें और Hermes Agent इंस्टॉल करें:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

सेटअप के दौरान, Full Setup चुनें ताकि आप कस्टम लोकल एंडपॉइंट कॉन्फ़िगर कर सकें। 

फिर Custom endpoint चुनें और अपना llama.cpp सर्वर एड्रेस दर्ज करें:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes को एंडपॉइंट वेरिफ़ाई कर लेना चाहिए और llama.cpp से चल रहे Qwythos मॉडल को डिटेक्ट करना चाहिए। 

API कम्पैटिबिलिटी मोड के लिए, डिफ़ॉल्ट Auto-detect विकल्प ही रखें। यह llama.cpp जैसे मानक OpenAI-कम्पैटिबल एंडपॉइंट्स के साथ अच्छी तरह काम करता है।

अगला, टर्मिनल बैकएंड के रूप में Local चुनें। 

इससे Hermes सीधे आपकी मशीन पर चलता है और उस फ़ोल्डर तक पहुँच सकता है जहाँ से आप उसे लॉन्च करते हैं। 

यदि आप अभी मैसेजिंग गेटवे कॉन्फ़िगर करना चाहते हैं, तो प्लेटफ़ॉर्म सेटअप के दौरान Discord भी चुन सकते हैं, लेकिन आप इसे स्किप करके बाद में जोड़ सकते हैं।

टूल्स चुनते समय, अपने वर्कफ़्लो के अनुसार ज़रूरी टूल सक्षम करें। 

कोडिंग टास्क के लिए मुख्य टूल हैं: File Operations, Terminal & Processes, Code Execution, और वैकल्पिक रूप से Web Search & Scraping। 

इसके बाद Hermes इंस्टॉलेशन पूरा करेगा और अपनी कॉन्फ़िगरेशन ~/.hermes/ में सेव करेगा।

यदि आप किसी API सेवा को बाद में कॉन्फ़िगर करते हैं, तो उसकी API कुंजी को कमांड या कॉन्फ़िग फ़ाइल में सीधे जोड़ने के बजाय एक environment variable के रूप में स्टोर करें। 

उदाहरण के लिए, OpenAI और Tavily के लिए:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

अब Hermes तैयार है।

5. AI कोडिंग के लिए टर्मिनल में Hermes Agent चलाएँ

उस फ़ोल्डर में जाएँ जिसमें वह प्रोजेक्ट है जिस पर आप चाहते हैं कि Hermes काम करे। 

इस उदाहरण के लिए, मैंने एक नया वर्कस्पेस बनाया:

mkdir /workspace/nonus
cd /workspace/nonus

फिर Hermes लॉन्च करें:

hermes

Hermes सीधे आपके प्रोजेक्ट फ़ोल्डर के भीतर खुलता है और पहले कॉन्फ़िगर किए गए llama.cpp एंडपॉइंट के ज़रिए लोकल Qwythos मॉडल से कनेक्ट होता है। 

यह फ़ाइलें जाँच सकता है, कोड लिख सकता है, टर्मिनल कमांड चला सकता है, और वे टूल्स उपयोग कर सकता है जिन्हें आपने सेटअप के दौरान सक्षम किया था।

मैंने पहले Hermes से HTML इंटरफ़ेस के साथ एक छोटा Flask स्टॉक-प्रिडिक्शन ऐप बनाने को कहा। 

इसने काम की योजना बनाई, आवश्यक फ़ाइलें बनाईं, और स्पष्ट रन निर्देश लौटाए—जिसमें Alpha Vantage API कुंजी कहाँ जोड़नी है, यह भी शामिल था। 

मैंने इसे एक सरल रिक्वेस्ट से भी टेस्ट किया: एक खेलने योग्य Snake गेम बनाना। 

Hermes ने Python गेम फ़ाइल जनरेट की, कंट्रोल्स और रिस्टार्ट लॉजिक जोड़ा, और उसे लोकली चलाने के लिए कमांड दी। 

बेहतर परिणामों के लिए, Hermes को उसी प्रोजेक्ट डायरेक्टरी के भीतर रखें जिसे आप एडिट कराना चाहते हैं। 

इससे उसे उपलब्ध फ़ाइलों की समझ रहती है और वह आपके सिस्टम पर कहीं और असंबंधित फ़ाइलें बनाने से बचता है।

6. Messaging Gateway के जरिए Hermes Agent को Discord से जोड़ें

Hermes Gateway आपको Discord के ज़रिए अपने लोकल Qwythos एजेंट से चैट करने देता है। 

कनेक्ट होने के बाद, आप एजेंट को डायरेक्ट मैसेज भेज सकते हैं या किसी सर्वर चैनल में उसे मेंशन कर सकते हैं—जबकि वह आपकी मशीन पर चल रहे लोकल llama.cpp एंडपॉइंट का ही उपयोग करता रहता है।

Discord बॉट बनाएँ

Discord Developer Portal खोलें और एक New Application बनाएँ। 

इसे एक नाम दें, जैसे OLO-Bot, फिर बाएँ साइडबार में Bot सेक्शन खोलें। Discord एप्लिकेशन के लिए एक बॉट यूज़र बनाता है, जिसे Hermes आपके सर्वर से कनेक्ट होने के लिए उपयोग करेगा। 

Privileged Gateway Intents के अंतर्गत Message Content Intent और Server Members Intent सक्षम करें, फिर बदलाव सेव करें। 

Message Content से बॉट आपके संदेश पढ़ सकता है, जबकि Server Members Hermes को यूज़र की पहचान और अनुमति देने में मदद करता है। 

Presence Intent तभी सक्षम करें जब Hermes इंटेंट-संबंधित त्रुटि रिपोर्ट करे या जब आप presence या वॉइस फ़ीचर्स का उपयोग करने की योजना बना रहे हों। 

बॉट टोकन कॉपी करें

अब भी Bot पेज पर, बॉट टोकन कॉपी करें या रीसेट करें और उसे निजी रूप से सुरक्षित रखें। 

इसे स्क्रीनशॉट्स में पेस्ट न करें, GitHub पर कमिट न करें, या किसी से साझा न करें। 

एक बॉट टोकन का उपयोग Discord बॉट को नियंत्रित करने के लिए किया जा सकता है।

बॉट को अपने सर्वर में आमंत्रित करें

Discord Developer Portal में Installation खोलें। Guild Install के अंतर्गत, bot और applications.commands स्कोप्स सक्षम करें। 

फिर बॉट को आवश्यक परमिशन्स दें, जिनमें शामिल हैं:

• View Channels
• Send Messages
• Read Message History
• Embed Links
• Attach Files
• Send Messages in Threads
• Add Reactions

जनरेटेड इंस्टॉलेशन लिंक कॉपी करें, उसे ब्राउज़र में खोलें, अपना Discord सर्वर चुनें, और बॉट को अधिकृत करें। 

Discord बॉट्स को सर्वर्स में OAuth2 URL के माध्यम से इंस्टॉल किया जाता है—bot स्कोप और आपके द्वारा चुनी गई परमिशन्स के साथ। 

अपना Discord User ID खोजें

Discord में User Settings → Advanced खोलें और Developer Mode सक्षम करें। 

अपने यूज़रनेम या प्रोफ़ाइल पिक्चर पर राइट-क्लिक करें और Copy User ID चुनें।

Hermes इस संख्यात्मक ID को allowlist एंट्री के रूप में उपयोग करता है। 

यह महत्वपूर्ण है, क्योंकि बॉट आपका यूज़रनेम पहचान सकता है लेकिन जब तक आपकी संख्यात्मक Discord ID नहीं जोड़ी जाती, वह आपके संदेशों को अस्वीकार कर सकता है।

Hermes गेटवे कॉन्फ़िगर करें

इंटरैक्टिव सेटअप कमांड चलाएँ:

hermes gateway setup

प्रॉम्प्ट आने पर Discord चुनें, फिर अपना बॉट टोकन और Discord यूज़र ID दर्ज करें। 

Hermes मैसेजिंग प्लेटफ़ॉर्म कॉन्फ़िगर करने के लिए यह सेटअप विज़ार्ड प्रदान करता है और सेटअप के बाद गेटवे शुरू या रीस्टार्ट कर सकता है।

आप Hermes की environment फ़ाइल में वैल्यूज़ मैन्युअली भी जोड़ सकते हैं:

nano ~/.hermes/.env

अपना टोकन और यूज़र ID जोड़ें:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

गेटवे शुरू करें

Hermes Gateway शुरू करें:

hermes gateway

कुछ ही सेकंड में आपका बॉट Discord में ऑनलाइन दिखना चाहिए। 

फिर आप उसे डायरेक्ट मैसेज भेज सकते हैं या सर्वर चैनल में मेंशन कर सकते हैं:

@YourBotName Inspect this project and explain what it does.

7. ब्राउज़र में Hermes चलाएँ

Hermes में एक ब्राउज़र डैशबोर्ड भी शामिल है, जो आपको अपने लोकल एजेंट से चैट करने, सेशंस की समीक्षा करने, लॉग्स जाँचने, स्किल्स मैनेज करने और फ़ाइलें ब्राउज़ करने के लिए विज़ुअल इंटरफ़ेस देता है। 

यह उसी लोकल Qwythos मॉडल और llama.cpp एंडपॉइंट का उपयोग करता है जिसे आपने पहले कॉन्फ़िगर किया था।

पहले, Hermes पैकेज डायरेक्टरी में जाएँ:

cd ~/.hermes/hermes-agent

यदि वह फ़ोल्डर मौजूद नहीं है, तो सिस्टम-वाइड इंस्टॉलेशन पाथ आज़माएँ:

cd /usr/local/lib/hermes-agent

वैकल्पिक डैशबोर्ड और टर्मिनल डिपेंडेंसीज़ इंस्टॉल करें:

uv pip install -e ".[web,pty]"

फिर डैशबोर्ड शुरू करें:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

क्योंकि --host 0.0.0.0 डैशबोर्ड को localhost से परे भी सुलभ बना देता है, Hermes आपसे ऑथेंटिकेशन सेट करने को कहेगा। 

Username & password चुनें, फिर डैशबोर्ड के लिए एक यूज़रनेम और मज़बूत पासवर्ड बनाएँ।

सर्वर शुरू होने के बाद, अपने ब्राउज़र में यह पता खोलें:

http://localhost:9119/login

साइन-इन के बाद, डैशबोर्ड आपको कई उपयोगी क्षेत्रों तक पहुँच देता है। 

Chat टैब ब्राउज़र में वही Hermes टर्मिनल अनुभव चलाता है—लाइव स्ट्रीमिंग रेस्पॉन्स और टूल-कॉल आउटपुट सहित। 

आप इससे किसी प्रोजेक्ट का निरीक्षण कराने, फ़ाइलें एडिट कराने, कमांड चलवाने, या कोई ऐप्लिकेशन बनवाने के लिए कह सकते हैं—टर्मिनल के भीतर रहे बिना।

Sessions पेज आपको पिछले संवादों की समीक्षा करने देता है।

Skills सेक्शन उपलब्ध क्षमताएँ और इंटीग्रेशन दिखाता है। 

आप साइडबार से फ़ाइलें, लॉग्स, मॉडल्स, शेड्यूल्ड जॉब्स, और गेटवे स्टेटस भी देख सकते हैं। 

जब आप अपने लोकल Qwythos एजेंट को मैनेज करने का अधिक विज़ुअल तरीका चाहते हैं, तो यह डैशबोर्ड उपयोगी साबित होता है।

अंतिम विचार

मैं Hermes Agent के बारे में बहुत कुछ सुन रहा/रही था/थी—लोग इसे सबसे सक्षम लोकल एजेंट्स में से एक मानते हैं, OpenClaw से बेहतर—जो पिछले काम को याद रख सकता है, समय के साथ संदर्भ बना सकता है, और प्रोजेक्ट के साथ विकसित हो सकता है। 

Qwythos के साथ इसे टेस्ट करने के बाद, मैं समझ सकता/सकती हूँ कि लोग क्यों उत्साहित हैं। 

सेटअप पॉलिश्ड है, टर्मिनल अनुभव मज़बूत है, और ब्राउज़र डैशबोर्ड, Discord गेटवे, स्किल्स, मेमोरी और टूल इंटीग्रेशन—इसे एक साधारण कोडिंग CLI के बजाय एक पूर्ण एजेंट प्लेटफ़ॉर्म जैसा अहसास कराते हैं।

हालाँकि, मेरा अपना अनुभव थोड़ा अलग रहा। मैं खुद को रोज़मर्रा के सामान्य कोडिंग काम के लिए Hermes का उपयोग करते हुए नहीं देखता/देखती। 

इसमें बहुत से फ़ीचर्स हैं, लेकिन इससे यह मेरे लिए त्वरित एडिट्स, डीबगिंग या छोटे प्रोजेक्ट बनाने जैसे कामों के लिए अपेक्षित से भारी महसूस होता है। 

ऐसे कामों के लिए, मैं अब भी Pi Coding Agent या OpenCode चुनूँगा/चुनूँगी, क्योंकि वे सरल हैं, जल्दी शुरू होते हैं, और मेरे सामान्य वर्कफ़्लो में अधिक स्वाभाविक रूप से फिट होते हैं।

यह कहा जाए तो, मुझे Qwythos मॉडल का उपयोग करना वाकई अच्छा लगा। 

इसे llama.cpp के ज़रिए लोकली चलाना तेज़, प्रतिक्रियाशील और कोडिंग टास्क के लिए आश्चर्यजनक रूप से सक्षम था। 

MTP मॉडल ने भी मज़बूत जनरेशन स्पीड दी—खासकर स्ट्रक्चर्ड कोड बनाते समय। 

जब आपको ब्राउज़र एक्सेस, मैसेजिंग इंटीग्रेशन, टूल्स, मेमोरी और लंबे समय तक चलने वाले प्रोजेक्ट सपोर्ट के साथ अधिक संपूर्ण लोकल एजेंट सिस्टम चाहिए, तब Hermes आज़माने लायक है। 

लेकिन अपने रोज़मर्रा के कोडिंग सेटअप के लिए, Qwythos के साथ Pi Coding Agent या OpenCode—यहीं मैं संभवतः अपना अधिकतर समय बिताऊँगा/बिताऊँगी।