Draai lokaal een Mythos Enhanced Qwen-model met Hermes Agent

Qwythos-9B-Claude-Mythos-5-1M is een 9B open-weight redeneermodel gebaseerd op Qwen3.5-9B en getraind op Claude Mythos en Fable redeneertraces. 

Het valt op door sterke redeneer- en toolgebruik-capaciteiten te combineren met een 1M-token contextvenster, native function calling en praktische lokale deployment via GGUF-kwantisaties. 

De MTP-versie ondersteunt ook multi-tokenvoorspelling en speculatieve decodering in recente llama.cpp-builds, wat helpt om de generatie­snelheid te verbeteren voor lokale agentworkflows. 

Bron: empero-ai (Empero) 

In deze handleiding laat ik je zien hoe je de Qwythos-9B MTP Q6_K GGUF lokaal draait met llama.cpp en hoe je deze verbindt met Hermes Agent in de terminal, browser en Discord. 

Je downloadt het model, start een lokale OpenAI-compatibele endpoint, configureert Hermes om die te gebruiken, zet de Hermes Messaging Gateway op voor Discord-toegang en zet de Hermes WebUI op.

1. Installeer llama.cpp voor lokale AI-inferentie

Voor deze setup gebruik ik een RTX 5060 Ti met 16 GB VRAM. De Qwythos 9B Q6_K MTP-quant kan lokaal op deze GPU draaien, al hangt de bruikbare contextlengte af van beschikbare VRAM en KV-cache-instellingen.

Installeer de nieuwste llama.cpp-build met de officiële installer:

curl -LsSf https://llama.app/install.sh | sh

Voeg de llama.cpp-binaries toe aan je shellpad en herstart de terminal:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Controleer of de installatie gelukt is:

llama help

2. Download het Qwythos 9B MTP GGUF-model

Installeer de Hugging Face CLI en hf-xet, wat downloads kan versnellen voor repositories die Xet-storage gebruiken:

pip install -U "huggingface_hub[cli]" hf-xet

Maak een map aan voor de modelbestanden:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

De meeste laptops met een dedicated GPU hebben ongeveer 6–8 GB VRAM, dus de Q4 MTP-quant is voor die systemen praktischer. Die gebruikt minder VRAM en geeft je toch de MTP-voorspellingskop die nodig is voor speculatieve decodering.

Ik gebruik een RTX 5060 Ti met 16 GB VRAM, wat me meer ruimte geeft om de hogere kwaliteit Q6_K-quant te draaien en te experimenteren met grotere contextvensters.

Schakel high-performance transfers in en download vervolgens de Q6_K MTP-quant:

export HF_XET_HIGH_PERFORMANCE=1

Download het 6-bit Qwythos model-GGUF-bestand:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

Het Q6_K MTP-bestand is een hogere-kwaliteitskwantisatie van Qwythos die de multi-token-voorspellingskop bevat die nodig is voor speculatieve decodering. 

3. Start de lokale llama.cpp-server

Open een nieuwe terminal en wijs deze naar de map waar je het model hebt gedownload:

MODEL_DIR="/workspace/qwythos"

Start vervolgens llama.cpp met het Qwythos MTP-model:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

De belangrijkste instellingen zijn --n-gpu-layers all en --ctx-size 100000. De eerste offloadt het volledige model naar je GPU voor veel snellere inferentie, terwijl de tweede Qwythos een groot contextvenster van 100K tokens geeft. Grotere contextvensters hebben meer VRAM nodig, dus verlaag dit naar 32768 of minder op GPU's met beperkte geheugenruimte.

Qwythos gebruikt multi-tokenvoorspelling, dus --spec-type draft-mtp is vereist voor dit MTP-model. Met de instelling --spec-draft-n-max 6 kan llama.cpp proberen tot zes tokens vooruit te voorspellen, wat de generatie­snelheid kan verbeteren, vooral bij gestructureerde taken zoals coderen.

--flash-attn on verbetert de efficiëntie van attention, terwijl de Q8 KV-cache-instellingen helpen de kwaliteit te behouden bij langere prompts. De --temp, --top-p en --top-k opties sturen de creativiteit van reacties, met deze waarden als goede balans voor codeer- en agenttaken.

Je lokale OpenAI-compatibele endpoint is beschikbaar op:

http://127.0.0.1:8910/v1

Je kunt deze URL http://localhost:8910 ook in je browser plakken om de llama.cpp-webinterface te openen en het model direct te testen. Handig om snel reacties te checken voordat je het model aan Hermes koppelt.

Voor een basistest vroeg ik Qwythos om een willekeurig leuk feitje te delen. Het antwoordde met een feit over de Melkweg en genereerde gemiddeld zo'n 64 tokens per seconde.

Daarna vroeg ik het om een complete HTML-portfolio­website te bouwen. 

Tijdens het coderen steeg de generatie­snelheid tot ongeveer 102 tokens per seconde, waarschijnlijk omdat het MTP-model in gestructureerde code effectiever meerdere waarschijnlijke volgende tokens kan voorspellen.

Het eindresultaat was een gepolijste, werkende portfoliowebsite met een sterke layout en strakke styling. Voor een lokaal draaiend 9B-model was de outputkwaliteit echt indrukwekkend.

4. Installeer en configureer Hermes Agent

Open een andere terminal en installeer Hermes Agent:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Kies tijdens de setup voor Full Setup zodat je een aangepaste lokale endpoint kunt configureren. 

Selecteer vervolgens Custom endpoint en voer het adres van je llama.cpp-server in:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes zou de endpoint moeten verifiëren en het Qwythos-model detecteren dat via llama.cpp draait. 

Voor API-compatibiliteitsmodus kun je de standaardoptie Auto-detect aangevinkt laten. Dit werkt goed met standaard OpenAI-compatibele endpoints zoals llama.cpp.

Kies daarna Local als terminal-backend. 

Zo kan Hermes rechtstreeks op je machine draaien en toegang krijgen tot de map waarin je het start. 

Je kunt tijdens de platformsetup ook Discord selecteren als je de messaging gateway nu wilt configureren, maar je kunt dit overslaan en later toevoegen.

Kies bij Tools de functies die je nodig hebt voor je workflow. 

Voor codetaken zijn de belangrijkste: File Operations, Terminal & Processes, Code Execution en optioneel Web Search & Scraping. 

Hermes rondt daarna de installatie af en slaat de configuratie op onder ~/.hermes/.

Als je later een API-service configureert, sla de API-sleutel dan op als omgevingsvariabele in plaats van deze direct aan een commando of configbestand toe te voegen. 

Bijvoorbeeld voor OpenAI en Tavily:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Hermes is nu klaar.

5. Draai Hermes Agent in de terminal voor AI-codering

Ga naar de map met het project waar Hermes aan moet werken. 

Voor dit voorbeeld maakte ik een nieuwe workspace:

mkdir /workspace/nonus
cd /workspace/nonus

Start vervolgens Hermes:

hermes

Hermes opent rechtstreeks in je projectmap en verbindt met het lokale Qwythos-model via de eerder geconfigureerde llama.cpp-endpoint. 

Het kan bestanden inspecteren, code schrijven, terminalcommando's uitvoeren en de tools gebruiken die je tijdens de setup hebt ingeschakeld.

Ik vroeg Hermes eerst om een kleine Flask-app voor beursvoorspellingen te bouwen met een HTML-interface. 

Het plande het werk, maakte de vereiste bestanden aan en gaf duidelijke run-instructies, inclusief waar je de Alpha Vantage API-sleutel moet toevoegen. 

Ik testte het ook met een eenvoudigere vraag: een speelbaar Snake-spel maken. 

Hermes genereerde het Python-spelbestand, voegde de besturing en herstartlogica toe en gaf een commando om het lokaal te draaien. 

Voor de beste resultaten, houd Hermes binnen de projectmap die je wilt laten bewerken. 

Dat helpt om de beschikbare bestanden te begrijpen en voorkomt dat er elders op je systeem ongerelateerde bestanden worden aangemaakt.

6. Verbind Hermes Agent met Discord via Messaging Gateway

Hermes Gateway laat je chatten met je lokale Qwythos-agent via Discord. 

Eenmaal verbonden kun je de agent een direct bericht sturen of hem noemen in een serverkanaal, terwijl hij de lokale llama.cpp-endpoint op je machine blijft gebruiken.

Maak een Discord-bot

Open het Discord Developer Portal en maak een New Application aan. 

Geef hem een naam, zoals OLO-Bot, open vervolgens de sectie Bot in de linkerzijbalk. Discord maakt een botgebruiker voor de applicatie aan, die Hermes zal gebruiken om verbinding te maken met je server. 

Schakel onder Privileged Gateway Intents de Message Content Intent en Server Members Intent in en sla de wijzigingen op. 

Message Content laat de bot je berichten lezen, terwijl Server Members Hermes kan helpen gebruikers te identificeren en te autoriseren. 

Schakel Presence Intent alleen in als Hermes een intent-gerelateerde fout meldt of als je presence- of spraakfuncties wilt gebruiken. 

Kopieer de bottoken

Blijf op de Bot-pagina, kopieer of reset de bottoken en sla die privé op. 

Plak hem niet in screenshots, commit hem niet naar GitHub en deel hem met niemand. 

Met een bottoken kun je de Discord-bot aansturen.

Nodig de bot uit op je server

Open Installation in het Discord Developer Portal. Schakel onder Guild Install de scopes bot en applications.commands in. 

Geef de bot vervolgens de benodigde permissies, waaronder:

• Kanalen bekijken
• Berichten verzenden
• Berichtgeschiedenis lezen
• Links embedden
• Bestanden bijvoegen
• Berichten in threads verzenden
• Reacties toevoegen

Kopieer de gegenereerde installatielink, open hem in je browser, selecteer je Discord-server en autoriseer de bot. 

Discord-bots worden geïnstalleerd op servers via een OAuth2-URL met de scope bot en de permissies die je selecteert. 

Vind je Discord User ID

Open in Discord User Settings → Advanced en schakel Developer Mode in. 

Klik met de rechtermuisknop op je gebruikersnaam of profielfoto en kies Copy User ID.

Hermes gebruikt deze numerieke ID als een allowlist-vermelding. 

Dit is belangrijk omdat de bot je gebruikersnaam kan herkennen, maar je berichten toch kan afwijzen totdat je numerieke Discord-ID is toegevoegd.

Configureer Hermes gateway

Voer het interactieve setup-commando uit:

hermes gateway setup

Selecteer Discord wanneer daarom wordt gevraagd, voer vervolgens je bottoken en Discord-user-ID in. 

Hermes biedt deze setupwizard voor het configureren van messagingplatforms en kan de gateway na de setup starten of herstarten.

Je kunt de waarden ook handmatig toevoegen aan het Hermes-omgevingsbestand:

nano ~/.hermes/.env

Voeg je token en user-ID toe:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Start de gateway

Start Hermes Gateway:

hermes gateway

Je bot zou binnen enkele seconden online moeten verschijnen in Discord. 

Je kunt hem daarna direct een bericht sturen of hem noemen in een serverkanaal:

@YourBotName Inspect this project and explain what it does.

7. Draai Hermes in de browser

Hermes bevat ook een browserdashboard, dat je een visuele interface geeft om te chatten met je lokale agent, sessies te bekijken, logs te controleren, skills te beheren en door bestanden te bladeren. 

Het gebruikt hetzelfde lokale Qwythos-model en dezelfde llama.cpp-endpoint die je eerder hebt geconfigureerd.

Ga eerst naar de Hermes-packagemap:

cd ~/.hermes/hermes-agent

Als die map niet bestaat, probeer dan het systeembrede installatiepad:

cd /usr/local/lib/hermes-agent

Installeer de optionele dashboard- en terminalafhankelijkheden:

uv pip install -e ".[web,pty]"

Start daarna het dashboard:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

Omdat --host 0.0.0.0 het dashboard toegankelijk maakt buiten localhost, zal Hermes je vragen om authenticatie in te stellen. 

Selecteer Username & password en maak vervolgens een gebruikersnaam en sterk wachtwoord voor het dashboard aan.

Zodra de server is gestart, open je dit adres in je browser:

http://localhost:9119/login

Na het inloggen geeft het dashboard je toegang tot verschillende handige onderdelen. 

De tab Chat draait dezelfde Hermes-terminalervaring in de browser, inclusief live streamende reacties en tool-call-output. 

Je kunt vragen om een project te inspecteren, bestanden te bewerken, commando's uit te voeren of een applicatie te bouwen zonder in de terminal te blijven.

De pagina Sessions laat je eerdere gesprekken teruglezen.

Terwijl Skills de beschikbare mogelijkheden en integraties toont. 

Je kunt ook bestanden, logs, modellen, geplande jobs en gatewaystatus bekijken via de zijbalk. 

Dit maakt het dashboard handig wanneer je je lokale Qwythos-agent visueler wilt beheren.

Tot slot

Ik hoorde veel over Hermes Agent en dat mensen het zien als een van de meest capabele lokale agents, beter dan OpenClaw, in staat om eerder werk te onthouden, in de loop van de tijd context op te bouwen en met een project mee te groeien. 

Na het testen met Qwythos snap ik waarom mensen enthousiast zijn. 

De setup is gepolijst, de terminalervaring is sterk, en het browserdashboard, de Discord-gateway, skills, geheugen en toolintegraties laten het meer aanvoelen als een volwaardig agentplatform dan een simpele coding-CLI.

Mijn eigen ervaring was wel iets anders. Ik zie mezelf Hermes niet elke dag gebruiken voor normaal codeerwerk. 

Het heeft veel features, maar daardoor voelt het ook zwaarder dan wat ik nodig heb voor snelle edits, debuggen of kleine projecten bouwen. 

Voor die taken zou ik nog steeds kiezen voor Pi Coding Agent of OpenCode omdat die eenvoudiger zijn, sneller starten en natuurlijker in mijn gebruikelijke workflow passen.

Dat gezegd hebbende, ik vond het Qwythos-model erg prettig in gebruik. 

Het lokaal draaien via llama.cpp was snel, responsief en verrassend capabel voor codetaken. 

Het MTP-model leverde ook een sterke generatie­snelheid, vooral bij het produceren van gestructureerde code. 

Hermes is het proberen waard als je een completer lokaal agentsysteem wilt met browsertoegang, messaging­integraties, tools, geheugen en ondersteuning voor langlopende projecten. 

Maar voor mijn dagelijkse codeersetup zal ik waarschijnlijk vooral Qwythos met Pi Coding Agent of OpenCode gebruiken.