Ein lokal laufendes Mythos-optimiertes Qwen-Modell mit Hermes Agent einsetzen

Qwythos-9B-Claude-Mythos-5-1M ist ein 9B Open-Weight-Reasoning-Modell auf Basis von Qwen3.5-9B und wurde auf Claude Mythos und Fable Reasoning-Traces trainiert. 

Es überzeugt durch starke Argumentations- und Tool-Nutzungskompetenzen, ein 1M-Token-Kontextfenster, native Function Calling und eine praxisnahe lokale Nutzung über GGUF-Quantisierungen. 

Die MTP-Version unterstützt außerdem Multi-Token-Prediction und spekulatives Decoding in aktuellen llama.cpp-Builds und beschleunigt damit lokale Agent-Workflows. 

Quelle: empero-ai (Empero) 

In dieser Anleitung zeige ich dir, wie du Qwythos-9B MTP Q6_K GGUF lokal mit llama.cpp startest und es mit Hermes Agent im Terminal, im Browser und auf Discord verbindest. 

Du lädst das Modell herunter, startest einen lokalen OpenAI-kompatiblen Endpoint, konfigurierst Hermes dafür, richtest das Hermes Messaging Gateway für Discord ein und setzt die Hermes WebUI auf.

1. Llama.cpp für lokale KI-Inferenz installieren

Für dieses Setup nutze ich eine RTX 5060 Ti mit 16 GB VRAM. Qwythos 9B Q6_K MTP lässt sich darauf lokal betreiben, allerdings hängt die nutzbare Kontextlänge von verfügbarem VRAM und KV-Cache-Einstellungen ab.

Installiere den neuesten llama.cpp-Build mit dem offiziellen Installer:

curl -LsSf https://llama.app/install.sh | sh

Füge die llama.cpp-Binaries deinem Shell-Pfad hinzu und starte das Terminal neu:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Prüfe, ob die Installation geklappt hat:

llama help

2. Qwythos 9B MTP GGUF-Modell herunterladen

Installiere die Hugging Face CLI und hf-xet, was Downloads für Repos mit Xet-Storage beschleunigen kann:

pip install -U "huggingface_hub[cli]" hf-xet

Lege einen Ordner für die Modelldateien an:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

Die meisten Laptops mit dedizierter GPU haben etwa 6–8 GB VRAM. Daher ist das Q4 MTP-Quant für solche Systeme meist praktischer. Es benötigt weniger VRAM und bietet trotzdem den MTP-Prediction-Head für spekulatives Decoding.

Ich nutze eine RTX 5060 Ti mit 16 GB VRAM, was mir genug Spielraum gibt, um das höherwertige Q6_K-Quant zu nutzen und mit größeren Kontextfenstern zu experimentieren.

Aktiviere High-Performance-Transfers und lade dann das Q6_K MTP-Quant herunter:

export HF_XET_HIGH_PERFORMANCE=1

Lade die 6-Bit-GGUF-Datei des Qwythos-Modells:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

Die Datei Q6_K MTP ist eine höherwertige quantisierte Variante von Qwythos und enthält den Multi-Token-Prediction-Head für spekulatives Decoding. 

3. Lokalen llama.cpp-Server starten

Öffne ein neues Terminal und wechsle in den Ordner, in den du das Modell geladen hast:

MODEL_DIR="/workspace/qwythos"

Starte dann llama.cpp mit dem Qwythos MTP-Modell:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

Die wichtigsten Einstellungen sind --n-gpu-layers all und --ctx-size 100000. Erstere lagert das komplette Modell für deutlich schnellere Inferenz auf die GPU aus, letztere gibt Qwythos ein großes Kontextfenster mit 100K Tokens. Größere Kontextfenster benötigen mehr VRAM – reduziere daher auf 32768 oder weniger bei GPUs mit begrenztem Speicher.

Qwythos nutzt Multi-Token-Prediction, daher ist --spec-type draft-mtp für dieses MTP-Modell erforderlich. Mit --spec-draft-n-max 6 kann llama.cpp bis zu sechs Tokens vorausahnen, was die Geschwindigkeit besonders bei strukturierten Aufgaben wie Coding erhöht.

--flash-attn on verbessert die Effizienz der Attention, während die Q8-KV-Cache-Settings die Qualität bei langen Prompts stabil halten. Die Optionen --temp, --top-p und --top-k steuern die Kreativität der Antworten und liefern in dieser Konfiguration ein ausgewogenes Ergebnis für Coding- und Agent-Aufgaben.

Dein lokaler OpenAI-kompatibler Endpoint ist erreichbar unter:

http://127.0.0.1:8910/v1

Du kannst auch diese URL http://localhost:8910 im Browser öffnen, um die llama.cpp-Weboberfläche zu nutzen und das Modell direkt zu testen. Praktisch, um Antworten schnell zu prüfen, bevor du das Modell mit Hermes verbindest.

Für einen kurzen Test habe ich Qwythos um einen zufälligen Fun Fact gebeten. Es kam eine Info über die Milchstraße zurück und die Generierung lag im Schnitt bei rund 64 Tokens pro Sekunde.

Anschließend habe ich es gebeten, eine komplette HTML-Portfolio-Website zu erstellen. 

Während des Codierens stieg die Geschwindigkeit auf etwa 102 Tokens pro Sekunde, vermutlich weil das MTP-Modell in strukturiertem Code mehrere wahrscheinliche nächste Tokens effektiver vorhersagen kann.

Das Endergebnis war eine saubere, lauffähige Portfolio-Site mit starkem Layout und klarer Gestaltung. Für ein lokal laufendes 9B-Modell war die Qualität wirklich beeindruckend.

4. Hermes Agent installieren und konfigurieren

Öffne ein weiteres Terminal und installiere den Hermes Agent:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Wähle während der Einrichtung Full Setup, damit du einen eigenen lokalen Endpoint konfigurieren kannst. 

Wähle dann Custom endpoint und gib die Adresse deines llama.cpp-Servers ein:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes sollte den Endpoint verifizieren und das aus llama.cpp laufende Qwythos-Modell erkennen. 

Für die API-Kompatibilitätsmodi belasse die Standardeinstellung Auto-detect. Das funktioniert gut mit üblichen OpenAI-kompatiblen Endpoints wie llama.cpp.

Wähle anschließend Local als Terminal-Backend. 

So läuft Hermes direkt auf deinem Rechner und hat Zugriff auf den Ordner, in dem du es startest. 

Du kannst während der Plattform-Einrichtung auch Discord auswählen, wenn du das Messaging-Gateway jetzt konfigurieren möchtest – du kannst es aber auch überspringen und später hinzufügen.

Aktiviere bei den Tools jene, die du für deinen Workflow brauchst. 

Für Coding-Aufgaben sind vor allem File Operations, Terminal & Processes, Code Execution und optional Web Search & Scraping relevant. 

Hermes schließt dann die Installation ab und speichert die Konfiguration unter ~/.hermes/.

Wenn du später einen API-Dienst konfigurierst, speichere dessen API-Schlüssel als Umgebungsvariable anstatt ihn direkt in einen Befehl oder eine Konfigurationsdatei zu schreiben. 

Zum Beispiel für OpenAI und Tavily:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Hermes ist jetzt einsatzbereit.

5. Hermes Agent im Terminal fürs KI-Coding nutzen

Wechsle in den Ordner des Projekts, an dem Hermes arbeiten soll. 

Für dieses Beispiel habe ich einen neuen Workspace erstellt:

mkdir /workspace/nonus
cd /workspace/nonus

Starte dann Hermes:

hermes

Hermes öffnet sich direkt in deinem Projektordner und verbindet sich über den zuvor konfigurierten llama.cpp-Endpoint mit dem lokalen Qwythos-Modell. 

Es kann Dateien inspizieren, Code schreiben, Terminalbefehle ausführen und die während der Einrichtung aktivierten Tools nutzen.

Ich habe Hermes zunächst gebeten, eine kleine Flask-App zur Aktienvorhersage mit HTML-Interface zu bauen. 

Es plante die Arbeit, legte die nötigen Dateien an und gab klare Run-Anweisungen zurück – inklusive des Ortes, an dem der Alpha Vantage API-Schlüssel einzutragen ist. 

Ich habe es auch mit einer einfacheren Aufgabe getestet: einem spielbaren Snake-Game. 

Hermes generierte die Python-Spieldatei, ergänzte Steuerung und Neustart-Logik und lieferte einen Befehl zum lokalen Start. 

Für beste Ergebnisse lasse Hermes im Projektverzeichnis, das es bearbeiten soll. 

So versteht es die vorhandenen Dateien besser und verhindert, dass irgendwo auf deinem System unpassende Dateien entstehen.

6. Hermes Agent über das Messaging Gateway mit Discord verbinden

Hermes Gateway ermöglicht dir, mit deinem lokalen Qwythos-Agenten über Discord zu chatten. 

Einmal verbunden, kannst du dem Agenten eine Direktnachricht senden oder ihn in einem Serverkanal erwähnen – weiterhin mit Nutzung des lokalen llama.cpp-Endpoints auf deiner Maschine.

Einen Discord-Bot erstellen

Öffne das Discord Developer Portal und erstelle eine New Application. 

Gib ihr einen Namen, etwa OLO-Bot, und öffne dann den Bereich Bot in der linken Seitenleiste. Discord erzeugt einen Bot-User für die Anwendung, den Hermes zur Verbindung mit deinem Server nutzt. 

Unter Privileged Gateway Intents aktiviere Message Content Intent und Server Members Intent und speichere. 

Message Content erlaubt dem Bot, deine Nachrichten zu lesen; Server Members hilft Hermes, Nutzer zu identifizieren und zu autorisieren. 

Aktiviere Presence Intent nur, wenn Hermes einen Intent-bezogenen Fehler meldet oder wenn du Präsenz- oder Voice-Features nutzen willst. 

Bot-Token kopieren

Bleibe auf der Seite Bot, kopiere oder setze das Bot-Token zurück und bewahre es sicher auf. 

Füge es nicht in Screenshots ein, committe es nicht zu GitHub und teile es mit niemandem. 

Ein Bot-Token kann genutzt werden, um den Discord-Bot zu steuern.

Bot auf deinen Server einladen

Öffne im Discord Developer Portal den Bereich Installation. Unter Guild Install aktiviere die Scopes bot und applications.commands. 

Gib dem Bot dann die nötigen Berechtigungen, darunter:

• Kanäle ansehen
• Nachrichten senden
• Nachrichtenverlauf lesen
• Links einbetten
• Dateien anhängen
• In Threads senden
• Reaktionen hinzufügen

Kopiere den generierten Installationslink, öffne ihn im Browser, wähle deinen Discord-Server und autorisiere den Bot. 

Discord-Bots werden über eine OAuth2-URL mit dem Scope bot und den gewählten Berechtigungen auf Servern installiert. 

Deine Discord User-ID finden

Öffne in Discord User Settings → Advanced und aktiviere Developer Mode. 

Klicke mit Rechts auf deinen Nutzernamen oder Avatar und wähle Copy User ID.

Hermes nutzt diese numerische ID für die Allowlist. 

Das ist wichtig, weil der Bot zwar deinen Nutzernamen erkennt, deine Nachrichten aber trotzdem ablehnen kann, bis deine numerische Discord-ID hinzugefügt wurde.

Hermes Gateway konfigurieren

Starte den interaktiven Setup-Befehl:

hermes gateway setup

Wähle bei der Abfrage Discord, gib dann dein Bot-Token und deine Discord User-ID ein. 

Hermes stellt dafür einen Einrichtungsassistenten bereit und kann das Gateway nach der Konfiguration starten oder neu starten.

Du kannst die Werte auch manuell in die Hermes-Umgebungsdatei eintragen:

nano ~/.hermes/.env

Füge Token und User-ID hinzu:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Gateway starten

Starte Hermes Gateway:

hermes gateway

Dein Bot sollte nach wenigen Sekunden in Discord online erscheinen. 

Du kannst ihm dann direkt schreiben oder ihn in einem Serverkanal erwähnen:

@YourBotName Inspect this project and explain what it does.

7. Hermes im Browser nutzen

Hermes bringt auch ein Browser-Dashboard mit – eine visuelle Oberfläche, um mit deinem lokalen Agenten zu chatten, Sessions zu prüfen, Logs einzusehen, Skills zu verwalten und Dateien zu durchsuchen. 

Es nutzt dasselbe lokale Qwythos-Modell und den zuvor konfigurierten llama.cpp-Endpoint.

Wechsle zunächst ins Hermes-Package-Verzeichnis:

cd ~/.hermes/hermes-agent

Falls der Ordner nicht existiert, versuche den systemweiten Installationspfad:

cd /usr/local/lib/hermes-agent

Installiere die optionalen Abhängigkeiten für Dashboard und Terminal:

uv pip install -e ".[web,pty]"

Starte anschließend das Dashboard:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

Da --host 0.0.0.0 den Zugriff auch außerhalb von localhost erlaubt, fordert dich Hermes zur Einrichtung einer Authentifizierung auf. 

Wähle Username & password und lege einen Benutzernamen sowie ein starkes Passwort fest.

Sobald der Server läuft, öffne diese Adresse im Browser:

http://localhost:9119/login

Nach dem Login bekommst du Zugriff auf mehrere hilfreiche Bereiche. 

Der Tab Chat bietet die gleiche Hermes-Terminal-Erfahrung im Browser – inklusive Live-Streaming der Antworten und Tool-Call-Ausgaben. 

Du kannst es ein Projekt untersuchen lassen, Dateien bearbeiten, Befehle ausführen oder eine Anwendung bauen – ohne im Terminal zu bleiben.

Die Seite Sessions erlaubt dir, vergangene Unterhaltungen zu prüfen.

Unter Skills findest du verfügbare Fähigkeiten und Integrationen. 

Über die Seitenleiste kannst du außerdem Dateien, Logs, Modelle, geplante Jobs und den Gateway-Status einsehen. 

Damit ist das Dashboard ideal, wenn du deinen lokalen Qwythos-Agenten visuell managen möchtest.

Fazit

Ich hatte viel über Hermes Agent gehört – viele sehen ihn als einen der leistungsfähigsten lokalen Agenten, besser als OpenClaw – mit der Fähigkeit, sich an frühere Arbeit zu erinnern, über die Zeit Kontext aufzubauen und mit einem Projekt mitzuwachsen. 

Nach dem Test mit Qwythos verstehe ich die Begeisterung. 

Die Einrichtung ist ausgereift, das Terminal-Erlebnis stark und dank Browser-Dashboard, Discord-Gateway, Skills, Memory und Tool-Integrationen wirkt es eher wie eine komplette Agentenplattform als eine simple Coding-CLI.

Meine eigene Nutzung wäre allerdings etwas anders. Für den Alltag sehe ich mich nicht dabei, Hermes für normale Coding-Aufgaben täglich zu verwenden. 

Es bietet viele Features, fühlt sich dadurch aber auch schwergewichtiger an, als ich es für schnelle Edits, Debugging oder kleine Projekte brauche. 

Für diese Aufgaben würde ich eher zu Pi Coding Agent oder OpenCode greifen – einfacher, schneller startklar und natürlicher in meinem üblichen Workflow.

Das Qwythos-Modell hat mir dagegen sehr gut gefallen. 

Lokal über llama.cpp lief es schnell, reaktiv und überraschend fähig für Coding-Aufgaben. 

Das MTP-Modell lieferte zudem starke Generierungsgeschwindigkeiten, besonders bei strukturiertem Code. 

Hermes ist eine Empfehlung, wenn du ein umfassenderes lokales Agentensystem mit Browserzugriff, Messaging-Integrationen, Tools, Memory und Support für langfristige Projekte suchst. 

Für mein tägliches Coding-Setup werde ich aber wahrscheinlich vor allem Qwythos mit Pi Coding Agent oder OpenCode nutzen.