Exécuter localement un modèle Qwen optimisé Mythos avec Hermes Agent

Qwythos-9B-Claude-Mythos-5-1M est un modèle de raisonnement open-weight de 9B, basé sur Qwen3.5-9B et entraîné sur les traces de raisonnement Claude Mythos et Fable. 

Il se distingue par l’alliance d’un solide raisonnement et d’excellentes capacités d’usage d’outils, avec une fenêtre de contexte d’1 M de tokens, un appel de fonctions natif et un déploiement local pratique via des quantifications GGUF. 

La version MTP prend également en charge la prédiction multi‑tokens et le décodage spéculatif dans les versions récentes de llama.cpp, ce qui accélère la génération pour les workflows d’agents locaux. 

Source : empero-ai (Empero) 

Dans ce guide, je vous montre comment exécuter Qwythos-9B MTP Q6_K GGUF en local avec llama.cpp et le connecter à Hermes Agent dans le terminal, le navigateur et Discord. 

Vous allez télécharger le modèle, lancer un endpoint local compatible OpenAI, configurer Hermes pour l’utiliser, mettre en place Hermes Messaging Gateway pour l’accès via Discord et configurer l’interface Web d’Hermes.

1. Installer llama.cpp pour l’inférence IA locale

Pour cette configuration, j’utilise une RTX 5060 Ti avec 16 Go de VRAM. Le quant Q6_K MTP de Qwythos 9B peut tourner en local sur ce GPU, mais la longueur de contexte exploitable dépendra de la VRAM disponible et des paramètres de KV-cache.

Installez la dernière version de llama.cpp avec l’installeur officiel :

curl -LsSf https://llama.app/install.sh | sh

Ajoutez les binaires de llama.cpp à votre PATH, puis redémarrez le terminal :

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Vérifiez que l’installation a fonctionné :

llama help

2. Télécharger le modèle Qwythos 9B MTP GGUF

Installez la CLI Hugging Face et hf-xet, qui peut accélérer les téléchargements pour les dépôts utilisant le stockage Xet :

pip install -U "huggingface_hub[cli]" hf-xet

Créez un dossier pour les fichiers du modèle :

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

La plupart des ordinateurs portables avec GPU dédié disposent d’environ 6 à 8 Go de VRAM, donc le quant MTP Q4 est généralement plus pratique pour ces systèmes. Il consomme moins de VRAM tout en conservant la tête de prédiction MTP requise pour le décodage spéculatif.

J’utilise une RTX 5060 Ti avec 16 Go de VRAM, ce qui me laisse la place d’exécuter le quant Q6_K de meilleure qualité et d’expérimenter des fenêtres de contexte plus larges.

Activez les transferts haute performance, puis téléchargez le quant Q6_K MTP :

export HF_XET_HIGH_PERFORMANCE=1

Téléchargez le fichier GGUF du modèle Qwythos en 6 bits :

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

Le fichier Q6_K MTP est une version quantifiée de meilleure qualité de Qwythos qui inclut la tête de prédiction multi‑tokens nécessaire au décodage spéculatif. 

3. Démarrer le serveur local llama.cpp

Ouvrez un nouveau terminal et pointez vers le dossier où vous avez téléchargé le modèle :

MODEL_DIR="/workspace/qwythos"

Puis lancez llama.cpp avec le modèle Qwythos MTP :

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

Les paramètres les plus importants sont --n-gpu-layers all et --ctx-size 100000. Le premier décharge l’intégralité du modèle sur votre GPU pour une inférence bien plus rapide, tandis que le second donne à Qwythos une grande fenêtre de contexte de 100 K tokens. Les fenêtres plus larges nécessitent plus de VRAM ; réduisez donc à 32768 ou moins sur les GPU à mémoire limitée.

Qwythos utilise la prédiction multi‑tokens, donc --spec-type draft-mtp est requis pour ce modèle MTP. Le paramètre --spec-draft-n-max 6 permet à llama.cpp d’anticiper jusqu’à six tokens, ce qui peut accélérer la génération, notamment pour des tâches structurées comme le code.

--flash-attn on améliore l’efficacité de l’attention, tandis que les paramètres de KV‑cache en Q8 aident à maintenir la qualité sur de longs prompts. Les options --temp, --top-p et --top-k contrôlent la créativité des réponses ; ces valeurs offrent un bon équilibre pour le code et les tâches d’agent.

Votre endpoint local compatible OpenAI sera disponible à l’adresse :

http://127.0.0.1:8910/v1

Vous pouvez aussi coller cette URL http://localhost:8910 dans votre navigateur pour ouvrir l’interface web de llama.cpp et tester directement le modèle. Pratique pour valider rapidement les réponses avant de le connecter à Hermes.

Pour un test simple, j’ai demandé à Qwythos de partager un fun fact au hasard. Il a répondu avec un fait sur la Voie lactée et a généré en moyenne environ 64 tokens par seconde.

Je lui ai ensuite demandé de créer un site portfolio HTML complet. 

Pendant la génération de code, la vitesse est montée à environ 102 tokens par seconde, probablement parce que le modèle MTP peut mieux anticiper plusieurs tokens probables dans du code structuré.

Le résultat final était un site portfolio propre et fonctionnel, avec une mise en page solide et un style soigné. Pour un modèle 9B en local, la qualité était vraiment impressionnante.

4. Installer et configurer Hermes Agent

Ouvrez un autre terminal et installez Hermes Agent :

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Pendant l’installation, choisissez Full Setup afin de pouvoir configurer un endpoint local personnalisé. 

Sélectionnez ensuite Custom endpoint et saisissez l’adresse de votre serveur llama.cpp :

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes doit vérifier l’endpoint et détecter le modèle Qwythos exécuté via llama.cpp. 

Pour le mode de compatibilité d’API, conservez l’option par défaut Auto-detect. Elle fonctionne bien avec les endpoints standard compatibles OpenAI comme llama.cpp.

Ensuite, choisissez Local comme backend du terminal. 

Cela permet à Hermes de s’exécuter directement sur votre machine et d’accéder au dossier depuis lequel vous le lancez. 

Vous pouvez aussi sélectionner Discord pendant la configuration des plateformes si vous souhaitez paramétrer la passerelle de messagerie maintenant, mais vous pouvez passer cette étape et l’ajouter plus tard.

Lors du choix des outils, activez ceux dont vous avez besoin pour votre flux de travail. 

Pour le code, les principaux sont File Operations, Terminal & Processes, Code Execution et, en option, Web Search & Scraping. 

Hermes termine ensuite l’installation et enregistre la configuration sous ~/.hermes/.

Si vous configurez un service d’API plus tard, stockez sa clé d’API dans une variable d’environnement plutôt que de l’ajouter directement à une commande ou à un fichier de configuration. 

Par exemple, pour OpenAI et Tavily :

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Hermes est prêt.

5. Exécuter Hermes Agent dans le terminal pour coder avec l’IA

Placez‑vous dans le dossier du projet sur lequel vous voulez qu’Hermes travaille. 

Pour cet exemple, j’ai créé un nouvel espace de travail :

mkdir /workspace/nonus
cd /workspace/nonus

Puis lancez Hermes :

hermes

Hermes s’ouvre directement dans votre dossier projet et se connecte au modèle Qwythos local via l’endpoint llama.cpp que vous avez configuré plus tôt. 

Il peut inspecter des fichiers, écrire du code, exécuter des commandes terminal et utiliser les outils activés pendant la configuration.

Je lui ai d’abord demandé de créer une petite application Flask de prédiction boursière avec une interface HTML. 

Il a planifié le travail, créé les fichiers requis et fourni des instructions claires d’exécution, notamment où ajouter la clé API Alpha Vantage. 

Je l’ai aussi testé avec une demande plus simple : créer un jeu Snake jouable. 

Hermes a généré le fichier de jeu Python, ajouté les contrôles et la logique de redémarrage, puis fourni la commande pour l’exécuter en local. 

Pour de meilleurs résultats, laissez Hermes dans le répertoire du projet que vous voulez modifier. 

Cela l’aide à comprendre les fichiers disponibles et évite la création de fichiers non liés ailleurs sur votre système.

6. Connecter Hermes Agent à Discord via Messaging Gateway

Hermes Gateway vous permet d’échanger avec votre agent Qwythos local via Discord. 

Une fois connecté, vous pouvez envoyer un message privé à l’agent ou le mentionner dans un salon de serveur, tout en continuant d’utiliser l’endpoint llama.cpp local de votre machine.

Créer un bot Discord

Ouvrez le Discord Developer Portal et créez une New Application. 

Donnez‑lui un nom, par exemple OLO-Bot, puis ouvrez la section Bot dans la barre latérale de gauche. Discord crée un utilisateur bot pour l’application, qu’Hermes utilisera pour se connecter à votre serveur. 

Sous Privileged Gateway Intents, activez Message Content Intent et Server Members Intent, puis enregistrez. 

Message Content permet au bot de lire vos messages, tandis que Server Members aide Hermes à identifier et autoriser les utilisateurs. 

N’activez Presence Intent que si Hermes signale une erreur liée aux intents ou si vous prévoyez d’utiliser la présence ou la voix. 

Copier le jeton du bot

Toujours sur la page Bot, copiez ou régénérez le jeton du bot et conservez‑le en lieu sûr. 

Ne le collez pas dans des captures, ne le validez pas sur GitHub et ne le partagez avec personne. 

Un jeton de bot permet de contrôler le bot Discord.

Inviter le bot sur votre serveur

Ouvrez Installation dans le Discord Developer Portal. Sous Guild Install, activez les scopes bot et applications.commands. 

Attribuez ensuite les permissions nécessaires au bot, dont :

• View Channels
• Send Messages
• Read Message History
• Embed Links
• Attach Files
• Send Messages in Threads
• Add Reactions

Copiez le lien d’installation généré, ouvrez‑le dans votre navigateur, sélectionnez votre serveur Discord et autorisez le bot. 

Les bots Discord sont installés sur les serveurs via une URL OAuth2 utilisant le scope bot et les permissions que vous choisissez. 

Trouver votre ID utilisateur Discord

Dans Discord, ouvrez User Settings → Advanced et activez le Developer Mode. 

Faites un clic droit sur votre nom d’utilisateur ou votre photo de profil et choisissez Copy User ID.

Hermes utilise cet ID numérique comme entrée de liste d’autorisation. 

C’est important, car le bot peut reconnaître votre pseudo mais refuser vos messages tant que votre ID Discord numérique n’est pas ajouté.

Configurer Hermes gateway

Exécutez la commande de configuration interactive :

hermes gateway setup

Sélectionnez Discord quand c’est demandé, puis saisissez votre jeton de bot et votre ID utilisateur Discord. 

Hermes propose cet assistant pour configurer les plateformes de messagerie et peut démarrer ou redémarrer la passerelle après la configuration.

Vous pouvez aussi ajouter les valeurs manuellement dans le fichier d’environnement d’Hermes :

nano ~/.hermes/.env

Ajoutez votre jeton et votre ID :

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Démarrer la passerelle

Démarrez Hermes Gateway :

hermes gateway

Votre bot devrait apparaître en ligne sur Discord en quelques secondes. 

Vous pouvez ensuite lui écrire en direct ou le mentionner dans un salon de serveur :

@YourBotName Inspect this project and explain what it does.

7. Exécuter Hermes dans le navigateur

Hermes inclut aussi un tableau de bord web, qui offre une interface visuelle pour dialoguer avec votre agent local, revoir les sessions, consulter les journaux, gérer les compétences et parcourir les fichiers. 

Il utilise le même modèle Qwythos local et le même endpoint llama.cpp configurés précédemment.

Commencez par vous déplacer dans le répertoire du paquet Hermes :

cd ~/.hermes/hermes-agent

Si ce dossier n’existe pas, essayez plutôt le chemin d’installation système :

cd /usr/local/lib/hermes-agent

Installez les dépendances optionnelles du dashboard et du terminal :

uv pip install -e ".[web,pty]"

Puis lancez le dashboard :

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

Comme --host 0.0.0.0 rend le dashboard accessible au‑delà de localhost, Hermes vous demandera de configurer une authentification. 

Sélectionnez Username & password, puis créez un identifiant et un mot de passe robuste pour le dashboard.

Une fois le serveur démarré, ouvrez cette adresse dans votre navigateur :

http://localhost:9119/login

Après connexion, le tableau de bord vous donne accès à plusieurs zones utiles. 

L’onglet Chat offre la même expérience qu’en terminal, avec flux de réponses en direct et sorties d’appels d’outils. 

Vous pouvez lui demander d’inspecter un projet, modifier des fichiers, exécuter des commandes ou construire une application sans rester dans le terminal.

La page Sessions permet de revoir les conversations passées.

Tandis que Skills affiche les capacités et intégrations disponibles. 

Vous pouvez également consulter les fichiers, journaux, modèles, tâches planifiées et l’état des passerelles depuis la barre latérale. 

Le dashboard est donc utile si vous préférez gérer votre agent Qwythos local de manière plus visuelle.

Conclusion

J’entendais beaucoup parler d’Hermes Agent, présenté comme l’un des agents locaux les plus complets, plus abouti qu’OpenClaw, capable de se souvenir du travail passé, de construire du contexte au fil du temps et d’évoluer avec un projet. 

Après l’avoir testé avec Qwythos, je comprends l’enthousiasme. 

La configuration est soignée, l’expérience en terminal solide, et le tableau de bord web, la passerelle Discord, les skills, la mémoire et les intégrations d’outils donnent l’impression d’une vraie plateforme d’agent, pas d’un simple CLI de code.

Mon ressenti est toutefois un peu différent : je ne me vois pas utiliser Hermes tous les jours pour du code courant. 

Il a beaucoup de fonctionnalités, mais cela le rend aussi plus lourd que ce dont j’ai besoin pour des retouches rapides, du débogage ou de petits projets. 

Pour ces tâches, je continuerais à privilégier Pi Coding Agent ou OpenCode, plus simples, plus rapides à démarrer et mieux intégrés à mon flux de travail habituel.

Cela dit, j’ai vraiment apprécié le modèle Qwythos. 

L’exécuter en local via llama.cpp s’est révélé rapide, réactif et étonnamment performant pour les tâches de code. 

Le modèle MTP a aussi offert une excellente vitesse de génération, notamment pour produire du code structuré. 

Hermes vaut le détour si vous cherchez un agent local complet avec accès navigateur, intégrations de messagerie, outils, mémoire et support de projets au long cours. 

Mais pour mon setup de code au quotidien, Qwythos avec Pi Coding Agent ou OpenCode restera probablement mon choix principal.