Ejecuta un modelo Qwen mejorado con Mythos en local con Hermes Agent

Qwythos-9B-Claude-Mythos-5-1M es un modelo de razonamiento de 9B open-weight basado en Qwen3.5-9B y entrenado con Claude Mythos y trazas de razonamiento de Fable. 

Destaca por combinar un razonamiento sólido y gran uso de herramientas con una ventana de contexto de 1M de tokens, llamadas a funciones nativas y un despliegue local práctico mediante cuantizaciones GGUF. 

La versión MTP también admite predicción multitémino y decodificación especulativa en compilaciones recientes de llama.cpp, lo que ayuda a acelerar la generación en flujos de trabajo de agentes locales. 

Fuente: empero-ai (Empero) 

En esta guía, te muestro cómo ejecutar Qwythos-9B MTP Q6_K GGUF en local con llama.cpp y conectarlo a Hermes Agent en la terminal, el navegador y Discord. 

Vas a descargar el modelo, lanzar un endpoint local compatible con OpenAI, configurar Hermes para usarlo, preparar Hermes Messaging Gateway para acceder desde Discord y poner en marcha la WebUI de Hermes.

1. Instala llama.cpp para inferencia de IA en local

Para esta configuración uso una RTX 5060 Ti con 16 GB de VRAM. Qwythos 9B Q6_K MTP puede ejecutarse en local en esta GPU, aunque la longitud de contexto util dependerá de la VRAM disponible y de los ajustes de la KV-cache.

Instala la última versión de llama.cpp con el instalador oficial:

curl -LsSf https://llama.app/install.sh | sh

Añade los binarios de llama.cpp a tu PATH y reinicia la terminal:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Comprueba que la instalación se ha realizado correctamente:

llama help

2. Descarga el modelo Qwythos 9B MTP GGUF

Instala la CLI de Hugging Face y hf-xet, que puede acelerar descargas para repos que usan almacenamiento Xet:

pip install -U "huggingface_hub[cli]" hf-xet

Crea una carpeta para los archivos del modelo:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

La mayoría de portátiles con GPU dedicada tienen alrededor de 6–8 GB de VRAM, así que la cuantización Q4 MTP suele ser la opción más práctica en esos sistemas. Usa menos VRAM y aun así te da la cabeza de predicción MTP necesaria para la decodificación especulativa.

Yo uso una RTX 5060 Ti con 16 GB de VRAM, lo que me da margen para ejecutar la cuantización de mayor calidad Q6_K y experimentar con ventanas de contexto más grandes.

Activa transferencias de alto rendimiento y luego descarga la cuantización Q6_K MTP:

export HF_XET_HIGH_PERFORMANCE=1

Descarga el archivo GGUF del modelo Qwythos de 6 bits:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

El archivo Q6_K MTP es una versión cuantizada de mayor calidad de Qwythos que incluye la cabeza de predicción multitémino necesaria para la decodificación especulativa. 

3. Inicia el servidor local de llama.cpp

Abre una nueva terminal y apunta a la carpeta donde descargaste el modelo:

MODEL_DIR="/workspace/qwythos"

Luego inicia llama.cpp con el modelo MTP de Qwythos:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

Los ajustes más importantes son --n-gpu-layers all y --ctx-size 100000. El primero descarga todo el modelo a la GPU para acelerar mucho la inferencia; el segundo da a Qwythos una ventana de contexto grande de 100K tokens. Las ventanas más grandes necesitan más VRAM, así que reduce esto a 32768 o menos en GPUs con memoria limitada.

Qwythos usa predicción multitémino, así que --spec-type draft-mtp es obligatorio para este modelo MTP. El ajuste --spec-draft-n-max 6 permite a llama.cpp intentar predecir hasta seis tokens por adelantado, lo que puede mejorar la velocidad de generación, especialmente en tareas estructuradas como programación.

--flash-attn on mejora la eficiencia de la atención, mientras que los ajustes de KV-cache en Q8 ayudan a mantener la calidad en prompts largos. Las opciones --temp, --top-p y --top-k controlan la creatividad de la respuesta. Estos valores dan un equilibrio adecuado para tareas de código y de agente.

Tu endpoint local compatible con OpenAI estará disponible en:

http://127.0.0.1:8910/v1

También puedes pegar la URL http://localhost:8910 en el navegador para abrir la interfaz web de llama.cpp y probar el modelo directamente. Es útil para comprobar respuestas antes de conectar el modelo a Hermes.

Para una prueba rápida, le pedí a Qwythos un dato curioso aleatorio. Respondió con un dato sobre la Vía Láctea y generó unos 64 tokens por segundo de media.

Luego le pedí que construyera una web de portfolio en HTML completa. 

Durante la programación, la velocidad subió a unos 102 tokens por segundo, probablemente porque el modelo MTP puede anticipar varios siguientes tokens con más eficacia en código estructurado.

El resultado final fue un portfolio funcional y pulido, con un buen diseño y estilos limpios. Para ser un modelo de 9B en local, la calidad del output fue realmente impresionante.

4. Instala y configura Hermes Agent

Abre otra terminal e instala Hermes Agent:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Durante la configuración, elige Full Setup para poder usar un endpoint local personalizado. 

Después selecciona Custom endpoint e introduce la dirección de tu servidor de llama.cpp:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes debería verificar el endpoint y detectar el modelo Qwythos ejecutándose desde llama.cpp. 

Para el modo de compatibilidad de API, deja la opción por defecto Auto-detect. Funciona bien con endpoints estándar compatibles con OpenAI como llama.cpp.

A continuación, selecciona Local como backend de terminal. 

Así Hermes se ejecuta directamente en tu máquina y accede a la carpeta desde la que lo lanzas. 

También puedes seleccionar Discord durante la configuración de plataformas si quieres preparar el gateway de mensajería ahora, pero puedes omitirlo y añadirlo más tarde.

Al elegir herramientas, activa las que necesites para tu flujo de trabajo. 

Para programar, las principales son File Operations, Terminal & Processes, Code Execution y, opcionalmente, Web Search & Scraping. 

Hermes completará la instalación y guardará su configuración en ~/.hermes/.

Si configuras un servicio de API más adelante, guarda su clave como variable de entorno en lugar de añadirla directamente a un comando o a un archivo de configuración. 

Por ejemplo, para OpenAI y Tavily:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Hermes ya está listo.

5. Ejecuta Hermes Agent en la terminal para programar con IA

Muévete a la carpeta del proyecto en la que quieres que trabaje Hermes. 

Para este ejemplo, creé un nuevo workspace:

mkdir /workspace/nonus
cd /workspace/nonus

Luego lanza Hermes:

hermes

Hermes se abre directamente en la carpeta del proyecto y se conecta al modelo local Qwythos a través del endpoint de llama.cpp que configuraste antes. 

Puede inspeccionar archivos, escribir código, ejecutar comandos de terminal y usar las herramientas que activaste durante la instalación.

Primero le pedí a Hermes crear una pequeña app de predicción de acciones con Flask y una interfaz HTML. 

Planificó el trabajo, creó los archivos necesarios y devolvió instrucciones claras de ejecución, incluyendo dónde añadir la API key de Alpha Vantage. 

También lo probé con algo más sencillo: crear un juego de la serpiente (Snake) jugable. 

Hermes generó el archivo del juego en Python, añadió los controles y la lógica de reinicio y proporcionó el comando para ejecutarlo en local. 

Para mejores resultados, mantén a Hermes dentro del directorio del proyecto que quieres que edite. 

Así entiende qué archivos hay disponibles y evita crear ficheros sin relación en otras partes del sistema.

6. Conecta Hermes Agent a Discord con Messaging Gateway

Hermes Gateway te permite chatear con tu agente Qwythos local a través de Discord. 

Una vez conectado, podrás enviarle mensajes directos o mencionarlo en un canal del servidor mientras sigue usando el endpoint local de llama.cpp en tu máquina.

Crea un bot de Discord

Abre el Discord Developer Portal y crea una New Application. 

Ponle un nombre, por ejemplo OLO-Bot, y abre la sección Bot en la barra lateral. Discord crea un usuario bot para la aplicación, que Hermes usará para conectarse a tu servidor. 

En Privileged Gateway Intents, activa Message Content Intent y Server Members Intent, y guarda los cambios. 

Message Content permite al bot leer tus mensajes, mientras que Server Members ayuda a Hermes a identificar y autorizar usuarios. 

Activa Presence Intent solo si Hermes informa de un error relacionado con intents o si piensas usar presencia o voz. 

Copia el token del bot

En la página de Bot, copia o restablece el token del bot y guárdalo en privado. 

No lo pegues en capturas, no lo subas a GitHub ni lo compartas con nadie. 

Con un token de bot se puede controlar el bot de Discord.

Invita el bot a tu servidor

Abre Installation en el Discord Developer Portal. En Guild Install, activa los scopes bot y applications.commands. 

Después, otórgale los permisos necesarios, como:

• Ver canales
• Enviar mensajes
• Leer el historial de mensajes
• Insertar enlaces
• Adjuntar archivos
• Enviar mensajes en hilos
• Añadir reacciones

Copia el enlace de instalación generado, ábrelo en el navegador, selecciona tu servidor de Discord y autoriza el bot. 

Los bots de Discord se instalan en servidores con una URL OAuth2 usando el scope bot y los permisos que elijas. 

Encuentra tu ID de usuario de Discord

En Discord, abre User Settings → Advanced y activa Developer Mode. 

Haz clic derecho en tu nombre de usuario o foto y elige Copy User ID.

Hermes usa este ID numérico como entrada de la lista de permitidos. 

Es importante porque el bot puede reconocer tu nombre de usuario pero aun así rechazar tus mensajes hasta que se añada tu ID numérico.

Configura el gateway de Hermes

Ejecuta el asistente interactivo:

hermes gateway setup

Selecciona Discord cuando se te pida e introduce tu bot token y tu ID de usuario de Discord. 

Hermes ofrece este asistente para configurar plataformas de mensajería y puede iniciar o reiniciar el gateway al finalizar.

También puedes añadir los valores manualmente en el archivo de entorno de Hermes:

nano ~/.hermes/.env

Añade tu token y tu ID:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Inicia el gateway

Inicia Hermes Gateway:

hermes gateway

Tu bot debería aparecer en línea en Discord en unos segundos. 

Luego puedes enviarle un mensaje directo o mencionarlo en un canal del servidor:

@YourBotName Inspect this project and explain what it does.

7. Ejecuta Hermes en el navegador

Hermes también incluye un panel en el navegador, que te da una interfaz visual para chatear con tu agente local, revisar sesiones, consultar logs, gestionar skills y explorar archivos. 

Usa el mismo modelo local Qwythos y el endpoint de llama.cpp que configuraste antes.

Primero, ve al directorio del paquete de Hermes:

cd ~/.hermes/hermes-agent

Si esa carpeta no existe, prueba con la ruta de instalación a nivel de sistema:

cd /usr/local/lib/hermes-agent

Instala las dependencias opcionales del panel y de la terminal:

uv pip install -e ".[web,pty]"

Luego inicia el panel:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

Como --host 0.0.0.0 hace que el panel sea accesible más allá de localhost, Hermes te pedirá configurar autenticación. 

Selecciona Username & password, y crea un usuario y una contraseña robusta para el panel.

Cuando el servidor esté en marcha, abre esta dirección en tu navegador:

http://localhost:9119/login

Tras iniciar sesión, el panel te da acceso a varias áreas útiles. 

La pestaña Chat ejecuta la misma experiencia de Hermes en la terminal pero en el navegador, con streaming en vivo y salida de llamadas a herramientas. 

Puedes pedirle que inspeccione un proyecto, edite archivos, ejecute comandos o construya una aplicación sin quedarte en la terminal.

La página Sessions te permite revisar conversaciones previas.

Mientras que Skills muestra las capacidades e integraciones disponibles. 

También puedes ver archivos, logs, modelos, trabajos programados y el estado del gateway desde la barra lateral. 

Esto hace que el panel sea útil cuando quieres una forma más visual de gestionar tu agente local Qwythos.

Reflexiones finales

Llevaba tiempo oyendo hablar de Hermes Agent y de cómo muchos lo consideran uno de los agentes locales más capaces, mejor que OpenClaw, capaz de recordar trabajo pasado, construir contexto con el tiempo y crecer junto a un proyecto. 

Tras probarlo con Qwythos, entiendo por qué genera tanta expectación. 

La instalación está muy cuidada, la experiencia en terminal es potente y el panel en el navegador, el gateway para Discord, las skills, la memoria y las integraciones con herramientas hacen que se sienta más como una plataforma de agente completa que como una simple CLI para programar.

Mi experiencia fue algo distinta, eso sí. No me veo usando Hermes a diario para programación normal. 

Tiene muchas funciones, pero eso también lo hace más pesado de lo que necesito para retoques rápidos, depurar o montar proyectos pequeños. 

Para esas tareas, seguiría usando Pi Coding Agent u OpenCode porque son más simples, arrancan más rápido y encajan mejor con mi forma de trabajar.

Dicho esto, me gustó mucho usar el modelo Qwythos. 

Ejecutarlo en local con llama.cpp fue rápido, ágil y sorprendentemente capaz para tareas de programación. 

El modelo MTP también ofreció muy buena velocidad de generación, especialmente al producir código estructurado. 

Hermes merece la pena cuando buscas un sistema de agente local más completo, con acceso desde el navegador, integraciones de mensajería, herramientas, memoria y soporte para proyectos de larga duración. 

Pero para mi día a día programando, Qwythos con Pi Coding Agent u OpenCode es, probablemente, donde pase la mayor parte del tiempo.