Execute um modelo Qwen com Mythos Enhanced localmente com o Hermes Agent

Qwythos-9B-Claude-Mythos-5-1M é um modelo open-weight de 9B para raciocínio, baseado no Qwen3.5-9B e treinado com Claude Mythos e Fable (trilhas de raciocínio). 

Ele se destaca por combinar raciocínio forte e uso de ferramentas com janela de contexto de 1M tokens, function calling nativo e implantação local prática por meio de quantizações GGUF. 

A versão MTP também oferece suporte a previsão multi-token e decodificação especulativa nas versões recentes do llama.cpp, ajudando a aumentar a velocidade de geração em fluxos de trabalho de agentes locais. 

Fonte: empero-ai (Empero) 

Neste guia, vou mostrar como executar o Qwythos-9B MTP Q6_K GGUF localmente com o llama.cpp e conectá-lo ao Hermes Agent no terminal, no navegador e no Discord. 

Você vai baixar o modelo, iniciar um endpoint local compatível com OpenAI, configurar o Hermes para usá-lo, configurar o Hermes Messaging Gateway para acesso pelo Discord e configurar a WebUI do Hermes.

1. Instale o llama.cpp para inferência de IA local

Para esta configuração, estou usando uma RTX 5060 Ti com 16 GB de VRAM. O Qwythos 9B Q6_K MTP roda localmente nessa GPU, embora o comprimento de contexto utilizável dependa da VRAM disponível e das configurações de KV-cache.

Instale a versão mais recente do llama.cpp usando o instalador oficial:

curl -LsSf https://llama.app/install.sh | sh

Adicione os binários do llama.cpp ao seu PATH do shell e reinicie o terminal:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Verifique se a instalação funcionou:

llama help

2. Baixe o modelo Qwythos 9B MTP GGUF

Instale o CLI do Hugging Face e o hf-xet, que pode acelerar downloads de repositórios que usam armazenamento Xet:

pip install -U "huggingface_hub[cli]" hf-xet

Crie uma pasta para os arquivos do modelo:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

A maioria dos notebooks com GPU dedicada tem cerca de 6–8 GB de VRAM, então a quantização Q4 MTP costuma ser a opção mais prática nesses sistemas. Ela usa menos VRAM e ainda oferece a cabeça de previsão MTP necessária para decodificação especulativa.

Estou usando uma RTX 5060 Ti com 16 GB de VRAM, o que me dá margem para rodar a quantização de maior qualidade Q6_K e testar janelas de contexto maiores.

Habilite transferências de alto desempenho e, em seguida, baixe a quantização Q6_K MTP:

export HF_XET_HIGH_PERFORMANCE=1

Baixe o arquivo GGUF do modelo Qwythos de 6 bits:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

O arquivo Q6_K MTP é uma versão quantizada de maior qualidade do Qwythos que inclui a cabeça de previsão multi-token necessária para decodificação especulativa. 

3. Inicie o servidor local do llama.cpp

Abra um novo terminal e aponte para a pasta onde você baixou o modelo:

MODEL_DIR="/workspace/qwythos"

Em seguida, inicie o llama.cpp com o modelo Qwythos MTP:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

As configurações mais importantes são --n-gpu-layers all e --ctx-size 100000. A primeira descarrega o modelo inteiro para a sua GPU, acelerando muito a inferência; a segunda dá ao Qwythos uma janela de contexto grande, de 100K tokens. Janelas maiores exigem mais VRAM, então reduza para 32768 ou menos em GPUs com memória limitada.

Qwythos usa previsão multi-token, então --spec-type draft-mtp é obrigatório para este modelo MTP. A opção --spec-draft-n-max 6 permite que o llama.cpp tente prever até seis tokens à frente, o que pode melhorar a velocidade de geração, especialmente em tarefas estruturadas como programação.

--flash-attn on melhora a eficiência da atenção, enquanto as configurações de KV-cache em Q8 ajudam a manter a qualidade em prompts mais longos. As opções --temp, --top-p e --top-k controlam a criatividade das respostas, e esses valores dão um bom equilíbrio para tarefas de código e de agente.

Seu endpoint local compatível com OpenAI ficará disponível em:

http://127.0.0.1:8910/v1

Você também pode colar a URL http://localhost:8910 no navegador para abrir a interface web do llama.cpp e testar o modelo diretamente. Isso é útil para checar rapidamente as respostas antes de conectar o modelo ao Hermes.

Para um teste básico, pedi ao Qwythos um fato curioso aleatório. Ele respondeu com um fato sobre a Via Láctea e gerou cerca de 64 tokens por segundo, em média.

Depois, pedi que criasse um site de portfólio completo em HTML. 

Durante a programação, a velocidade de geração subiu para cerca de 102 tokens por segundo, provavelmente porque o modelo MTP consegue prever vários próximos tokens com mais eficiência em código estruturado.

O resultado final foi um site de portfólio pronto e bem acabado, com layout sólido e estilo limpo. Para um modelo local de 9B, a qualidade impressionou de verdade.

4. Instale e configure o Hermes Agent

Abra outro terminal e instale o Hermes Agent:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Durante a configuração, escolha Full Setup para poder definir um endpoint local personalizado. 

Depois, selecione Custom endpoint e informe o endereço do seu servidor llama.cpp:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

O Hermes deve verificar o endpoint e detectar o modelo Qwythos rodando no llama.cpp. 

Para o modo de compatibilidade de API, mantenha a opção padrão Auto-detect. Ela funciona bem com endpoints compatíveis com OpenAI, como o llama.cpp.

Em seguida, selecione Local como backend do terminal. 

Isso permite que o Hermes rode direto na sua máquina e acesse a pasta de onde você o iniciar. 

Você também pode selecionar Discord durante a configuração das plataformas, se quiser ajustar o gateway de mensagens agora, mas dá para pular e adicionar depois.

Ao escolher as ferramentas, habilite as que você precisa para o seu fluxo de trabalho. 

Para tarefas de código, as principais são File Operations, Terminal & Processes, Code Execution e, opcionalmente, Web Search & Scraping. 

O Hermes então finaliza a instalação e salva a configuração em ~/.hermes/.

Se você configurar algum serviço de API depois, armazene a chave de API como variável de ambiente, em vez de colocá-la direto em um comando ou arquivo de configuração. 

Por exemplo, para OpenAI e Tavily:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Pronto, o Hermes está configurado.

5. Rode o Hermes Agent no terminal para codificação com IA

Vá para a pasta que contém o projeto no qual você quer que o Hermes trabalhe. 

Neste exemplo, criei um novo workspace:

mkdir /workspace/nonus
cd /workspace/nonus

Depois, inicie o Hermes:

hermes

O Hermes abre direto dentro da pasta do seu projeto e se conecta ao modelo local Qwythos por meio do endpoint do llama.cpp que você configurou antes. 

Ele pode inspecionar arquivos, escrever código, executar comandos no terminal e usar as ferramentas ativadas na configuração.

Primeiro pedi ao Hermes para criar um pequeno app de previsão de ações em Flask com interface HTML. 

Ele planejou o trabalho, criou os arquivos necessários e retornou instruções claras de execução, incluindo onde adicionar a chave da API do Alpha Vantage. 

Também testei com um pedido mais simples: criar um jogo da cobrinha (Snake) jogável. 

O Hermes gerou o arquivo do jogo em Python, adicionou os controles e a lógica de reinício e forneceu um comando para rodá-lo localmente. 

Para melhores resultados, mantenha o Hermes dentro do diretório do projeto que você quer editar. 

Isso ajuda o agente a entender os arquivos disponíveis e evita que ele crie arquivos fora de contexto em outras partes do sistema.

6. Conecte o Hermes Agent ao Discord via Messaging Gateway

Hermes Gateway permite que você converse com seu agente Qwythos local pelo Discord. 

Depois de conectado, você pode enviar DM para o agente ou mencioná-lo em um canal do servidor, enquanto ele continua usando o endpoint local do llama.cpp na sua máquina.

Crie um bot do Discord

Abra o Discord Developer Portal e crie uma New Application. 

Dê um nome, por exemplo OLO-Bot, depois abra a seção Bot na barra lateral esquerda. O Discord cria um usuário bot para a aplicação, que o Hermes usará para se conectar ao seu servidor. 

Em Privileged Gateway Intents, habilite Message Content Intent e Server Members Intent e salve as alterações. 

Message Content permite que o bot leia suas mensagens, enquanto Server Members ajuda o Hermes a identificar e autorizar usuários. 

Habilite Presence Intent apenas se o Hermes relatar um erro relacionado a intents ou se você planeja usar presença ou voz. 

Copie o token do bot

Ainda na página Bot, copie ou redefina o token do bot e guarde-o em local privado. 

Não cole em capturas de tela, não faça commit no GitHub nem compartilhe com ninguém. 

Um token de bot pode ser usado para controlar o bot do Discord.

Convide o bot para seu servidor

Abra Installation no Discord Developer Portal. Em Guild Install, habilite os escopos bot e applications.commands. 

Depois, dê ao bot as permissões necessárias, incluindo:

• View Channels
• Send Messages
• Read Message History
• Embed Links
• Attach Files
• Send Messages in Threads
• Add Reactions

Copie o link de instalação gerado, abra no navegador, selecione seu servidor do Discord e autorize o bot. 

Bots do Discord são instalados nos servidores por meio de uma URL OAuth2 usando o escopo bot e as permissões que você selecionar. 

Encontre seu ID de usuário do Discord

No Discord, abra User Settings → Advanced e ative o Developer Mode. 

Clique com o botão direito no seu nome de usuário ou avatar e escolha Copy User ID.

O Hermes usa esse ID numérico como entrada em uma allowlist. 

Isso é importante porque o bot pode reconhecer seu nome de usuário e ainda assim rejeitar suas mensagens até que seu ID numérico seja adicionado.

Configure o gateway do Hermes

Execute o comando de configuração interativa:

hermes gateway setup

Selecione Discord quando solicitado e informe o token do seu bot e seu ID de usuário do Discord. 

O Hermes fornece esse assistente para configurar plataformas de mensagens e pode iniciar ou reiniciar o gateway após a configuração.

Você também pode adicionar os valores manualmente no arquivo de ambiente do Hermes:

nano ~/.hermes/.env

Adicione seu token e seu ID de usuário:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Inicie o gateway

Inicie o Hermes Gateway:

hermes gateway

Seu bot deve aparecer online no Discord em alguns segundos. 

Você pode enviar mensagem direta para ele ou mencioná-lo em um canal do servidor:

@YourBotName Inspect this project and explain what it does.

7. Rode o Hermes no navegador

O Hermes também inclui um dashboard no navegador, que oferece uma interface visual para conversar com seu agente local, revisar sessões, checar logs, gerenciar skills e navegar por arquivos. 

Ele usa o mesmo modelo Qwythos local e o endpoint do llama.cpp que você configurou anteriormente.

Primeiro, vá para o diretório do pacote do Hermes:

cd ~/.hermes/hermes-agent

Se essa pasta não existir, tente o caminho de instalação no sistema:

cd /usr/local/lib/hermes-agent

Instale as dependências opcionais do dashboard e do terminal:

uv pip install -e ".[web,pty]"

Depois, inicie o dashboard:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

Como --host 0.0.0.0 deixa o dashboard acessível além do localhost, o Hermes vai pedir para você configurar autenticação. 

Selecione Username & password e crie um usuário e uma senha forte para o dashboard.

Quando o servidor iniciar, abra este endereço no navegador:

http://localhost:9119/login

Após fazer login, o dashboard dá acesso a várias áreas úteis. 

A aba Chat roda a mesma experiência do terminal do Hermes no navegador, incluindo streaming das respostas e saída de chamadas de ferramentas. 

Você pode pedir para inspecionar um projeto, editar arquivos, executar comandos ou criar uma aplicação sem ficar preso ao terminal.

A página Sessions permite revisar conversas anteriores.

Enquanto Skills mostra as capacidades e integrações disponíveis. 

Você também pode ver arquivos, logs, modelos, jobs agendados e o status do gateway na barra lateral. 

Isso torna o dashboard útil quando você quer uma forma mais visual de gerenciar seu agente Qwythos local.

Considerações finais

Eu vinha ouvindo bastante sobre o Hermes Agent e como muita gente o considera um dos agentes locais mais capazes, melhor que o OpenClaw, capaz de lembrar trabalhos passados, construir contexto ao longo do tempo e evoluir junto com o projeto. 

Depois de testá-lo com o Qwythos, dá para entender a empolgação. 

A configuração é caprichada, a experiência no terminal é sólida e o dashboard no navegador, o gateway para Discord, as skills, a memória e as integrações com ferramentas fazem o conjunto parecer uma plataforma de agente completa, não só um CLI de código.

Minha experiência pessoal foi um pouco diferente. Não me vejo usando o Hermes todo dia para o trabalho de código comum. 

Ele tem muitos recursos, mas isso também o deixa mais pesado do que eu preciso para edições rápidas, debugging ou projetos pequenos. 

Para essas tarefas, ainda prefiro usar Pi Coding Agent ou OpenCode, porque são mais simples, iniciam mais rápido e se encaixam melhor no meu fluxo de trabalho.

Dito isso, gostei bastante de usar o modelo Qwythos. 

Rodá-lo localmente via llama.cpp foi rápido, responsivo e surpreendentemente capaz para tarefas de código. 

O modelo MTP também entregou ótima velocidade de geração, especialmente ao produzir código estruturado. 

Vale a pena experimentar o Hermes quando você quer um sistema de agente local mais completo, com acesso via navegador, integrações de mensagens, ferramentas, memória e suporte a projetos de longa duração. 

Mas, para meu setup do dia a dia, Qwythos com Pi Coding Agent ou OpenCode provavelmente será onde vou passar a maior parte do tempo.