Esegui in locale un modello Qwen potenziato Mythos con Hermes Agent

Qwythos-9B-Claude-Mythos-5-1M è un modello di ragionamento open-weight da 9B basato su Qwen3.5-9B e addestrato su Claude Mythos e tracce di ragionamento Fable. 

Si distingue per combinare forti capacità di ragionamento e uso di strumenti con una finestra di contesto da 1M di token, function calling nativo e distribuzione locale pratica tramite quantizzazioni GGUF. 

La versione MTP supporta anche multi-token prediction e speculative decoding nelle build recenti di llama.cpp, contribuendo a migliorare la velocità di generazione per i workflow agent locali. 

Fonte: empero-ai (Empero) 

In questa guida ti mostrerò come eseguire in locale Qwythos-9B MTP Q6_K GGUF con llama.cpp e collegarlo a Hermes Agent nel terminale, nel browser e su Discord. 

Scaricherai il modello, avvierai un endpoint locale compatibile con OpenAI, configurerai Hermes per usarlo, imposterai l’Hermes Messaging Gateway per l’accesso via Discord e configurerai l’Hermes WebUI.

1. Installa llama.cpp per inferenza AI locale

Per questo setup sto usando una RTX 5060 Ti con 16 GB di VRAM. Il quant Q6_K MTP di Qwythos 9B può girare in locale su questa GPU, anche se la lunghezza di contesto utilizzabile dipenderà dalla VRAM disponibile e dalle impostazioni della KV-cache.

Installa l’ultima build di llama.cpp usando l’installer ufficiale:

curl -LsSf https://llama.app/install.sh | sh

Aggiungi i binari di llama.cpp al tuo PATH della shell e riavvia il terminale:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Verifica che l’installazione sia andata a buon fine:

llama help

2. Scarica il modello Qwythos 9B MTP GGUF

Installa la CLI di Hugging Face e hf-xet, che può velocizzare i download per i repository che usano l’archiviazione Xet:

pip install -U "huggingface_hub[cli]" hf-xet

Crea una cartella per i file del modello:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

La maggior parte dei laptop con GPU dedicate hanno circa 6–8 GB di VRAM, quindi il quant MTP Q4 è la scelta più pratica per quei sistemi. Usa meno VRAM pur offrendo la testa di previsione MTP necessaria per lo speculative decoding.

Io sto usando una RTX 5060 Ti con 16 GB di VRAM, che mi lascia più margine per eseguire il quant Q6_K di qualità superiore ed esplorare finestre di contesto più ampie.

Abilita i trasferimenti ad alte prestazioni, poi scarica il quant Q6_K MTP:

export HF_XET_HIGH_PERFORMANCE=1

Scarica il file GGUF del modello Qwythos a 6 bit:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

Il file Q6_K MTP è una versione quantizzata di qualità superiore di Qwythos che include la testa di previsione multi-token necessaria per lo speculative decoding. 

3. Avvia il server locale di llama.cpp

Apri un nuovo terminale e puntalo alla cartella in cui hai scaricato il modello:

MODEL_DIR="/workspace/qwythos"

Poi avvia llama.cpp con il modello MTP di Qwythos:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

Le impostazioni più importanti sono --n-gpu-layers all e --ctx-size 100000. La prima scarica l’intero modello sulla GPU per un’inferenza molto più veloce, mentre la seconda fornisce a Qwythos una grande finestra di contesto da 100K token. Finestre di contesto più ampie richiedono più VRAM, quindi riduci questo valore a 32768 o meno su GPU con memoria limitata.

Qwythos usa la previsione multi-token, quindi --spec-type draft-mtp è richiesto per questo modello MTP. L’impostazione --spec-draft-n-max 6 permette a llama.cpp di provare a prevedere fino a sei token in avanti, il che può migliorare la velocità di generazione, soprattutto per compiti strutturati come il coding.

--flash-attn on migliora l’efficienza dell’attenzione, mentre le impostazioni KV-cache Q8 aiutano a mantenere la qualità per prompt più lunghi. Le opzioni --temp, --top-p e --top-k controllano la creatività della risposta, con questi valori che offrono un risultato bilanciato per compiti di coding e agent.

Il tuo endpoint locale compatibile con OpenAI sarà disponibile a:

http://127.0.0.1:8910/v1

Puoi anche incollare questo URL http://localhost:8910 nel browser per aprire l’interfaccia web di llama.cpp e testare direttamente il modello. È utile per controllare rapidamente le risposte prima di collegare il modello a Hermes.

Per un test di base, ho chiesto a Qwythos di condividere una curiosità casuale. Ha risposto con un fatto sulla Via Lattea e ha generato in media circa 64 token al secondo.

Poi gli ho chiesto di costruire un sito portfolio HTML completo. 

Durante la generazione di codice, la velocità è salita a circa 102 token al secondo, probabilmente perché il modello MTP può prevedere più probabilità di token successivi in modo più efficace nel codice strutturato.

Il risultato finale è stato un sito portfolio rifinito e funzionante, con un layout solido e uno stile pulito. Per un modello da 9B in locale, la qualità dell’output è stata davvero notevole.

4. Installa e configura Hermes Agent

Apri un altro terminale e installa Hermes Agent:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Durante il setup, scegli Full Setup così potrai configurare un endpoint locale personalizzato. 

Poi seleziona Custom endpoint e inserisci l’indirizzo del tuo server llama.cpp:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes dovrebbe verificare l’endpoint e rilevare il modello Qwythos in esecuzione da llama.cpp. 

Per la modalità di compatibilità API, lascia l’opzione predefinita Auto-detect. Funziona bene con endpoint standard compatibili con OpenAI, come llama.cpp.

Successivamente, seleziona Local come backend del terminale. 

Questo permette a Hermes di girare direttamente sulla tua macchina e accedere alla cartella da cui lo avvii. 

Puoi anche selezionare Discord durante il setup della piattaforma se vuoi configurare ora il messaging gateway, ma puoi saltare e aggiungerlo in seguito.

Quando scegli gli strumenti, abilita quelli di cui hai bisogno per il tuo workflow. 

Per i compiti di coding, i principali sono File Operations, Terminal & Processes, Code Execution e, opzionalmente, Web Search & Scraping. 

Hermes completerà quindi l’installazione e salverà la configurazione in ~/.hermes/.

Se configuri un servizio API in un secondo momento, archivia la sua API key come variabile d’ambiente invece di aggiungerla direttamente a un comando o file di configurazione. 

Per esempio, per OpenAI e Tavily:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Hermes è pronto.

5. Esegui Hermes Agent nel terminale per il coding AI

Spostati nella cartella che contiene il progetto su cui vuoi far lavorare Hermes. 

Per questo esempio ho creato un nuovo workspace:

mkdir /workspace/nonus
cd /workspace/nonus

Poi avvia Hermes:

hermes

Hermes si apre direttamente all’interno della cartella del tuo progetto e si collega al modello locale Qwythos tramite l’endpoint llama.cpp che hai configurato in precedenza. 

Può ispezionare file, scrivere codice, eseguire comandi da terminale e usare gli strumenti che hai abilitato durante il setup.

Per cominciare, ho chiesto a Hermes di creare una piccola app Flask per la previsione di titoli con un’interfaccia HTML. 

Ha pianificato il lavoro, creato i file richiesti e restituito istruzioni di esecuzione chiare, incluso dove aggiungere l’API key di Alpha Vantage. 

L’ho testato anche con una richiesta più semplice: creare un gioco Snake giocabile. 

Hermes ha generato il file di gioco in Python, aggiunto i controlli e la logica di riavvio e fornito un comando per eseguirlo in locale. 

Per risultati migliori, mantieni Hermes all’interno della directory del progetto che vuoi modificare. 

Questo lo aiuta a capire i file disponibili ed evita che crei file non correlati altrove nel sistema.

6. Collega Hermes Agent a Discord tramite Messaging Gateway

Hermes Gateway ti permette di chattare con il tuo agent Qwythos locale tramite Discord. 

Una volta connesso, puoi inviare un messaggio diretto all’agent o menzionarlo in un canale del server mentre continua a usare l’endpoint locale di llama.cpp sulla tua macchina.

Crea un bot Discord

Apri il Discord Developer Portal e crea una New Application. 

Dalle un nome, per esempio OLO-Bot, poi apri la sezione Bot nella sidebar sinistra. Discord crea un utente bot per l’applicazione, che Hermes userà per connettersi al tuo server. 

Sotto Privileged Gateway Intents, abilita Message Content Intent e Server Members Intent, poi salva le modifiche. 

Message Content permette al bot di leggere i tuoi messaggi, mentre Server Members può aiutare Hermes a identificare e autorizzare gli utenti. 

Abilita Presence Intent solo quando Hermes segnala un errore legato agli intent o quando prevedi di usare funzionalità di presenza o voce. 

Copia il token del bot

Sempre nella pagina Bot, copia o reimposta il token del bot e conservalo in un luogo privato. 

Non incollarlo in screenshot, non committarlo su GitHub e non condividerlo con nessuno. 

Un token di bot può essere usato per controllare il bot di Discord.

Invita il bot sul tuo server

Apri Installation nel Discord Developer Portal. In Guild Install, abilita gli scope bot e applications.commands. 

Poi assegna al bot i permessi necessari, tra cui:

• View Channels
• Send Messages
• Read Message History
• Embed Links
• Attach Files
• Send Messages in Threads
• Add Reactions

Copia il link di installazione generato, aprilo nel browser, seleziona il tuo server Discord e autorizza il bot. 

I bot Discord vengono installati nei server tramite un URL OAuth2 usando lo scope bot e i permessi che selezioni. 

Trova il tuo Discord User ID

In Discord, apri User Settings → Advanced e abilita Developer Mode. 

Clic destro sul tuo username o sulla foto profilo e scegli Copy User ID.

Hermes usa questo ID numerico come voce nella allowlist. 

È importante perché il bot può riconoscere il tuo username ma comunque rifiutare i tuoi messaggi finché il tuo ID numerico Discord non viene aggiunto.

Configura l’Hermes gateway

Esegui il comando di setup interattivo:

hermes gateway setup

Seleziona Discord quando richiesto, poi inserisci il token del bot e il tuo Discord user ID. 

Hermes fornisce questa procedura guidata per configurare le piattaforme di messaggistica e può avviare o riavviare il gateway dopo il setup.

Puoi anche aggiungere i valori manualmente al file di ambiente di Hermes:

nano ~/.hermes/.env

Aggiungi il tuo token e user ID:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Avvia il gateway

Avvia Hermes Gateway:

hermes gateway

Il tuo bot dovrebbe risultare online su Discord entro pochi secondi. 

Puoi quindi mandargli un messaggio diretto o menzionarlo in un canale del server:

@YourBotName Inspect this project and explain what it does.

7. Esegui Hermes nel browser

Hermes include anche una dashboard nel browser, che ti offre un’interfaccia visiva per chattare con il tuo agent locale, rivedere le sessioni, controllare i log, gestire le skill e sfogliare i file. 

Usa lo stesso modello locale Qwythos e l’endpoint llama.cpp che hai configurato in precedenza.

Per prima cosa, spostati nella directory del pacchetto Hermes:

cd ~/.hermes/hermes-agent

Se quella cartella non esiste, prova invece il percorso di installazione di sistema:

cd /usr/local/lib/hermes-agent

Installa le dipendenze opzionali per dashboard e terminale:

uv pip install -e ".[web,pty]"

Poi avvia la dashboard:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

Poiché --host 0.0.0.0 rende la dashboard accessibile oltre localhost, Hermes ti chiederà di impostare l’autenticazione. 

Seleziona Username & password, quindi crea un username e una password robusta per la dashboard.

Quando il server è avviato, apri questo indirizzo nel browser:

http://localhost:9119/login

Dopo l’accesso, la dashboard ti dà accesso a diverse aree utili. 

La scheda Chat esegue la stessa esperienza del terminale Hermes nel browser, incluse risposte in streaming live e output delle chiamate agli strumenti. 

Puoi chiedergli di ispezionare un progetto, modificare file, eseguire comandi o creare un’app senza restare nel terminale.

La pagina Sessions ti permette di rivedere conversazioni precedenti.

Mentre Skills mostra le capacità e integrazioni disponibili. 

Puoi anche visualizzare file, log, modelli, job pianificati e stato del gateway dalla sidebar. 

Questo rende la dashboard utile quando vuoi un modo più visuale per gestire il tuo agent Qwythos locale.

Considerazioni finali

Avevo sentito molto parlare di Hermes Agent e di come molti lo considerino uno degli agent locali più capaci in circolazione, migliore di OpenClaw, capace di ricordare il lavoro passato, costruire contesto nel tempo e crescere insieme a un progetto. 

Dopo averlo testato con Qwythos, capisco perché susciti entusiasmo. 

Il setup è curato, l’esperienza nel terminale è solida e la dashboard nel browser, il gateway Discord, le skill, la memoria e le integrazioni con gli strumenti lo fanno sembrare più una piattaforma agent completa che una semplice CLI per il coding.

La mia esperienza personale è stata un po’ diversa. Non credo che userò Hermes ogni giorno per il lavoro di coding normale. 

Ha molte funzionalità, ma questo lo fa anche sembrare più pesante di quanto mi serva per modifiche rapide, debug o piccoli progetti. 

Per questi compiti, sceglierei ancora Pi Coding Agent o OpenCode perché sono più semplici, più rapidi da avviare e si integrano più naturalmente nel mio flusso di lavoro abituale.

Detto questo, mi è piaciuto molto usare il modello Qwythos. 

Eseguirlo in locale tramite llama.cpp è stato veloce, reattivo e sorprendentemente capace per i compiti di coding. 

Il modello MTP ha offerto anche un’ottima velocità di generazione, soprattutto nella produzione di codice strutturato. 

Hermes vale la pena quando vuoi un sistema agent locale più completo, con accesso via browser, integrazioni di messaggistica, strumenti, memoria e supporto per progetti di lunga durata. 

Ma per il mio setup quotidiano di coding, probabilmente passerò la maggior parte del tempo con Qwythos abbinato a Pi Coding Agent o OpenCode.