Hermes Agent ile Mythos Geliştirmeli Qwen Modelini Yerelde Çalıştırın

Qwythos-9B-Claude-Mythos-5-1M, Qwen3.5-9B tabanlı, açık ağırlıklı 9B bir akıl yürütme modelidir ve Claude Mythos ve Fable akıl yürütme izleriyle eğitilmiştir. 

Güçlü akıl yürütme ve araç kullanımını 1M token bağlam penceresi, yerel işlev çağırma ve GGUF quantizasyonlarıyla pratik yerel dağıtım ile birleştirmesiyle öne çıkar. 

MTP sürümü ayrıca son llama.cpp derlemelerinde çoklu token kestirimi ve spekülatif kod çözmeyi destekler; bu da yerel ajan iş akışlarında üretim hızını artırmaya yardımcı olur. 

Kaynak: empero-ai (Empero) 

Bu rehberde, Qwythos-9B MTP Q6_K GGUF modelini llama.cpp ile yerelde nasıl çalıştıracağınızı ve terminal, tarayıcı ve Discord’da Hermes Agent’a nasıl bağlayacağınızı göstereceğim. 

Modeli indirecek, OpenAI uyumlu yerel bir uç nokta başlatacak, Hermes’i bunu kullanacak şekilde yapılandıracak, Discord erişimi için Hermes Messaging Gateway’i kuracak ve Hermes WebUI’ı yapılandıracaksınız.

1. Yerel Yapay Zekâ Çıkarımı için llama.cpp’yi Kurun

Bu kurulumda 16 GB VRAM’li RTX 5060 Ti kullanıyorum. Qwythos 9B Q6_K MTP quant bu GPU’da yerelde çalışabilir; ancak kullanılabilir bağlam uzunluğu mevcut VRAM’e ve KV-önbellek ayarlarına bağlı olacaktır.

Resmî yükleyici ile en güncel llama.cpp derlemesini kurun:

curl -LsSf https://llama.app/install.sh | sh

llama.cpp ikililerini kabuk yolunuza ekleyip terminali yeniden başlatın:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Kurulumun çalıştığını doğrulayın:

llama help

2. Qwythos 9B MTP GGUF Modelini İndirin

Hugging Face CLI ve hf-xet’i kurun; Xet depolama kullanan depolar için indirmeleri hızlandırabilir:

pip install -U "huggingface_hub[cli]" hf-xet

Model dosyaları için bir klasör oluşturun:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

Ayrık GPU’lu çoğu dizüstü bilgisayarda yaklaşık 6–8 GB VRAM bulunur; bu nedenle Q4 MTP quant bu sistemler için daha pratiktir. Daha az VRAM kullanır ve yine de spekülatif kod çözme için gereken MTP kestirim başlığını sağlar.

Ben 16 GB VRAM’li bir RTX 5060 Ti kullanıyorum; bu da daha yüksek kaliteli Q6_K quant’ını çalıştırmak ve daha büyük bağlam pencereleriyle denemeler yapmak için alan sağlıyor.

Yüksek performanslı aktarımları etkinleştirin, ardından Q6_K MTP quant’ını indirin:

export HF_XET_HIGH_PERFORMANCE=1

6 bit Qwythos model GGUF dosyasını indirin:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

Q6_K MTP dosyası, spekülatif kod çözme için gereken çoklu token kestirim başlığını içeren, Qwythos’un daha yüksek kaliteli quantize edilmiş bir sürümüdür. 

3. Yerel llama.cpp Sunucusunu Başlatın

Yeni bir terminal açın ve modeli indirdiğiniz klasöre işaret edin:

MODEL_DIR="/workspace/qwythos"

Ardından llama.cpp’yi Qwythos MTP modeliyle başlatın:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

En önemli ayarlar --n-gpu-layers all ve --ctx-size 100000’dır. İlki, çok daha hızlı çıkarım için modelin tamamını GPU’ya aktarır; ikincisi ise Qwythos’a 100K token’lık geniş bir bağlam penceresi verir. Daha büyük bağlam pencereleri daha fazla VRAM ister; bu nedenle belleği sınırlı GPU’larda bunu 32768 veya daha aşağı düşürün.

Qwythos çoklu token kestirimi kullanır; bu yüzden bu MTP modeli için --spec-type draft-mtp gereklidir. --spec-draft-n-max 6 ayarı, llama.cpp’nin en fazla altı token’ı önden tahmin etmeye çalışmasına izin verir; bu da özellikle kodlama gibi yapılandırılmış görevlerde üretim hızını artırabilir.

--flash-attn on dikkat verimliliğini artırır; Q8 KV-önbellek ayarları ise uzun girdilerde kaliteyi korumaya yardımcı olur. --temp, --top-p ve --top-k seçenekleri yanıt yaratıcılığını kontrol eder; bu değerler kodlama ve ajan görevleri için dengeli sonuç verir.

Yerel OpenAI uyumlu uç noktanız şu adreste olacak:

http://127.0.0.1:8910/v1

Ayrıca http://localhost:8910 adresini tarayıcınıza yapıştırarak llama.cpp web arayüzünü açabilir ve modeli doğrudan test edebilirsiniz. Bu, modeli Hermes’e bağlamadan önce yanıtları hızlıca kontrol etmek için kullanışlıdır.

Basit bir test için Qwythos’tan rastgele ilginç bir bilgi paylaşmasını istedim. Samanyolu hakkında bir bilgi verdi ve ortalama saniyede yaklaşık 64 token üretti.

Sonrasında ondan eksiksiz bir HTML portföy sitesi oluşturmasını istedim. 

Kod üretimi sırasında hız yaklaşık saniyede 102 token’a yükseldi; muhtemelen MTP modelinin yapılandırılmış kodda birden çok olası sonraki token’ı daha etkili tahmin edebilmesinden dolayı.

Nihai sonuç güçlü yerleşime ve temiz stile sahip, cilalı ve çalışan bir portföy sitesi oldu. Yerelde çalışan 9B bir model için çıktı kalitesi gerçekten etkileyiciydi.

4. Hermes Agent’ı Kurun ve Yapılandırın

Hermes Agent’ı kurmak için başka bir terminal açın:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Kurulum sırasında, özel bir yerel uç nokta yapılandırabilmek için Full Setup’ı seçin. 

Ardından Custom endpoint’i seçin ve llama.cpp sunucu adresinizi girin:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes, uç noktayı doğrulamalı ve llama.cpp üzerinden çalışan Qwythos modelini algılamalıdır. 

API uyumluluk modu için varsayılan Auto-detect seçeneğini koruyun. Bu seçenek, llama.cpp gibi standart OpenAI uyumlu uç noktalarla iyi çalışır.

Sonraki adımda terminal arka ucunu Local olarak seçin. 

Bu sayede Hermes doğrudan makinenizde çalışır ve başlattığınız klasöre erişir. 

Mesajlaşma ağ geçidini şimdi yapılandırmak istiyorsanız platform kurulumunda Discord’u da seçebilirsiniz; ancak bunu atlayıp daha sonra ekleyebilirsiniz.

Araçları seçerken, iş akışınız için gerekenleri etkinleştirin. 

Kodlama görevleri için başlıcaları File Operations, Terminal & Processes, Code Execution ve isteğe bağlı olarak Web Search & Scraping’dir. 

Hermes ardından kurulumu tamamlar ve yapılandırmasını ~/.hermes/ altında kaydeder.

Bir API hizmetini daha sonra yapılandırırsanız, anahtarını doğrudan bir komuta veya yapılandırma dosyasına eklemek yerine ortam değişkeni olarak saklayın. 

Örneğin OpenAI ve Tavily için:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Hermes artık hazır.

5. Yapay Zekâ Kodlama için Hermes Agent’ı Terminalde Çalıştırın

Hermes’in üzerinde çalışmasını istediğiniz projenin bulunduğu klasöre geçin. 

Bu örnekte yeni bir çalışma alanı oluşturdum:

mkdir /workspace/nonus
cd /workspace/nonus

Ardından Hermes’i başlatın:

hermes

Hermes doğrudan proje klasörünüzde açılır ve daha önce yapılandırdığınız llama.cpp uç noktası üzerinden yerel Qwythos modeline bağlanır. 

Dosyaları inceleyebilir, kod yazabilir, terminal komutları çalıştırabilir ve kurulum sırasında etkinleştirdiğiniz araçları kullanabilir.

Önce Hermes’ten HTML arayüze sahip küçük bir Flask hisse senedi tahmin uygulaması geliştirmesini istedim. 

Planı çıkardı, gerekli dosyaları oluşturdu ve Alpha Vantage API anahtarının nereye ekleneceği de dahil olmak üzere net çalışma talimatları verdi. 

Ayrıca daha basit bir istekle de test ettim: oynanabilir bir Yılan oyunu oluşturmak. 

Hermes Python oyun dosyasını üretti, kontrolleri ve yeniden başlatma mantığını ekledi ve yerelde çalıştırmak için bir komut sağladı. 

En iyi sonuçlar için Hermes’i düzenlemek istediğiniz proje dizininin içinde tutun. 

Bu, mevcut dosyaları anlamasına yardımcı olur ve sisteminizde alakasız dosyalar oluşturmasını önler.

6. Hermes Agent’ı Messaging Gateway ile Discord’a Bağlayın

Hermes Gateway, yerel Qwythos ajanınızla Discord üzerinden sohbet etmenizi sağlar. 

Bağlandıktan sonra, ajanınıza doğrudan mesaj gönderebilir veya bir sunucu kanalında onu etiketleyebilirsiniz; bu sırada ajan makinenizdeki yerel llama.cpp uç noktasını kullanmaya devam eder.

Discord botu oluşturun

Discord Geliştirici Portalı’nı açın ve bir New Application oluşturun. 

Bir ad verin, örneğin OLO-Bot; ardından sol kenar çubuğundan Bot bölümünü açın. Discord uygulama için bir bot kullanıcısı oluşturur; Hermes bunu sunucunuza bağlanmak için kullanacaktır. 

Privileged Gateway Intents altında Message Content Intent ve Server Members Intent seçeneklerini etkinleştirip değişiklikleri kaydedin. 

Message Content, botun mesajlarınızı okumasını sağlar; Server Members ise Hermes’in kullanıcıları tanımlayıp yetkilendirmesine yardımcı olabilir. 

Presence Intent’i yalnızca Hermes niyetle ilgili bir hata bildirdiğinde veya presence/ses özelliklerini kullanmayı planladığınızda etkinleştirin. 

Bot belirtecini kopyalayın

Hâlâ Bot sayfasındayken, bot belirtecini kopyalayın veya sıfırlayın ve gizli bir yerde saklayın. 

Ekran görüntülerine yapıştırmayın, GitHub’a göndermeyin veya kimseyle paylaşmayın. 

Bir bot belirteci Discord botunu kontrol etmek için kullanılabilir.

Botu sunucunuza davet edin

Discord Geliştirici Portalı’nda Installation bölümünü açın. Guild Install altında bot ve applications.commands kapsamlarını etkinleştirin. 

Ardından bota ihtiyaç duyduğu izinleri verin; örneğin:

• Kanalları Görüntüle
• Mesaj Gönder
• Mesaj Geçmişini Oku
• Bağlantıları Göm
• Dosya Ekle
• Konularda Mesaj Gönder
• Tepki Ekle

Oluşturulan kurulum bağlantısını kopyalayın, tarayıcınızda açın, Discord sunucunuzu seçin ve botu yetkilendirin. 

Discord botları, bot kapsamı ve seçtiğiniz izinlerle bir OAuth2 URL’si üzerinden sunuculara kurulur. 

Discord Kullanıcı Kimliğinizi bulun

Discord’da User Settings → Advanced bölümünü açın ve Developer Mode’u etkinleştirin. 

Kullanıcı adınıza veya profil resminize sağ tıklayın ve Copy User ID’yi seçin.

Hermes bu sayısal kimliği izin listesi girişi olarak kullanır. 

Bu önemlidir; çünkü bot kullanıcı adınızı tanıyabilir ancak sayısal Discord kimliğiniz eklenene kadar mesajlarınızı reddedebilir.

Hermes gateway’i yapılandırın

Etkileşimli kurulum komutunu çalıştırın:

hermes gateway setup

İstendiğinde Discord’u seçin; ardından bot belirtecinizi ve Discord kullanıcı kimliğinizi girin. 

Hermes, mesajlaşma platformlarını yapılandırmak için bu kurulum sihirbazını sunar ve kurulumdan sonra ağ geçidini başlatabilir veya yeniden başlatabilir.

Değerleri Hermes ortam dosyasına elle de ekleyebilirsiniz:

nano ~/.hermes/.env

Belirtecinizi ve kullanıcı kimliğinizi ekleyin:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Ağ geçidini başlatın

Hermes Gateway’i başlatın:

hermes gateway

Botunuz birkaç saniye içinde Discord’da çevrimiçi görünmelidir. 

Ardından ona doğrudan mesaj gönderebilir veya bir sunucu kanalında bahsedebilirsiniz:

@YourBotName Inspect this project and explain what it does.

7. Hermes’i Tarayıcıda Çalıştırın

Hermes ayrıca yerel ajanınızla sohbet etmek, oturumları gözden geçirmek, günlükleri kontrol etmek, becerileri yönetmek ve dosyalara göz atmak için görsel bir arayüz sunan bir tarayıcı panosuna sahiptir. 

Daha önce yapılandırdığınız aynı yerel Qwythos modelini ve llama.cpp uç noktasını kullanır.

Önce Hermes paket dizinine geçin:

cd ~/.hermes/hermes-agent

Bu klasör yoksa sistem geneli kurulum yolunu deneyin:

cd /usr/local/lib/hermes-agent

İsteğe bağlı pano ve terminal bağımlılıklarını kurun:

uv pip install -e ".[web,pty]"

Ardından panoyu başlatın:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

--host 0.0.0.0 panoyu localhost’un ötesinde erişilebilir kıldığı için Hermes kimlik doğrulaması ayarlamanızı ister. 

Username & password seçeneğini belirleyin; ardından pano için bir kullanıcı adı ve güçlü bir parola oluşturun.

Sunucu başladıktan sonra bu adresi tarayıcınızda açın:

http://localhost:9119/login

Oturum açtıktan sonra pano size birkaç faydalı alana erişim sağlar. 

Chat sekmesi, canlı akış yanıtları ve araç çağrısı çıktısı dâhil olmak üzere, tarayıcıda aynı Hermes terminal deneyimini sunar. 

Ondan bir projeyi incelemesini, dosyaları düzenlemesini, komutlar çalıştırmasını veya terminalde kalmadan bir uygulama inşa etmesini isteyebilirsiniz.

Sessions sayfası geçmiş konuşmaları gözden geçirmenizi sağlar.

Skills ise mevcut yetenekleri ve entegrasyonları gösterir. 

Ayrıca kenar çubuğundan dosyaları, günlükleri, modelleri, zamanlanmış işleri ve ağ geçidi durumunu görüntüleyebilirsiniz. 

Bu da yerel Qwythos ajanınızı daha görsel bir şekilde yönetmek istediğinizde panoyu faydalı kılar.

Son Düşünceler

Hermes Agent hakkında çok şey duyuyordum ve birçok kişinin onu en yetenekli yerel ajanlardan biri olarak, OpenClaw’dan daha iyi gördüğünü; geçmiş çalışmaları hatırlayabildiğini, zaman içinde bağlam oluşturabildiğini ve projeyle birlikte büyüyebildiğini söylüyordu. 

Qwythos ile test ettikten sonra insanların neden heyecanlı olduğunu anlayabiliyorum. 

Kurulum özenli, terminal deneyimi güçlü ve tarayıcı panosu, Discord ağ geçidi, beceriler, bellek ve araç entegrasyonları; onu basit bir kodlama CLI’ından çok tam teşekküllü bir ajan platformu gibi hissettiriyor.

Yine de benim deneyimim biraz farklıydı. Hermes’i günlük normal kodlama işlerimde her gün kullanacağımı sanmıyorum. 

Pek çok özelliği var; ancak bu aynı zamanda hızlı düzenlemeler, hata ayıklama veya küçük projeler için ihtiyaç duyduğumdan daha ağır hissettiriyor. 

Bu görevler için hâlâ Pi Coding Agent veya OpenCode’u tercih ederim; çünkü daha basitler, hızlı başlıyorlar ve alışıldık iş akışıma daha doğal uyuyorlar.

Bununla birlikte, Qwythos modelini kullanmayı gerçekten sevdim. 

Onu llama.cpp üzerinden yerelde çalıştırmak hızlı, tepkisel ve kodlama görevleri için şaşırtıcı derecede yetenekliydi. 

MTP modeli ayrıca özellikle yapılandırılmış kod üretiminde güçlü bir üretim hızı sundu. 

Tarayıcı erişimi, mesajlaşma entegrasyonları, araçlar, bellek ve uzun soluklu proje desteğiyle daha kapsamlı bir yerel ajan sistemi istediğinizde Hermes denemeye değer. 

Ancak günlük kodlama kurulumum için muhtemelen zamanımın çoğunu Pi Coding Agent veya OpenCode ile Qwythos üzerinde geçireceğim.