Chạy mô hình Qwen nâng cấp Mythos cục bộ với Hermes Agent

Qwythos-9B-Claude-Mythos-5-1M là mô hình suy luận open-weight 9B dựa trên Qwen3.5-9B và được huấn luyện trên Claude Mythos và dấu vết suy luận Fable. 

Điểm nổi bật là kết hợp khả năng suy luận mạnh và dùng công cụ với cửa sổ ngữ cảnh 1M token, gọi hàm gốc (native function calling) và triển khai cục bộ tiện dụng qua các bản lượng tử hóa GGUF. 

Phiên bản MTP cũng hỗ trợ dự đoán đa token và giải mã suy đoán (speculative decoding) trong các bản dựng llama.cpp gần đây, giúp tăng tốc sinh trong quy trình agent cục bộ. 

Nguồn: empero-ai (Empero) 

Trong hướng dẫn này, tôi sẽ chỉ bạn cách chạy Qwythos-9B MTP Q6_K GGUF cục bộ với llama.cpp và kết nối nó với Hermes Agent trong terminal, trình duyệt và Discord. 

Bạn sẽ tải mô hình, khởi chạy endpoint cục bộ tương thích OpenAI, cấu hình Hermes để dùng endpoint đó, thiết lập Hermes Messaging Gateway để truy cập Discord và thiết lập Hermes WebUI.

1. Cài đặt llama.cpp cho suy luận AI cục bộ

Trong thiết lập này, tôi dùng RTX 5060 Ti với 16 GB VRAM. Qwythos 9B Q6_K MTP có thể chạy cục bộ trên GPU này, dù độ dài ngữ cảnh khả dụng sẽ phụ thuộc vào VRAM và thiết lập KV-cache.

Cài bản dựng llama.cpp mới nhất bằng trình cài đặt chính thức:

curl -LsSf https://llama.app/install.sh | sh

Thêm các binary của llama.cpp vào PATH của shell và khởi động lại terminal:

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Xác minh cài đặt thành công:

llama help

2. Tải mô hình Qwythos 9B MTP GGUF

Cài Hugging Face CLI và hf-xet để tăng tốc tải về cho các kho dùng lưu trữ Xet:

pip install -U "huggingface_hub[cli]" hf-xet

Tạo thư mục chứa tệp mô hình:

MODEL_DIR="/workspace/qwythos"
mkdir -p "$MODEL_DIR"

Đa số laptop có GPU rời có khoảng 6–8 GB VRAM, nên bản lượng tử Q4 MTP thực tế hơn cho các hệ này. Nó dùng ít VRAM hơn nhưng vẫn có đầu dự đoán MTP cần cho giải mã suy đoán.

Tôi dùng RTX 5060 Ti với 16 GB VRAM, cho phép chạy Q6_K chất lượng cao hơn và thử nghiệm cửa sổ ngữ cảnh lớn hơn.

Bật truyền tải hiệu năng cao, rồi tải bản lượng tử Q6_K MTP:

export HF_XET_HIGH_PERFORMANCE=1

Tải tệp GGUF mô hình Qwythos 6-bit:

hf download \
  empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF \
  --include "Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.gguf" \
  --local-dir "$MODEL_DIR"

Tệp Q6_K MTP là bản lượng tử chất lượng cao hơn của Qwythos, bao gồm đầu dự đoán đa token cần cho giải mã suy đoán. 

3. Khởi động máy chủ llama.cpp cục bộ

Mở terminal mới và trỏ tới thư mục bạn đã tải mô hình về:

MODEL_DIR="/workspace/qwythos"

Sau đó khởi động llama.cpp với mô hình Qwythos MTP:

llama serve \
  -m "$MODEL_DIR/Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggUF" \
  --alias qwythos-9b-mtp \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

Thiết lập quan trọng nhất là --n-gpu-layers all và --ctx-size 100000. Tùy chọn đầu đưa toàn bộ mô hình lên GPU để suy luận nhanh hơn nhiều, còn tùy chọn sau cấp cửa sổ ngữ cảnh 100K token lớn cho Qwythos. Cửa sổ ngữ cảnh lớn cần nhiều VRAM, nên hãy giảm xuống 32768 hoặc thấp hơn trên GPU ít bộ nhớ.

Qwythos dùng dự đoán đa token, nên cần --spec-type draft-mtp cho mô hình MTP này. Thiết lập --spec-draft-n-max 6 cho phép llama.cpp cố dự đoán tối đa sáu token tiếp theo, có thể tăng tốc sinh, đặc biệt với các tác vụ có cấu trúc như viết mã.

--flash-attn on cải thiện hiệu quả attention, trong khi thiết lập KV-cache Q8 giúp giữ chất lượng cho prompt dài. Các tùy chọn --temp, --top-p và --top-k điều khiển độ sáng tạo phản hồi, với các giá trị này cân bằng cho tác vụ lập trình và agent.

Endpoint cục bộ tương thích OpenAI của bạn sẽ có tại:

http://127.0.0.1:8910/v1

Bạn cũng có thể dán URL http://localhost:8910 vào trình duyệt để mở giao diện web của llama.cpp và thử mô hình trực tiếp. Điều này hữu ích để kiểm tra nhanh phản hồi trước khi kết nối mô hình với Hermes.

Để kiểm tra cơ bản, tôi yêu cầu Qwythos chia sẻ một fun fact ngẫu nhiên. Mô hình trả lời về Dải Ngân hà và tạo trung bình khoảng 64 token/giây.

Sau đó tôi yêu cầu nó xây dựng một website portfolio HTML hoàn chỉnh. 

Trong quá trình viết mã, tốc độ sinh tăng lên khoảng 102 token/giây, có lẽ vì mô hình MTP dự đoán được nhiều token tiếp theo hiệu quả hơn trong mã có cấu trúc.

Kết quả cuối cùng là một trang portfolio hoàn chỉnh, bóng bẩy với bố cục tốt và phong cách sạch sẽ. Với mô hình 9B chạy cục bộ, chất lượng đầu ra thực sự ấn tượng.

4. Cài đặt và cấu hình Hermes Agent

Mở một terminal khác và cài Hermes Agent:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Trong quá trình cài, chọn Full Setup để bạn có thể cấu hình endpoint cục bộ tùy chỉnh. 

Sau đó chọn Custom endpoint và nhập địa chỉ máy chủ llama.cpp của bạn:

Base URL: http://127.0.0.1:8910/v1
API key: leave blank

Hermes sẽ xác minh endpoint và phát hiện mô hình Qwythos đang chạy từ llama.cpp. 

Với chế độ tương thích API, giữ mặc định Auto-detect. Tùy chọn này hoạt động tốt với các endpoint chuẩn tương thích OpenAI như llama.cpp.

Tiếp theo, chọn Local làm backend terminal. 

Điều này cho phép Hermes chạy trực tiếp trên máy của bạn và truy cập thư mục nơi bạn khởi chạy nó. 

Bạn cũng có thể chọn Discord trong bước thiết lập nền tảng nếu muốn cấu hình messaging gateway ngay, hoặc bỏ qua và thêm sau.

Khi chọn công cụ, bật những công cụ bạn cần cho quy trình làm việc. 

Với tác vụ lập trình, chủ yếu là File Operations, Terminal & Processes, Code Execution và tùy chọn Web Search & Scraping. 

Hermes sẽ hoàn tất cài đặt và lưu cấu hình tại ~/.hermes/.

Nếu bạn cấu hình dịch vụ API sau, hãy lưu khóa API của nó dưới dạng biến môi trường thay vì thêm trực tiếp vào lệnh hay tệp cấu hình. 

Ví dụ với OpenAI và Tavily:

export OPENAI_API_KEY="your_openai_api_key"
export TAVILY_API_KEY="your_tavily_api_key"

Hermes đã sẵn sàng.

5. Chạy Hermes Agent trong terminal để lập trình AI

Di chuyển vào thư mục chứa dự án bạn muốn Hermes làm việc. 

Trong ví dụ này, tôi tạo không gian làm việc mới:

mkdir /workspace/nonus
cd /workspace/nonus

Sau đó khởi chạy Hermes:

hermes

Hermes mở trực tiếp trong thư mục dự án của bạn và kết nối với mô hình Qwythos cục bộ qua endpoint llama.cpp bạn đã cấu hình trước đó. 

Nó có thể kiểm tra tệp, viết mã, chạy lệnh terminal và dùng các công cụ bạn đã bật khi thiết lập.

Đầu tiên tôi yêu cầu Hermes xây một ứng dụng dự đoán cổ phiếu nhỏ bằng Flask với giao diện HTML. 

Nó lập kế hoạch, tạo các tệp cần thiết và trả lại hướng dẫn chạy rõ ràng, bao gồm vị trí thêm khóa API Alpha Vantage. 

Tôi cũng thử một yêu cầu đơn giản hơn: tạo game Rắn (Snake) có thể chơi. 

Hermes tạo tệp game Python, thêm điều khiển và logic khởi động lại, kèm lệnh chạy cục bộ. 

Để có kết quả tốt nhất, hãy giữ Hermes trong thư mục dự án bạn muốn chỉnh sửa. 

Điều này giúp nó hiểu các tệp hiện có và tránh việc tạo tệp không liên quan ở nơi khác trên hệ thống.

6. Kết nối Hermes Agent với Discord qua Messaging Gateway

Hermes Gateway cho phép bạn trò chuyện với agent Qwythos cục bộ qua Discord. 

Khi đã kết nối, bạn có thể gửi tin nhắn trực tiếp cho agent hoặc nhắc (mention) nó trong kênh máy chủ, trong khi nó vẫn dùng endpoint llama.cpp cục bộ trên máy bạn.

Tạo bot Discord

Mở Discord Developer Portal và tạo một New Application. 

Đặt tên, ví dụ OLO-Bot, rồi mở mục Bot ở thanh bên trái. Discord tạo một bot user cho ứng dụng, Hermes sẽ dùng để kết nối tới máy chủ của bạn. 

Trong Privileged Gateway Intents, bật Message Content Intent và Server Members Intent, rồi lưu thay đổi. 

Message Content cho phép bot đọc tin nhắn của bạn, còn Server Members giúp Hermes nhận diện và cấp quyền người dùng. 

Chỉ bật Presence Intent khi Hermes báo lỗi liên quan intent hoặc khi bạn định dùng tính năng hiện diện/giọng nói. 

Sao chép bot token

Vẫn ở trang Bot, sao chép hoặc reset bot token và lưu ở nơi riêng tư. 

Không dán vào ảnh chụp màn hình, không commit lên GitHub, cũng không chia sẻ với ai. 

Bot token có thể bị dùng để điều khiển bot Discord.

Mời bot vào máy chủ của bạn

Mở mục Installation trong Discord Developer Portal. Trong Guild Install, bật các scope bot và applications.commands. 

Sau đó cấp quyền cần thiết cho bot, gồm:

• Xem kênh (View Channels)
• Gửi tin nhắn (Send Messages)
• Đọc lịch sử tin nhắn (Read Message History)
• Nhúng liên kết (Embed Links)
• Đính kèm tệp (Attach Files)
• Gửi tin trong chuỗi (Send Messages in Threads)
• Thêm phản ứng (Add Reactions)

Sao chép liên kết cài đặt được tạo, mở trong trình duyệt, chọn máy chủ Discord của bạn và ủy quyền cho bot. 

Bot Discord được cài vào máy chủ thông qua URL OAuth2 dùng scope bot và các quyền bạn chọn. 

Tìm Discord User ID của bạn

Trong Discord, mở User Settings → Advanced và bật Developer Mode. 

Nhấp phải tên người dùng hoặc ảnh đại diện của bạn và chọn Copy User ID.

Hermes dùng ID số này làm danh sách cho phép (allowlist). 

Điều này quan trọng vì bot có thể nhận ra tên người dùng của bạn nhưng vẫn từ chối tin nhắn cho đến khi ID số Discord của bạn được thêm vào.

Cấu hình gateway của Hermes

Chạy lệnh thiết lập tương tác:

hermes gateway setup

Chọn Discord khi được hỏi, rồi nhập bot token và Discord user ID của bạn. 

Hermes cung cấp trình hướng dẫn này để cấu hình nền tảng nhắn tin và có thể khởi động hoặc khởi động lại gateway sau khi thiết lập.

Bạn cũng có thể thêm giá trị thủ công vào tệp môi trường của Hermes:

nano ~/.hermes/.env

Thêm token và user ID của bạn:

DISCORD_BOT_TOKEN=PASTE_YOUR_BOT_TOKEN
DISCORD_ALLOWED_USERS=PASTE_YOUR_DISCORD_USER_ID

Khởi động gateway

Khởi động Hermes Gateway:

hermes gateway

Bot của bạn sẽ xuất hiện online trên Discord sau vài giây. 

Bạn có thể nhắn trực tiếp cho nó hoặc nhắc nó trong kênh máy chủ:

@YourBotName Inspect this project and explain what it does.

7. Chạy Hermes trong trình duyệt

Hermes cũng có bảng điều khiển trên trình duyệt, cung cấp giao diện trực quan để trò chuyện với agent cục bộ, xem lại phiên, kiểm tra log, quản lý kỹ năng và duyệt tệp. 

Nó dùng cùng mô hình Qwythos cục bộ và endpoint llama.cpp bạn đã cấu hình trước đó.

Đầu tiên, chuyển tới thư mục gói Hermes:

cd ~/.hermes/hermes-agent

Nếu thư mục đó không tồn tại, hãy thử đường dẫn cài đặt toàn hệ thống:

cd /usr/local/lib/hermes-agent

Cài các phụ thuộc tùy chọn cho dashboard và terminal:

uv pip install -e ".[web,pty]"

Sau đó khởi động dashboard:

hermes dashboard \
  --host 0.0.0.0 \
  --port 9119 \
  --no-open

Vì --host 0.0.0.0 khiến dashboard truy cập được ngoài localhost, Hermes sẽ yêu cầu bạn thiết lập xác thực. 

Chọn Username & password, rồi tạo tên người dùng và mật khẩu mạnh cho dashboard.

Khi máy chủ khởi chạy, mở địa chỉ này trong trình duyệt:

http://localhost:9119/login

Sau khi đăng nhập, dashboard cung cấp nhiều khu vực hữu ích. 

Chat tái hiện trải nghiệm terminal của Hermes ngay trên trình duyệt, gồm stream phản hồi trực tiếp và đầu ra các lệnh gọi công cụ. 

Bạn có thể yêu cầu kiểm tra dự án, chỉnh tệp, chạy lệnh hoặc xây ứng dụng mà không cần ở trong terminal.

Sessions cho phép bạn xem lại các cuộc trò chuyện trước đó.

Skills hiển thị các khả năng và tích hợp sẵn có. 

Bạn cũng có thể xem tệp, log, mô hình, job theo lịch và trạng thái gateway từ thanh bên. 

Điều này khiến dashboard hữu ích khi bạn muốn cách trực quan hơn để quản lý agent Qwythos cục bộ.

Tổng kết

Tôi đã nghe nhiều về Hermes Agent và việc mọi người xem đây là một trong những agent cục bộ mạnh nhất, tốt hơn OpenClaw, có thể nhớ công việc trước đó, xây ngữ cảnh theo thời gian và lớn lên cùng dự án. 

Sau khi thử với Qwythos, tôi hiểu vì sao mọi người hào hứng. 

Thiết lập trau chuốt, trải nghiệm terminal tốt, và dashboard trình duyệt, gateway Discord, kỹ năng, bộ nhớ và tích hợp công cụ khiến nó giống một nền tảng agent hoàn chỉnh hơn là CLI lập trình đơn giản.

Tuy nhiên, trải nghiệm của tôi hơi khác. Tôi không thấy mình dùng Hermes mỗi ngày cho công việc lập trình thường nhật. 

Nó có nhiều tính năng, nhưng cũng vì thế mà nặng hơn nhu cầu của tôi cho các chỉnh sửa nhanh, gỡ lỗi hoặc xây dự án nhỏ. 

Với các tác vụ đó, tôi vẫn sẽ chọn Pi Coding Agent hoặc OpenCode vì chúng đơn giản hơn, khởi động nhanh hơn và phù hợp với quy trình làm việc thường nhật của tôi.

Dù vậy, tôi rất thích dùng mô hình Qwythos. 

Chạy cục bộ qua llama.cpp nhanh, phản hồi tốt và đáng ngạc nhiên là rất hữu dụng cho tác vụ lập trình. 

Mô hình MTP cũng mang lại tốc độ sinh mạnh, đặc biệt khi tạo mã có cấu trúc. 

Hermes đáng để thử khi bạn muốn một hệ agent cục bộ đầy đủ hơn với truy cập trình duyệt, tích hợp nhắn tin, công cụ, bộ nhớ và hỗ trợ dự án dài hạn. 

Nhưng với thiết lập lập trình hằng ngày, Qwythos cùng Pi Coding Agent hoặc OpenCode có lẽ sẽ là nơi tôi dành phần lớn thời gian.