Cách chạy Qwen3.8-27B cục bộ trên NVIDIA RTX 5090

1. Thiết lập llama.cpp cho GPU Blackwell

Đầu tiên, hãy đảm bảo GPU được nhận diện đúng và kiểm tra phiên bản driver NVIDIA cùng CUDA.

nvidia-smi

Bạn sẽ thấy RTX 5090 của mình, phiên bản driver, phiên bản CUDA, bộ nhớ GPU và mức sử dụng GPU hiện tại.

Lưu ý: Thiết lập này dành riêng cho GPU NVIDIA Blackwell, chẳng hạn RTX 5090. Bản dựng bên dưới nhắm tới SM120, là kiến trúc tính toán dùng trên RTX 5090.

Tiếp theo, chúng ta sẽ tải và biên dịch phiên bản mới nhất của llama.cpp với hỗ trợ CUDA.

cd /workspace

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

cmake -B build \
  -DGGML_CUDA=ON \
  -DCMAKE_CUDA_ARCHITECTURES=120

cmake --build build --config Release -j$(nproc)

Phần quan trọng ở đây là -DCMAKE_CUDA_ARCHITECTURES=120. Tham số này yêu cầu llama.cpp biên dịch riêng cho kiến trúc Blackwell dùng trên RTX 5090.

Khi biên dịch xong, chúng ta sẽ đưa llama-server vào phạm vi toàn hệ thống để có thể chạy từ bất kỳ thư mục nào:

sudo ln -sf "$(realpath ./build/bin/llama-server)" /usr/local/bin/llama-server

Giờ hãy kiểm tra mọi thứ hoạt động:

llama-server --version

Bạn sẽ nhận được đầu ra tương tự như:

version: 0.1.1-dev (build 10479, commit 0021a77de)
built with GNU 13.3.0 for Linux x86_64

Vậy là xong. Giờ chúng ta có bản dựng llama.cpp hỗ trợ CUDA, có thể tận dụng RTX 5090 và hỗ trợ NVFP4 gốc của Blackwell.

2. Tải mô hình Qwen3.8-27B NVFP4-MTP

Giờ chúng ta sẽ tải mô hình Qwen3.8-27B.

Trước hết, cài Hugging Face CLI:

pip install -U huggingface_hub

Tạo thư mục để lưu mô hình:

mkdir -p /workspace/models/qwen38

Sau đó tải GGUF NVFP4-MTP:

hf download felippeburk/Qwen3.8-27B-NVFP4-MTP-GGUF \
  --local-dir /workspace/models/qwen38

Đây là phiên bản chúng ta cần cho thiết lập này vì nó dùng NVFP4 và bao gồm hỗ trợ MTP, vốn là nguồn mang lại phần lớn cải thiện tốc độ trên RTX 5090.

3. Khởi động máy chủ Qwen3.8-27B

Giờ đến phần thú vị. Chúng ta sẽ phục vụ Qwen3.8-27B hoàn toàn trên GPU với Flash Attention, cửa sổ ngữ cảnh 131K và suy đoán giải mã MTP để sinh nhanh hơn. 

Chạy:

cd /workspace/llama.cpp

llama-server \
  -m /workspace/models/qwen38/qwen3.8-27b-text-nvfp4-mtp.gguf \
  --alias qwen3.8-27b \
  --host 0.0.0.0 \
  --port 8910 \
  --ctx-size 131072 \
  --n-gpu-layers all \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --parallel 1 \
  --spec-type draft-mtp \
  --spec-draft-n-max 4 \
  --spec-draft-p-min 0.75 \
  --spec-draft-ngl all \
  --spec-draft-type-k q8_0 \
  --spec-draft-type-v q8_0 \
  --reasoning-effort medium \
  --jinja

Có khá nhiều tùy chọn ở đây, nhưng phần lớn chỉ nhằm khai thác tối đa hiệu năng của 5090.

Các tùy chọn chính cần biết là:

• --ctx-size 131072 cho chúng ta cửa sổ ngữ cảnh khoảng 131K.

• --n-gpu-layers all giữ mô hình trên GPU.

• --flash-attn on bật Flash Attention.

• --cache-type-k q8_0 và --cache-type-v q8_0 giúp giảm bộ nhớ dùng cho KV cache.

• --spec-type draft-mtp bật suy đoán giải mã MTP của Qwen3.8.

• --spec-draft-n-max 4 kiểm soát số token suy đoán MTP có thể sinh cùng lúc.

Với thiết lập này, chúng ta dùng n-max 4 như điểm khởi đầu cho RTX 5090. Bạn có thể thử các giá trị như 2 (thẻ mô hình khuyến nghị cho GGUF này) hoặc 3 sau đó, vì thiết lập nhanh nhất có thể thay đổi nhẹ tùy hệ thống của bạn.

Khi llama-server tải mô hình xong, Qwen3.8 sẽ khả dụng cục bộ tại http://127.0.0.1:8910.

Giờ chúng ta đã chạy Qwen3.8-27B cục bộ. Tiếp theo, chúng ta sẽ kiểm thử mô hình qua cả API lẫn giao diện trình duyệt tích hợp.

4. Kiểm thử tốc độ và khả năng lập trình của Qwen3.8-27B

Khi máy chủ đang chạy, mở một terminal khác và gửi yêu cầu thử tới API tương thích OpenAI:

curl http://127.0.0.1:8910/v1/chat/completions \
 -H "Content-Type: application/json" \
 -d '{
   "model": "qwen3.8-27b",
   "messages": [
     {
       "role": "user",
       "content": "Write a Python FastAPI application that monitors GPU usage."
     }
   ],
   "max_tokens": 2000
 }'

Trong bài kiểm thử này, Qwen3.8-27B đã sinh 2.000 token ở tốc độ 122 token/giây với tỷ lệ chấp nhận MTP ấn tượng 84,9%. 

llama.cpp cũng có giao diện trình duyệt, vì vậy bạn có thể thử mô hình mà không cần dùng API.

Mở http://127.0.0.1:8910 trong trình duyệt để xem giao diện.

Với bài kiểm thử phức tạp hơn, tôi đã dùng prompt này:

Create a stunning single-file animated HTML website with a dark futuristic 
theme, smooth scrolling, glowing gradients, floating particles, animated cards,
hover effects, and responsive design using only HTML, CSS, and JavaScript.

Trên RTX 5090 của tôi, tốc độ trung bình khoảng 142 token mỗi giây, đôi lúc đạt khoảng 170 token mỗi giây, cực kỳ nhanh đối với một mô hình 27B chạy cục bộ. 

Qwen3.8-27B đã tạo ra một website trau chuốt, chạy được ngay lập tức. Đây là cách tốt để nhanh chóng kiểm thử cả khả năng lập trình của mô hình lẫn tốc độ của thiết lập cục bộ. 

5. Dùng Qwen3.8-27B với Pi

Trong phần này, chúng ta sẽ kết nối Qwen3.8-27B với Pi và dùng nó như một agent lập trình thuần cục bộ.

Pi là một agent lập trình nhẹ chạy trên terminal, có thể giúp bạn xây dựng, chỉnh sửa, kiểm thử và gỡ lỗi dự án ngay từ dòng lệnh.

Cài Pi bằng:

curl -fsSL https://pi.dev/install.sh | sh

Trình cài đặt yêu cầu Node.js và npm. Nó cài Pi vào npm prefix toàn cục của bạn. Nếu bạn chưa có Node, hãy cài trước bằng nvm hoặc trình quản lý gói của bạn.

Sau khi cài đặt xong, khởi động lại terminal.

Tiếp theo, cài tiện ích mở rộng pi-llama và trỏ Pi tới máy chủ llama.cpp cục bộ của chúng ta:

pi install git:github.com/huggingface/pi-llama

export LLAMA_BASE_URL=http://127.0.0.1:8910/v1

Tạo dự án mới và khởi động Pi:

mkdir new-project
cd new-project

Pi

Bên trong Pi, chạy /model, tìm llama-cpp và chọn Qwen3.8-27B.

Để thử nghiệm, tôi đã đưa prompt này:

Build a polished personal finance dashboard from scratch that imports CSV 
bank statements, categorizes spending, shows monthly trends and charts, and 
detects unusual expenses; also generate a realistic sample CSV, import it, 
test the full app end-to-end, and fix any errors automatically.

Nó đã xây dựng toàn bộ dự án trong vài phút. 

Sau đó tôi yêu cầu nó khởi động máy chủ và kiểm thử cả frontend lẫn logic ứng dụng. Nó dành nhiều thời gian hơn để gỡ lỗi và kiểm thử nhằm đảm bảo mọi thứ hoạt động đúng.

Khi tôi tự kiểm thử dashboard, ứng dụng hoạt động tốt, biểu đồ đẹp và trải nghiệm tổng thể mượt mà.

Điểm yếu chính là thực hiện các thay đổi UI chính xác. Sau vài prompt tiếp theo, nó bắt đầu thay đổi những thứ không liên quan thay vì hiểu đúng điều tôi muốn, nên tôi dừng lại tại đó.

Nhận xét cuối

Qwen3.8-27B vẫn còn rất mới, và cộng đồng đang tích cực tìm ra tổ hợp tốt nhất giữa lượng tử hóa và suy đoán giải mã. MTP hoạt động cực kỳ hiệu quả, nhưng các cách tiếp cận mới như DFlash 2 và DSpark cũng đang được thử nghiệm, với một số người dùng báo cáo tốc độ còn cao hơn tùy phần cứng và khối lượng công việc. 

Unsloth cũng vừa phát hành GGUF Dynamic v3.0 cho Qwen3.8-27B, tuyên bố độ chính xác cao hơn khoảng 10% ở cùng kích thước mô hình so với các bản lượng tử trước đó. Điều này khiến Unsloth trở thành lựa chọn rất đáng cân nhắc nếu bạn muốn chất lượng tốt hơn trong khi vẫn giữ thiết lập suy luận cục bộ gần như không đổi. 

Hiện tại, tôi cho rằng NVFP4 + MTP + llama.cpp là một trong những thiết lập dễ và nhanh nhất cho RTX 5090. Đạt khoảng 140 token mỗi giây từ mô hình 27B trong khi vẫn có cửa sổ ngữ cảnh lớn và đủ năng lực để chạy một agent lập trình thực thụ là rất ấn tượng. Thiết lập này có lẽ sẽ còn nhanh hơn nữa khi llama.cpp, Unsloth, DFlash 2 và DSpark tiếp tục được cải thiện.