Qwen3.8-27B’yi NVIDIA RTX 5090’da Yerel Olarak Nasıl Çalıştırırsınız

1. Blackwell GPU’lar için llama.cpp’yi Kurun

Önce, GPU’nun doğru algılandığından emin olacak ve NVIDIA sürücüsü ile CUDA sürümünü kontrol edeceğiz.

nvidia-smi

RTX 5090’unuzu, sürücü sürümünü, CUDA sürümünü, GPU belleğini ve mevcut GPU kullanımını görmelisiniz.

Not: Bu kurulum, RTX 5090 gibi NVIDIA Blackwell GPU’larına özeldir. Aşağıdaki derleme, RTX 5090’un kullandığı hesaplama mimarisi olan SM120’yi hedefler.

Şimdi, llama.cpp’nin en son sürümünü CUDA desteğiyle indirip derleyeceğiz.

cd /workspace

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

cmake -B build \
  -DGGML_CUDA=ON \
  -DCMAKE_CUDA_ARCHITECTURES=120

cmake --build build --config Release -j$(nproc)

Buradaki kritik kısım -DCMAKE_CUDA_ARCHITECTURES=120. Bu, llama.cpp’ye RTX 5090’un kullandığı Blackwell mimarisi için özel olarak derleme yapmasını söyler.

Derleme bittiğinde, llama-server’ı herhangi bir klasörden çalıştırabilmek için sistem genelinde erişilebilir hâle getireceğiz:

sudo ln -sf "$(realpath ./build/bin/llama-server)" /usr/local/bin/llama-server

Şimdi her şeyin çalıştığını kontrol edin:

llama-server --version

Şuna benzer bir çıktı almalısınız:

version: 0.1.1-dev (build 10479, commit 0021a77de)
built with GNU 13.3.0 for Linux x86_64

Hepsi bu. Artık RTX 5090 ve onun yerel Blackwell NVFP4 desteğinden yararlanabilen CUDA etkin bir llama.cpp derlememiz var.

2. Qwen3.8-27B NVFP4-MTP Modelini İndirin

Şimdi Qwen3.8-27B modelini indireceğiz.

Önce, Hugging Face CLI’ı kurun:

pip install -U huggingface_hub

Modeli saklayacağımız bir klasör oluşturun:

mkdir -p /workspace/models/qwen38

Ardından NVFP4-MTP GGUF’u indirin:

hf download felippeburk/Qwen3.8-27B-NVFP4-MTP-GGUF \
  --local-dir /workspace/models/qwen38

Bu kurulum için istediğimiz sürüm budur; çünkü NVFP4 kullanır ve MTP desteği içerir. RTX 5090’da hız artışının önemli bir kısmı buradan gelir.

3. Qwen3.8-27B Sunucusunu Başlatın

Şimdi işin eğlenceli kısmına geliyoruz. Qwen3.8-27B’yi Flash Attention, 131K bağlam penceresi ve daha hızlı üretim için MTP spekülatif ayrıştırma ile tamamen GPU üzerinde sunacağız. 

Çalıştırın:

cd /workspace/llama.cpp

llama-server \
  -m /workspace/models/qwen38/qwen3.8-27b-text-nvfp4-mtp.gguf \
  --alias qwen3.8-27b \
  --host 0.0.0.0 \
  --port 8910 \
  --ctx-size 131072 \
  --n-gpu-layers all \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --parallel 1 \
  --spec-type draft-mtp \
  --spec-draft-n-max 4 \
  --spec-draft-p-min 0.75 \
  --spec-draft-ngl all \
  --spec-draft-type-k q8_0 \
  --spec-draft-type-v q8_0 \
  --reasoning-effort medium \
  --jinja

Burada pek çok seçenek var; ancak çoğu sadece 5090’dan en iyi performansı almak için bulunuyor.

Bilmeniz gereken başlıca seçenekler şunlardır:

• --ctx-size 131072 yaklaşık 131K’lık bir bağlam penceresi verir.

• --n-gpu-layers all modeli GPU üzerinde tutar.

• --flash-attn on Flash Attention’ı etkinleştirir.

• --cache-type-k q8_0 ve --cache-type-v q8_0 KV önbellek bellek kullanımını azaltmaya yardımcı olur.

• --spec-type draft-mtp Qwen3.8’in MTP spekülatif ayrıştırmasını etkinleştirir.

• --spec-draft-n-max 4 MTP’nin aynı anda kaç spekülatif token üretebileceğini kontrol eder.

Bu kurulumda, RTX 5090 için başlangıç noktası olarak n-max 4 kullanıyoruz. Model kartının bu GGUF için önerdiği 2 veya 3 gibi değerlerle daha sonra deneyebilirsiniz; zira en hızlı ayar sisteminize göre biraz değişebilir.

Model yüklemeyi llama-server bitirdiğinde, Qwen3.8 yerelde http://127.0.0.1:8910 adresinden erişilebilir olacaktır.

Artık Qwen3.8-27B yerelde çalışıyor. Sırada modeli hem API hem de yerleşik tarayıcı arayüzü üzerinden test etmek var.

4. Qwen3.8-27B’nin Hızını ve Kodlama Performansını Test Edin

Sunucu çalışırken, başka bir terminal açın ve OpenAI uyumlu API’ye bir test isteği gönderin:

curl http://127.0.0.1:8910/v1/chat/completions \
 -H "Content-Type: application/json" \
 -d '{
   "model": "qwen3.8-27b",
   "messages": [
     {
       "role": "user",
       "content": "Write a Python FastAPI application that monitors GPU usage."
     }
   ],
   "max_tokens": 2000
 }'

Bu testte, Qwen3.8-27B 2.000 tokenı saniyede 122 token hızla ve etkileyici bir %84,9 MTP kabul oranıyla üretti. 

llama.cpp ayrıca bir tarayıcı arayüzü de içerir; böylece API kullanmadan modeli test edebilirsiniz.

Arayüzü görmek için tarayıcınızda http://127.0.0.1:8910 adresini açın.

Daha karmaşık bir test için şu istemi kullandım:

Create a stunning single-file animated HTML website with a dark futuristic 
theme, smooth scrolling, glowing gradients, floating particles, animated cards,
hover effects, and responsive design using only HTML, CSS, and JavaScript.

RTX 5090’umda, ortalama saniyede yaklaşık 142 token elde ettim; üretim hızları zaman zaman saniyede 170 token civarına çıktı, ki bu 27B’lik bir modelin yerelde çalışması için olağanüstü hızlı. 

Qwen3.8-27B kutudan çıktığı gibi çalışan, cilalı ve eksiksiz bir web sitesi üretti. Bu, hem modelin kodlama yeteneğini hem de yerel kurulumun hızını hızlıca test etmenin iyi bir yoludur. 

5. Qwen3.8-27B’yi Pi ile Kullanın

Bu bölümde, Qwen3.8-27B’yi Pi’ye bağlayacak ve onu tamamen yerel bir kodlama ajanı olarak kullanacağız.

Pi, terminal tabanlı hafif bir kodlama ajanıdır; projeleri doğrudan komut satırından oluşturmanıza, düzenlemenize, test etmenize ve hata ayıklamanıza yardımcı olabilir.

Pi’yi şu komutla kurun:

curl -fsSL https://pi.dev/install.sh | sh

Yükleyici Node.js ve npm gerektirir. Pi’yi global npm önekine kurar. Node yoksa önce nvm veya paket yöneticinizle kurun.

Kurulum tamamlandığında terminalinizi yeniden başlatın.

Ardından pi-llama uzantısını kurun ve Pi’yi yerel llama.cpp sunucumuza yönlendirin:

pi install git:github.com/huggingface/pi-llama

export LLAMA_BASE_URL=http://127.0.0.1:8910/v1

Yeni bir proje oluşturun ve Pi’yi başlatın:

mkdir new-project
cd new-project

Pi

Pi içinde /model komutunu çalıştırın, llama-cpp’yi arayın ve Qwen3.8-27B’yi seçin.

Test için şu istemi verdim:

Build a polished personal finance dashboard from scratch that imports CSV 
bank statements, categorizes spending, shows monthly trends and charts, and 
detects unusual expenses; also generate a realistic sample CSV, import it, 
test the full app end-to-end, and fix any errors automatically.

Tüm projeyi birkaç dakika içinde oluşturdu. 

Sonrasında sunucuyu başlatmasını ve hem ön yüzü hem de uygulama mantığını test etmesini istedim. Her şeyin düzgün çalıştığından emin olmak için hata ayıklama ve testlere daha fazla zaman harcadı.

Panoyu kendim test ettiğimde, uygulama iyi çalıştı, grafikler harika görünüyordu ve genel deneyim akıcıydı.

Başlıca zayıflık, tam isabetli UI değişiklikleri yapmasıydı. Birkaç takip isteminden sonra tam olarak ne istediğimi anlamak yerine ilgisiz değişiklikler yapmaya başladı; bu yüzden sonunda orada bıraktım.

Son Düşünceler

Qwen3.8-27B hâlâ çok yeni ve topluluk en iyi quantization ve spekülatif ayrıştırma kombinasyonunu aktif olarak keşfediyor. MTP son derece iyi çalışıyor; ancak DFlash 2 ve DSpark gibi daha yeni yaklaşımlar da test ediliyor; bazı kullanıcılar donanım ve iş yüküne bağlı olarak daha yüksek hızlar bildirdi. 

Unsloth ayrıca Qwen3.8-27B için Dynamic v3.0 GGUF’leri yeni yayımladı ve önceki quantlarına göre aynı model boyutunda yaklaşık %10 daha yüksek doğruluk iddia ediyor. Bu da, benzer yerel çıkarım kurulumunu korurken daha iyi kalite istiyorsanız Unsloth’u çok ilgi çekici bir seçenek hâline getiriyor. 

Şimdilik, bence NVFP4 + MTP + llama.cpp, RTX 5090 için en kolay ve en hızlı kurulumlardan biri. 27B bir modelden, geniş bir bağlam penceresini korurken ve gerçek bir kodlama ajanını çalıştıracak yeterlilikte olup, saniyede yaklaşık 140 token elde etmek etkileyici. llama.cpp, Unsloth, DFlash 2 ve DSpark geliştikçe kurulum muhtemelen daha da hızlanacaktır.