track
Associate AI Engineer för utvecklare
26 timmar
1. Ställ in llama.cpp för Blackwell-GPU:er
Först ser vi till att GPU:n identifieras korrekt och kontrollerar NVIDIA-drivrutin och CUDA-version.
nvidia-smiDu bör se din RTX 5090, drivrutinsversion, CUDA-version, GPU-minne och aktuell GPU-användning.
Obs: Denna setup är specifikt för NVIDIA Blackwell-GPU:er, såsom RTX 5090. Bygget nedan riktar in sig på SM120, vilket är beräkningsarkitekturen som används av RTX 5090.
Därefter laddar vi ner och kompilerar den senaste versionen av llama.cpp med CUDA-stöd.
cd /workspace
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build \
-DGGML_CUDA=ON \
-DCMAKE_CUDA_ARCHITECTURES=120
cmake --build build --config Release -j$(nproc)
Det viktiga här är -DCMAKE_CUDA_ARCHITECTURES=120. Detta talar om för llama.cpp att bygga specifikt för Blackwell-arkitekturen som används av RTX 5090.
När bygget är klart gör vi llama-server tillgängligt globalt så att vi kan köra det från valfri mapp:
sudo ln -sf "$(realpath ./build/bin/llama-server)" /usr/local/bin/llama-serverKontrollera nu att allt fungerar:
llama-server --versionDu bör få utdata liknande:
version: 0.1.1-dev (build 10479, commit 0021a77de)
built with GNU 13.3.0 for Linux x86_64Det var allt. Vi har nu en CUDA-aktiverad llama.cpp-build som kan dra nytta av RTX 5090 och dess inbyggda Blackwell NVFP4-stöd.
2. Ladda ner Qwen3.8-27B NVFP4-MTP-modellen
Nu laddar vi ner Qwen3.8-27B-modellen.
Installera först Hugging Face CLI:
pip install -U huggingface_hubSkapa en mapp där vi ska lägga modellen:
mkdir -p /workspace/models/qwen38Ladda sedan ner NVFP4-MTP GGUF:
hf download felippeburk/Qwen3.8-27B-NVFP4-MTP-GGUF \
--local-dir /workspace/models/qwen38
Detta är versionen vi vill ha för den här setupen eftersom den använder NVFP4 och inkluderar MTP-stöd, vilket är där mycket av hastighetsförbättringen på RTX 5090 kommer ifrån.
3. Starta Qwen3.8-27B-server
Nu kommer den roliga delen. Vi kommer att serva Qwen3.8-27B helt på GPU:n med Flash Attention, ett 131K kontextfönster och MTP spekulativ avkodning för snabbare generering.
Kör:
cd /workspace/llama.cpp
llama-server \
-m /workspace/models/qwen38/qwen3.8-27b-text-nvfp4-mtp.gguf \
--alias qwen3.8-27b \
--host 0.0.0.0 \
--port 8910 \
--ctx-size 131072 \
--n-gpu-layers all \
--flash-attn on \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--parallel 1 \
--spec-type draft-mtp \
--spec-draft-n-max 4 \
--spec-draft-p-min 0.75 \
--spec-draft-ngl all \
--spec-draft-type-k q8_0 \
--spec-draft-type-v q8_0 \
--reasoning-effort medium \
--jinjaDet finns många flaggor här, men de flesta finns där för att få ut bästa prestanda ur 5090:n.
De viktigaste att känna till är:
-
--ctx-size 131072ger oss ungefär ett 131K kontextfönster. -
--n-gpu-layers allhåller modellen på GPU:n. -
--flash-attn onaktiverar Flash Attention. -
--cache-type-k q8_0och--cache-type-v q8_0hjälper till att minska KV-cacheminnet. -
--spec-type draft-mtpaktiverar Qwen3.8:s MTP spekulativa avkodning. -
--spec-draft-n-max 4styr hur många spekulativa tokens MTP kan generera åt gången.
För den här setupen använder vi n-max 4 som startpunkt för en RTX 5090. Du kan experimentera med värden som 2 (vilket modellkortet rekommenderar för denna GGUF) eller 3 senare, eftersom den snabbaste inställningen kan variera något beroende på ditt system.
När llama-server har laddat modellen klart kommer Qwen3.8 att vara tillgänglig lokalt på http://127.0.0.1:8910.
Vi har nu Qwen3.8-27B igång lokalt. Nästa steg är att testa modellen via både API:et och det inbyggda webbläsargränssnittet.
4. Testa Qwen3.8-27B:s hastighet och kodningsprestanda
Med servern igång, öppna en annan terminal och skicka en testråbegäran till det OpenAI-kompatibla API:et:
curl http://127.0.0.1:8910/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3.8-27b",
"messages": [
{
"role": "user",
"content": "Write a Python FastAPI application that monitors GPU usage."
}
],
"max_tokens": 2000
}'
I detta test genererade Qwen3.8-27B 2 000 tokens i 122 tokens/s med en imponerande MTP-acceptansgrad på 84,9%.
llama.cpp inkluderar även ett webbläsargränssnitt, så du kan testa modellen utan att använda API:et.
Öppna http://127.0.0.1:8910 i din webbläsare för att se gränssnittet.
För ett mer komplext test använde jag denna prompt:
Create a stunning single-file animated HTML website with a dark futuristic
theme, smooth scrolling, glowing gradients, floating particles, animated cards,
hover effects, and responsive design using only HTML, CSS, and JavaScript.
På min RTX 5090 låg jag runt 142 tokens per sekund i snitt, med toppar på omkring 170 tokens per sekund, vilket är extremt snabbt för en 27B-modell som körs lokalt.
Qwen3.8-27B genererade en välputsad, fullt fungerande webbplats som körde direkt. Det här är ett bra sätt att snabbt testa både modellens kodningsförmåga och hastigheten i den lokala setupen.
5. Använd Qwen3.8-27B med Pi
I det här avsnittet kopplar vi Qwen3.8-27B till Pi och använder den som en helt lokal kodningsagent.
Pi är en lättvikts, terminalbaserad kodningsagent som kan hjälpa dig att bygga, redigera, testa och felsöka projekt direkt från kommandoraden.
Installera Pi med:
curl -fsSL https://pi.dev/install.sh | shInstallationsprogrammet kräver Node.js och npm. Det installerar Pi i ditt globala npm-prefix. Om du inte har Node ännu, installera det först med nvm eller din pakethanterare.
När installationen är klar, starta om din terminal.
Installera sedan pi-llama-tillägget och peka Pi mot vår lokala llama.cpp-server:
pi install git:github.com/huggingface/pi-llama
export LLAMA_BASE_URL=http://127.0.0.1:8910/v1Skapa ett nytt projekt och starta Pi:
mkdir new-project
cd new-project
Pi
Inne i Pi, kör /model, sök efter llama-cpp och välj Qwen3.8-27B.
För test gav jag den denna prompt:
Build a polished personal finance dashboard from scratch that imports CSV
bank statements, categorizes spending, shows monthly trends and charts, and
detects unusual expenses; also generate a realistic sample CSV, import it,
test the full app end-to-end, and fix any errors automatically.
Den byggde hela projektet på några minuter.
Jag bad den sedan att starta servern och testa både frontend och applikationslogik. Den lade mer tid på felsökning och testning för att säkerställa att allt fungerade som det skulle.
När jag testade instrumentpanelen själv fungerade appen bra, graferna såg utmärkt ut och helhetsupplevelsen var smidig.
Den största svagheten var att göra precisa UI-ändringar. Efter flera följdfrågor började den göra orelaterade ändringar istället för att förstå exakt vad jag ville, så jag slutade till slut där.
Avslutande tankar
Qwen3.8-27B är fortfarande väldigt ny, och communityn håller aktivt på att hitta den bästa kombinationen av kvantisering och spekulativ avkodning. MTP fungerar mycket bra, men nyare metoder som DFlash 2 och DSpark testas också, och vissa användare rapporterar ännu högre hastigheter beroende på hårdvara och arbetsbelastning.
Unsloth har också precis släppt Dynamic v3.0 GGUF:er för Qwen3.8-27B, med anspråk på cirka 10% högre noggrannhet vid samma modellstorlek jämfört med deras tidigare kvantiseringar. Detta gör Unsloth till ett annat mycket intressant alternativ om du vill ha bättre kvalitet samtidigt som du behåller ungefär samma lokala inferenssetup.
För tillfället tycker jag att NVFP4 + MTP + llama.cpp är en av de enklaste och snabbaste setup:erna för en RTX 5090. Att få omkring 140 tokens per sekund från en 27B-modell samtidigt som man har ett stort kontextfönster och tillräcklig kapacitet för att köra en verklig kodningsagent är imponerande. Setupen lär bli ännu snabbare i takt med att llama.cpp, Unsloth, DFlash 2 och DSpark fortsätter att förbättras.