NVIDIA RTX 5090 で Qwen3.8-27B をローカル実行する方法

1. Blackwell GPU 向けに llama.cpp をセットアップする

まず、GPU が正しく認識されていることを確認し、NVIDIA ドライバと CUDA のバージョンをチェックします。

nvidia-smi

RTX 5090、ドライババージョン、CUDA バージョン、GPU メモリ、現在の GPU 使用状況が表示されるはずです。

注意: ここでのセットアップは RTX 5090 などの NVIDIA Blackwell GPU 向けです。以下のビルドは RTX 5090 が採用する計算アーキテクチャである SM120 をターゲットにしています。

次に、CUDA 対応で最新版の llama.cpp をダウンロードしてビルドします。

cd /workspace

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

cmake -B build \
  -DGGML_CUDA=ON \
  -DCMAKE_CUDA_ARCHITECTURES=120

cmake --build build --config Release -j$(nproc)

ここで重要なのは -DCMAKE_CUDA_ARCHITECTURES=120 です。これは、RTX 5090 が採用する Blackwell アーキテクチャ向けに llama.cpp をビルドする指定です。

ビルドが完了したら、llama-server をグローバルで使えるようにして、どのフォルダからでも実行できるようにします。

sudo ln -sf "$(realpath ./build/bin/llama-server)" /usr/local/bin/llama-server

では、動作を確認します。

llama-server --version

次のような出力が得られるはずです。

version: 0.1.1-dev (build 10479, commit 0021a77de)
built with GNU 13.3.0 for Linux x86_64

以上です。これで RTX 5090 とその Blackwell ネイティブ NVFP4 サポートを活用できる、CUDA 対応の llama.cpp ビルドが用意できました。

2. Qwen3.8-27B NVFP4-MTP モデルをダウンロードする

次に Qwen3.8-27B モデルをダウンロードします。

まず、Hugging Face CLI をインストールします。

pip install -U huggingface_hub

モデルを配置するフォルダを作成します。

mkdir -p /workspace/models/qwen38

続いて NVFP4-MTP GGUF をダウンロードします。

hf download felippeburk/Qwen3.8-27B-NVFP4-MTP-GGUF \
  --local-dir /workspace/models/qwen38

このセットアップでは NVFP4 を使用し、MTP サポートを含むこのバージョンが最適です。RTX 5090 での大幅な速度向上はここから得られます。

3. Qwen3.8-27B サーバーを起動する

ここからが本番です。Flash Attention、131K のコンテキストウィンドウ、MTP 逐次推測デコードで、Qwen3.8-27B をフル GPU 上で提供します。

以下を実行します。

cd /workspace/llama.cpp

llama-server \
  -m /workspace/models/qwen38/qwen3.8-27b-text-nvfp4-mtp.gguf \
  --alias qwen3.8-27b \
  --host 0.0.0.0 \
  --port 8910 \
  --ctx-size 131072 \
  --n-gpu-layers all \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --parallel 1 \
  --spec-type draft-mtp \
  --spec-draft-n-max 4 \
  --spec-draft-p-min 0.75 \
  --spec-draft-ngl all \
  --spec-draft-type-k q8_0 \
  --spec-draft-type-v q8_0 \
  --reasoning-effort medium \
  --jinja

オプションは多いですが、その大半は 5090 から最高の性能を引き出すための指定です。

主なポイントは次のとおりです。

• --ctx-size 131072 はおよそ 131K のコンテキストウィンドウを与えます。

• --n-gpu-layers all はモデルを GPU 上に常駐させます。

• --flash-attn on は Flash Attention を有効にします。

• --cache-type-k q8_0 と --cache-type-v q8_0 は KV キャッシュのメモリ使用量を抑えます。

• --spec-type draft-mtp は Qwen3.8 の MTP 逐次推測デコードを有効化します。

• --spec-draft-n-max 4 は MTP が一度に生成できる推測トークン数を制御します。

このセットアップでは、RTX 5090 の初期値として n-max 4 を使用しています。モデルカードがこの GGUF で推奨する 2 や 3 なども試せます。最速の設定はシステムによってわずかに異なる場合があります。

モデルの読み込みが完了すると、Qwen3.8 はローカルの http://127.0.0.1:8910 で利用可能になります。

これで Qwen3.8-27B がローカルで動作しています。続いて、API と内蔵ブラウザインターフェースの両方でモデルをテストします。

4. Qwen3.8-27B の速度とコーディング性能をテストする

サーバーが起動した状態で、別のターミナルを開き、OpenAI 互換 API にテストリクエストを送信します。

curl http://127.0.0.1:8910/v1/chat/completions \
 -H "Content-Type: application/json" \
 -d '{
   "model": "qwen3.8-27b",
   "messages": [
     {
       "role": "user",
       "content": "Write a Python FastAPI application that monitors GPU usage."
     }
   ],
   "max_tokens": 2000
 }'

このテストでは、Qwen3.8-27B は 2,000 トークンを毎秒 122 トークンで生成し、MTP 受理率は見事な 84.9% でした。

llama.cpp にはブラウザインターフェースも含まれているため、API を使わずにモデルを試すこともできます。

http://127.0.0.1:8910 をブラウザで開いて UI を確認してください。

より複雑なテストとして、次のプロンプトを使用しました。

Create a stunning single-file animated HTML website with a dark futuristic 
theme, smooth scrolling, glowing gradients, floating particles, animated cards,
hover effects, and responsive design using only HTML, CSS, and JavaScript.

私の RTX 5090 では平均で毎秒約 142 トークン、状況によっては毎秒約 170 トークンに達することもあり、ローカル実行の 27B モデルとしては非常に高速でした。

Qwen3.8-27B は、手直し不要でそのまま動作する洗練された完全動作のウェブサイトを生成しました。モデルのコーディング能力とローカル環境の速度を手早く検証する良い方法です。

5. Pi と一緒に Qwen3.8-27B を使う

このセクションでは、Qwen3.8-27B を Pi と接続し、完全ローカルのコーディングエージェントとして使用します。

Pi はターミナルベースの軽量コーディングエージェントで、コマンドラインから直接プロジェクトの構築、編集、テスト、デバッグを支援します。

Pi を次でインストールします。

curl -fsSL https://pi.dev/install.sh | sh

インストーラには Node.js と npm が必要です。Pi はグローバルな npm プレフィックスにインストールされます。Node が未インストールの場合は、nvm かパッケージマネージャで先にインストールしてください。

インストールが完了したら、ターミナルを再起動します。

次に、pi-llama 拡張をインストールし、Pi をローカルの llama.cpp サーバーに向けます。

pi install git:github.com/huggingface/pi-llama

export LLAMA_BASE_URL=http://127.0.0.1:8910/v1

新しいプロジェクトを作成して Pi を起動します。

mkdir new-project
cd new-project

Pi

Pi 内で /model を実行し、llama-cpp を検索して、Qwen3.8-27B を選択します。

テスト用に、次のプロンプトを与えました。

Build a polished personal finance dashboard from scratch that imports CSV 
bank statements, categorizes spending, shows monthly trends and charts, and 
detects unusual expenses; also generate a realistic sample CSV, import it, 
test the full app end-to-end, and fix any errors automatically.

数分でプロジェクト全体を構築しました。

その後、サーバーを起動してフロントエンドとアプリケーションロジックの両方をテストするように依頼しました。すべてが正しく動作するよう、より多くの時間をデバッグとテストに割いていました。

自分でもダッシュボードを試しましたが、アプリは快適に動作し、グラフの見栄えも良く、全体的にスムーズな体験でした。

唯一の弱点は、UI の細かな変更の反映でした。いくつか追加入力を行ったものの、こちらの意図通りに理解するのではなく無関係な変更を始めてしまったため、最終的にはそこで切り上げました。

まとめ

Qwen3.8-27B はまだ登場したばかりで、量子化と逐次推測デコードの最適な組み合わせをコミュニティが積極的に模索している最中です。MTP は非常にうまく機能しますが、DFlash 2 や DSpark などの新しい手法も検証が進んでおり、ハードウェアやワークロードによってはさらに高速という報告もあります。

Unsloth からは Qwen3.8-27B 向けに Dynamic v3.0 GGUF も公開され、前世代の量子化と比べて同一モデルサイズで約 10% の精度向上を謳っています。ローカル推論環境をほぼそのままに品質を高めたい場合の有力な選択肢となるでしょう。

現時点では、NVFP4 + MTP + llama.cpp は RTX 5090 における最も簡便かつ高速なセットアップのひとつだと考えています。27B モデルでありながら、広いコンテキストウィンドウを維持しつつ実用的なコーディングエージェントを動かせて、毎秒 140 トークン前後を達成できるのは見事です。llama.cpp、Unsloth、DFlash 2、DSpark の進化に伴い、今後さらに高速化が見込めます。