如何在本地运行 Muse Glimmer 30B 进行 AI 编码

使用 llama.cpp、动态量化、DFlash 试探式解码、视觉支持与 OpenCode，运行一款快速、私密、低成本的本地 AI 编码代理。

已更新 2026年10月6日 · 9分钟阅读

使用 AI 探索

ChatGPT Claude Perplexity

正如我们在博文中所探讨的，Muse Glimmer 30B 是一款面向代理式与编码工作负载而构建的全新开源模型。

它之所以格外吸引人，是因为您可以在一张NVIDIA RTX 5090（32 GB 显存）上，使用llama.cpp 将整套方案完全本地化运行。

模型以 GGUF 格式提供。本指南将使用质量更高的动态量化版本。

完整环境由以下部分组成：

muse-glimmer-30B-kquant-dynamic.gguf： 19.7 GB 主模型
dflash-kquant.gguf： 1.63 GB 用于试探式解码的草稿模型
mmproj-kquant.gguf： 1.4 GB 视觉与感知编码器

根据模型卡片信息，19.7 GB 的动态量化相较全精度仅约有0.2% 的基准退化。

在我的测试中，以64K 上下文窗口运行模型大约占用 24 GB 显存，RTX 5090 仍留有可用余量。

在本指南中，您将学会：

编译带 CUDA 支持的 llama.cpp
本地下载并运行 Muse Glimmer 30B
启用DFlash 试探式解码与视觉输入
通过 API 和内置 Web UI 测试模型
将本地模型连接到OpenCode
使用 Muse Glimmer 构建并调试一个完整应用

最后，我们也将实际了解 Muse Glimmer 作为本地编码模型在哪些方面表现出色、哪些方面仍有不足。同时也推荐查看我们的 Muse Spark 1.3 指南，了解其最新特性。

1. 为 GPU 推理配置 llama.cpp

在本地运行 Muse Glimmer 之前，我们需要先编译带 CUDA 支持的 llama.cpp，以便模型使用 RTX 5090 GPU。

首先安装所需的系统包：

apt-get update

apt-get install -y \
    build-essential \
    cmake \
    curl \
    git \
    libcurl4-openssl-dev

接着克隆 llama.cpp 仓库并进入项目目录：

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

以启用 CUDA 的方式配置构建：

cmake -B build \
    -DBUILD_SHARED_LIBS=OFF \
    -DGGML_CUDA=ON

现在编译命令行工具、多模态 CLI 和服务端：

cmake --build build --config Release -j \
    --target llama-cli llama-mtmd-cli llama-server

构建完成后，将 llama-server 放到全局路径，便于在任意目录运行：

ln -sf "$(pwd)/build/bin/llama-server" /usr/local/bin/llama-server

最后确认安装是否正常：

llama-server --version

您应能看到类似输出：

version: 10373 (38406d597)
built with GNU 13.3.0 for Linux x86_64

至此，llama.cpp 已启用 CUDA 编译完成，llama-server 可在 GPU 上运行 Muse Glimmer。

2. 下载 Muse Glimmer

接下来，下载 Muse Glimmer 主模型以及用于试探式解码和视觉输入所需的额外 GGUF 文件。

首先安装 Hugging Face CLI：

pip install -U huggingface_hub

然后登录您的 Hugging Face 账户：

hf auth login

选择浏览器登录方式，打开授权页面，并在浏览器中批准连接。

现在下载三份必需文件：

hf download meta-models/Muse-Glimmer-30B-GGUF \
    --local-dir Muse-Glimmer-30B-GGUF \
    --include "muse-glimmer-30B-kquant-dynamic.gguf" \
    --include "dflash-kquant.gguf" \
    --include "mmproj-kquant.gguf"

上述命令将下载：

muse-glimmer-30B-kquant-dynamic.gguf：主模型，19.7 GB
dflash-kquant.gguf：用于试探式解码的草稿模型
mmproj-kquant.gguf：用于图像输入的感知编码器

这些文件体积较大，下载时间会因您的网络而异。

三份文件全部下载完成后，您就具备了文本生成、视觉支持和 DFlash 试探式解码所需的一切。

3. 以视觉与试探式解码方式提供 Muse Glimmer 服务

下载好三份 GGUF 文件后，我们即可通过 llama-server 启动 Muse Glimmer。

下面的命令会加载主模型，启用用于试探式解码的 DFlash 草稿模型，并添加用于视觉输入的感知编码器：

llama-server \
    -m /workspace/Muse-Glimmer-30B-GGUF/muse-glimmer-30B-kquant-dynamic.gguf \
    -md /workspace/Muse-Glimmer-30B-GGUF/dflash-kquant.gguf \
    --mmproj /workspace/Muse-Glimmer-30B-GGUF/mmproj-kquant.gguf \
    --spec-type draft-dflash \
    --spec-draft-n-max 15 \
    -ngl 99 \
    --spec-draft-ngl all \
    -fa on \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64 \
    --ctx-size 64000 \
    --alias muse-glimmer-30B \
    --host 0.0.0.0 \
    --port 8910 \
    --jinja

该配置使用64K 上下文窗口，将模型卸载到 GPU，启用 Flash Attention，并在 8910 端口上运行服务。

模型加载完毕后，将可通过以下地址访问：

http://127.0.0.1:8910

您可以向兼容 OpenAI 的 API 发送简单请求来确认一切运行正常：

curl -s http://127.0.0.1:8910/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "muse-glimmer-30B",
        "messages": [
            {
                "role": "user",
                "content": "Explain speculative decoding in three simple sentences."
            }
        ]
    }'

在这次测试中，Muse Glimmer 生成了364 个补全 token，速度为 83.94 token/秒；而提示处理速度为147.48 token/秒。

启用 DFlash 试探式解码后，草稿模型共提出1,665 个 token，其中253 个被主模型接受，接受率约为15.2%。

这个 64-token 的提示大约在434 毫秒内处理完成，生成过程大约耗时4.34 秒。

该响应表明模型已通过本地 API 正常运行。

您也可以查看完整环境占用的显存：

nvidia-smi

同时加载30B 动态量化模型、DFlash 草稿模型、视觉编码器和 64K 上下文窗口时，我的环境在 RTX 5090 上大约使用了23.8 GB 显存。

这样大约还剩 8 GB 显存，为后续尝试更大上下文窗口留出空间。

4. 在 Web UI 中用视觉与编码提示测试 Muse Glimmer

llama-server 自带 Web UI，便于无需手动发送 API 请求即可测试模型。

打开：

http://127.0.0.1:8910

您可以用该界面进行常规文本提示、图像理解与快速编码试验。

由于我们通过以下参数加载了视觉编码器：

--mmproj /workspace/Muse-Glimmer-30B-GGUF/mmproj-kquant.gguf

Muse Glimmer 也可以接收图像输入。

为测试视觉能力，我上传了自己一本书的封面，并使用如下提示：

Describe what you see in this image and point out the most important details.

模型生成了对封面的详细描述，并识别出数个较小的视觉元素。

这一初步测试有助于确认视觉编码器工作正常。

接着，我用一个简单的网站生成功能测试了它的编码能力：

Build a modern luxury watch website for VELORÉ, 
with a minimalist V logo, black/ivory/deep-green palette, 
cinematic hero, premium watches, smooth animations, 
and elegant Swiss-inspired styling.

在此编码任务中，生成平均约为121 token/秒，明显快于前面的通用文本测试。

DFlash 试探式解码似乎在这类顺序代码生成工作负载上表现尤佳。

模型生成了可用的奢华腕表网站。

最终输出仍有少量问题，对 30B 模型而言并不意外，但它能非常快地产出完整项目。

Muse Glimmer 的定位是代理式编码模型，因此更关键的测试在于：当它需要创建文件、运行命令、自测并修复问题时表现如何。接下来我们将把它连接到 OpenCode 进行测试。

5. 将 Muse Glimmer 连接到 OpenCode 并测试代理式编码

既然 Muse Glimmer 已在本地运行，下一步就是将其连接到OpenCode，看看它作为代理式编码模型的表现。

首先安装 OpenCode：

curl -fsSL https://opencode.ai/install | bash

重新加载 shell 并确认安装：

exec bash
opencode --version

在本次测试中，我使用的版本为：

1.18.16

创建 OpenCode 配置目录：

mkdir -p ~/.config/opencode

无需打开文本编辑器，直接在终端创建配置文件：

cat > ~/.config/opencode/opencode.json <<'EOF'
{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "llama.cpp": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Muse Glimmer Local",
      "options": {
        "baseURL": "http://127.0.0.1:8910/v1"
      },
      "models": {
        "muse-glimmer-30B": {
          "name": "Muse Glimmer 30B"
        }
      }
    }
  },
  "model": "llama.cpp/muse-glimmer-30B"
}
EOF

这会告诉 OpenCode 使用我们本地 llama-server 暴露的 OpenAI 兼容 API。

接下来创建新项目：

mkdir muse-app
cd muse-app
git init
opencode

OpenCode 会启动其终端界面，且Muse Glimmer 30B 已配置为主模型。

构建一个完整应用

为了更贴近实战地测试模型，我让它构建一个医学研究应用：

Build a modern medical AI web app called MedSearch AI.
Use Python FastAPI for the backend and HTML, CSS and JavaScript for the frontend.
Create a clean dark interface where users can ask medical research questions. 
Send prompts to my local Muse Glimmer server at:http://127.0.0.1:8910/v1/chat/completions
Add web search for the latest reliable medical information, show sources clearly, 
support streaming responses and Markdown, and include a clear-chat button and server status indicator.

Create all files, install dependencies, test the app, and tell me how to run it.