正如我们在博文中所探讨的, Muse Glimmer 30B 是一款面向 代理式与编码工作负载 而构建的全新开源模型。
它之所以格外吸引人,是因为您可以在一张 NVIDIA RTX 5090(32 GB 显存) 上,使用 llama.cpp 将整套方案完全本地化运行。
模型以 GGUF 格式提供。本指南将使用质量更高的动态量化版本。
完整环境由以下部分组成:
muse-glimmer-30B-kquant-dynamic.gguf: 19.7 GB 主模型
dflash-kquant.gguf: 1.63 GB 用于 试探式解码 的草稿模型
mmproj-kquant.gguf: 1.4 GB 视觉与感知编码器
根据模型卡片信息,19.7 GB 的动态量化相较全精度仅约有 0.2% 的基准退化 。
在我的测试中,以 64K 上下文窗口 运行模型大约占用 24 GB 显存,RTX 5090 仍留有可用余量。
在本指南中,您将学会:
编译带 CUDA 支持的 llama.cpp
本地下载并运行 Muse Glimmer 30B
启用 DFlash 试探式解码 与 视觉输入
通过 API 和内置 Web UI 测试模型
将本地模型连接到 OpenCode
使用 Muse Glimmer 构建并调试一个完整应用
最后,我们也将实际了解 Muse Glimmer 作为本地编码模型在哪些方面表现出色、哪些方面仍有不足。同时也推荐查看我们的 Muse Spark 1.3 指南 ,了解其最新特性。
1. 为 GPU 推理配置 llama.cpp
在本地运行 Muse Glimmer 之前,我们需要先编译带 CUDA 支持的 llama.cpp,以便模型使用 RTX 5090 GPU。
首先安装所需的系统包:
apt-get update
apt-get install -y \
build-essential \
cmake \
curl \
git \
libcurl4-openssl-dev技术支持
接着克隆 llama.cpp 仓库并进入项目目录:
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp技术支持
以启用 CUDA 的方式配置构建:
cmake -B build \
-DBUILD_SHARED_LIBS = OFF \
-DGGML_CUDA = ON技术支持
现在编译命令行工具、多模态 CLI 和服务端:
cmake --build build --config Release -j \
--target llama-cli llama-mtmd-cli llama-server技术支持
构建完成后,将 llama-server 放到全局路径,便于在任意目录运行:
ln -sf "$( pwd ) /build/bin/llama-server" /usr/local/bin/llama-server技术支持
最后确认安装是否正常:
llama-server --version 技术支持
您应能看到类似输出:
version: 10373 ( 38406d597)
built with GNU 13.3 .0 for Linux x86_64技术支持
至此,llama.cpp 已启用 CUDA 编译完成,llama-server 可在 GPU 上运行 Muse Glimmer。
2. 下载 Muse Glimmer
接下来,下载 Muse Glimmer 主模型以及用于 试探式解码 和 视觉输入 所需的额外 GGUF 文件。
首先安装 Hugging Face CLI:
pip install -U huggingface_hub技术支持
然后登录您的 Hugging Face 账户:
hf auth login技术支持
选择浏览器登录方式,打开授权页面,并在浏览器中批准连接。
现在下载三份必需文件:
hf download meta-models/Muse-Glimmer-30B-GGUF \
--local-dir Muse-Glimmer-30B-GGUF \
--include "muse-glimmer-30B-kquant-dynamic.gguf" \
--include "dflash-kquant.gguf" \
--include "mmproj-kquant.gguf" 技术支持
上述命令将下载:
muse-glimmer-30B-kquant-dynamic.gguf:主模型, 19.7 GB
dflash-kquant.gguf:用于试探式解码的草稿模型
mmproj-kquant.gguf:用于图像输入的感知编码器
这些文件体积较大,下载时间会因您的网络而异。
三份文件全部下载完成后,您就具备了文本生成、视觉支持和 DFlash 试探式解码所需的一切。
3. 以视觉与试探式解码方式提供 Muse Glimmer 服务
下载好三份 GGUF 文件后,我们即可通过 llama-server 启动 Muse Glimmer。
下面的命令会加载主模型,启用用于试探式解码的 DFlash 草稿模型,并添加用于视觉输入的感知编码器:
llama-server \
-m /workspace/Muse-Glimmer-30B-GGUF/muse-glimmer-30B-kquant-dynamic.gguf \
-md /workspace/Muse-Glimmer-30B-GGUF/dflash-kquant.gguf \
--mmproj /workspace/Muse-Glimmer-30B-GGUF/mmproj-kquant.gguf \
--spec-type draft-dflash \
--spec-draft-n-max 15 \
-ngl 99 \
--spec-draft-ngl all \
-fa on \
--temp 1.0 \
--top-p 0.95 \
--top-k 64 \
--ctx-size 64000 \
--alias muse-glimmer-30B \
--host 0.0 .0.0 \
--port 8910 \
--jinja 技术支持
该配置使用 64K 上下文窗口 ,将模型卸载到 GPU,启用 Flash Attention,并在 8910 端口上运行服务。
模型加载完毕后,将可通过以下地址访问:
http://127.0.0.1:8910技术支持
您可以向兼容 OpenAI 的 API 发送简单请求来确认一切运行正常:
curl -s http://127.0.0.1:8910/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "muse-glimmer-30B",
"messages": [
{
"role": "user",
"content": "Explain speculative decoding in three simple sentences."
}
]
}' 技术支持
在这次测试中,Muse Glimmer 生成了 364 个补全 token,速度为 83.94 token/秒 ;而提示处理速度为 147.48 token/秒 。
启用 DFlash 试探式解码后,草稿模型共提出 1,665 个 token ,其中 253 个被主模型接受 ,接受率约为 15.2% 。
这个 64-token 的提示大约在 434 毫秒 内处理完成,生成过程大约耗时 4.34 秒 。
该响应表明模型已通过本地 API 正常运行。
您也可以查看完整环境占用的显存:
nvidia-smi技术支持
同时加载 30B 动态量化模型、DFlash 草稿模型、视觉编码器和 64K 上下文窗口 时,我的环境在 RTX 5090 上大约使用了 23.8 GB 显存 。
这样大约还剩 8 GB 显存,为后续尝试更大上下文窗口留出空间。
4. 在 Web UI 中用视觉与编码提示测试 Muse Glimmer
llama-server 自带 Web UI,便于无需手动发送 API 请求即可测试模型。
打开:
http://127.0.0.1:8910技术支持
您可以用该界面进行常规文本提示、图像理解与快速编码试验。
由于我们通过以下参数加载了视觉编码器:
--mmproj /workspace/Muse-Glimmer-30B-GGUF/mmproj-kquant.gguf技术支持
Muse Glimmer 也可以接收图像输入。
为测试视觉能力,我上传了自己一本书的封面,并使用如下提示:
Describe what you see in this image and point out the most important details.技术支持
模型生成了对封面的详细描述,并识别出数个较小的视觉元素。
这一初步测试有助于确认视觉编码器工作正常。
接着,我用一个简单的网站生成功能测试了它的编码能力:
Build a modern luxury watch website for VELORÉ,
with a minimalist V logo, black/ivory/deep-green palette,
cinematic hero, premium watches, smooth animations,
and elegant Swiss-inspired styling.技术支持
在此编码任务中,生成平均约为 121 token/秒 ,明显快于前面的通用文本测试。
DFlash 试探式解码似乎在这类顺序代码生成工作负载上表现尤佳。
模型生成了可用的奢华腕表网站。
最终输出仍有少量问题,对 30B 模型而言并不意外,但它能非常快地产出完整项目。
Muse Glimmer 的定位是代理式编码模型,因此更关键的测试在于:当它需要创建文件、运行命令、自测并修复问题时表现如何。接下来我们将把它连接到 OpenCode 进行测试。
5. 将 Muse Glimmer 连接到 OpenCode 并测试代理式编码
既然 Muse Glimmer 已在本地运行,下一步就是将其连接到 OpenCode ,看看它作为代理式编码模型的表现。
首先安装 OpenCode:
curl -fsSL https://opencode.ai/install | bash 技术支持
重新加载 shell 并确认安装:
exec bash
opencode --version 技术支持
在本次测试中,我使用的版本为:
1.18 .16技术支持
创建 OpenCode 配置目录:
mkdir -p ~/.config/opencode技术支持
无需打开文本编辑器,直接在终端创建配置文件:
cat > ~/.config/opencode/opencode.json << 'EOF'
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"llama.cpp": {
"npm": "@ai-sdk/openai-compatible",
"name": "Muse Glimmer Local",
"options": {
"baseURL": "http://127.0.0.1:8910/v1"
},
"models": {
"muse-glimmer-30B": {
"name": "Muse Glimmer 30B"
}
}
}
},
"model": "llama.cpp/muse-glimmer-30B"
}
EOF 技术支持
这会告诉 OpenCode 使用我们本地 llama-server 暴露的 OpenAI 兼容 API。
接下来创建新项目:
mkdir muse-app
cd muse-app
git init
opencode技术支持
OpenCode 会启动其终端界面,且 Muse Glimmer 30B 已配置为主模型 。
构建一个完整应用
为了更贴近实战地测试模型,我让它构建一个医学研究应用:
Build a modern medical AI web app called MedSearch AI.
Use Python FastAPI for the backend and HTML, CSS and JavaScript for the frontend.
Create a clean dark interface where users can ask medical research questions.
Send prompts to my local Muse Glimmer server at:http://127.0.0.1:8910/v1/chat/completions
Add web search for the latest reliable medical information, show sources clearly,
support streaming responses and Markdown, and include a clear-chat button and server status indicator.
Create all files, install dependencies, test the app, and tell me how to run it.技术支持
初始结果令人印象深刻。 生成完整项目仅用时约一分钟。
它很快就创建了后端、前端、依赖项以及整体应用结构。
随后我让它测试后端与 UI。
这时我开始注意到模型的薄弱环节。
构建很快,调试较弱
在人工编码基准上,Muse Glimmer 与 Qwen3.6 27B 模型的排名相近,但根据我的实测,它在实际推进编码任务时明显逊色一些。
最大的问题在于调试。
Muse Glimmer 从零创建完整项目的速度很快,但一旦出现问题,它就难以独立地把问题理清楚。它可能会花很久尝试各种方法却进展不大。
最终我不得不精确告诉它该如何操作。
例如,我明确指示它:
在后台启动后端服务。
等待服务可用。
向正在运行的应用发送请求。
检查响应。
修复遇到的任何错误。
再次测试应用。
当我给出这些具体步骤后,它就理解了任务并顺利执行。
这大概是我用 Muse Glimmer 搭配 OpenCode 的最大体会。
您需要非常明确地告诉它要做什么。
与其说“测试应用”或“修复问题”,不如详细描述它应执行的具体操作序列,效果会更好。
因此,对这个模型来说,提示工程尤为重要。
最终应用
在解决调试问题后,最终的 MedSearch AI 应用运行良好。
该应用快速、功能丰富且出奇地简洁。
它采用轻量的 FastAPI 后端与原生 HTML、CSS 和 JavaScript,而非依赖大型前端框架。
这种简洁其实是我喜欢的结果之一。
Muse Glimmer 在不引入不必要复杂性的情况下,生成了一个可用的 AI 应用。
截至目前,我的体验是 Muse Glimmer 非常擅长快速生成大量可运行代码 ,但当需要自行诊断问题、规划多步调试并自我恢复时,其可靠性要差得多。
对于本地编码而言,这一区别很重要。
如果您给予清晰且详尽的指令,它会很有能力。
若期望它在调试时自行摸索每一步,尤其是复杂任务上,局限就会明显许多。
总结
Muse Glimmer 30B 仍是一款非常新的模型,这在我的测试中有所体现。
它生成代码的速度很快,但在调试和多步任务上更易受挫。我经常需要精确告诉它下一步该做什么,它才能继续推进。
即便如此,我认为该模型潜力不小。
随着更好的提示工程与后续改进,我认为它有望成为可用性很强的本地编码模型,类似我使用 Qwen3.6 27B 的体验。
我也认为这对 Meta AI 是一个很好的方向。
本地编码代理的需求很明确,因为它们可以带来:
更低成本,无需 API 费用
更好的代码与数据隐私
对输出有更强的可控性
能够在本地工作,而不依赖外部模型 API
在我的环境中,模型大约使用了 24 GB GPU 显存 ,这使其在高端本地硬件上具有可行性。
也可以利用系统内存或统一内存来运行这类模型,但性能会更慢。
在本指南中,我们构建了 llama.cpp,下载了 Muse Glimmer 的 GGUF 文件,启用了视觉与试探式解码,测试了 API 与 Web UI,并将模型连接到 OpenCode。
我们还用它构建并测试了一个完整应用。
我的主要结论是:Muse Glimmer 在代码生成方面非常快,但在调试或处理更复杂的代理式任务时,仍需要明确的指令。
正如我们在博文中所探讨的,Muse Glimmer 30B 是一款面向代理式与编码工作负载而构建的全新开源模型。
它之所以格外吸引人,是因为您可以在一张NVIDIA RTX 5090(32 GB 显存)上,使用llama.cpp 将整套方案完全本地化运行。
模型以 GGUF 格式提供。本指南将使用质量更高的动态量化版本。
完整环境由以下部分组成:
muse-glimmer-30B-kquant-dynamic.gguf: 19.7 GB 主模型dflash-kquant.gguf: 1.63 GB 用于试探式解码的草稿模型mmproj-kquant.gguf: 1.4 GB 视觉与感知编码器根据模型卡片信息,19.7 GB 的动态量化相较全精度仅约有0.2% 的基准退化。
在我的测试中,以64K 上下文窗口运行模型大约占用 24 GB 显存,RTX 5090 仍留有可用余量。
在本指南中,您将学会:
llama.cpp最后,我们也将实际了解 Muse Glimmer 作为本地编码模型在哪些方面表现出色、哪些方面仍有不足。同时也推荐查看我们的 Muse Spark 1.3 指南,了解其最新特性。
1. 为 GPU 推理配置 llama.cpp
在本地运行 Muse Glimmer 之前,我们需要先编译带 CUDA 支持的
llama.cpp,以便模型使用 RTX 5090 GPU。首先安装所需的系统包:
接着克隆
llama.cpp仓库并进入项目目录:以启用 CUDA 的方式配置构建:
现在编译命令行工具、多模态 CLI 和服务端:
构建完成后,将
llama-server放到全局路径,便于在任意目录运行:最后确认安装是否正常:
您应能看到类似输出:
至此,
llama.cpp已启用 CUDA 编译完成,llama-server可在 GPU 上运行 Muse Glimmer。2. 下载 Muse Glimmer
接下来,下载 Muse Glimmer 主模型以及用于试探式解码和视觉输入所需的额外 GGUF 文件。
首先安装 Hugging Face CLI:
然后登录您的 Hugging Face 账户:
选择浏览器登录方式,打开授权页面,并在浏览器中批准连接。
现在下载三份必需文件:
上述命令将下载:
muse-glimmer-30B-kquant-dynamic.gguf:主模型,19.7 GBdflash-kquant.gguf:用于试探式解码的草稿模型mmproj-kquant.gguf:用于图像输入的感知编码器这些文件体积较大,下载时间会因您的网络而异。
三份文件全部下载完成后,您就具备了文本生成、视觉支持和 DFlash 试探式解码所需的一切。
3. 以视觉与试探式解码方式提供 Muse Glimmer 服务
下载好三份 GGUF 文件后,我们即可通过
llama-server启动 Muse Glimmer。下面的命令会加载主模型,启用用于试探式解码的 DFlash 草稿模型,并添加用于视觉输入的感知编码器:
该配置使用64K 上下文窗口,将模型卸载到 GPU,启用 Flash Attention,并在
8910端口上运行服务。模型加载完毕后,将可通过以下地址访问:
您可以向兼容 OpenAI 的 API 发送简单请求来确认一切运行正常:
在这次测试中,Muse Glimmer 生成了364 个补全 token,速度为 83.94 token/秒;而提示处理速度为147.48 token/秒。
启用 DFlash 试探式解码后,草稿模型共提出1,665 个 token,其中253 个被主模型接受,接受率约为15.2%。
这个 64-token 的提示大约在434 毫秒内处理完成,生成过程大约耗时4.34 秒。
该响应表明模型已通过本地 API 正常运行。
您也可以查看完整环境占用的显存:
同时加载30B 动态量化模型、DFlash 草稿模型、视觉编码器和 64K 上下文窗口时,我的环境在 RTX 5090 上大约使用了23.8 GB 显存。
这样大约还剩 8 GB 显存,为后续尝试更大上下文窗口留出空间。
4. 在 Web UI 中用视觉与编码提示测试 Muse Glimmer
llama-server自带 Web UI,便于无需手动发送 API 请求即可测试模型。打开:
您可以用该界面进行常规文本提示、图像理解与快速编码试验。
由于我们通过以下参数加载了视觉编码器:
Muse Glimmer 也可以接收图像输入。
为测试视觉能力,我上传了自己一本书的封面,并使用如下提示:
模型生成了对封面的详细描述,并识别出数个较小的视觉元素。
这一初步测试有助于确认视觉编码器工作正常。
接着,我用一个简单的网站生成功能测试了它的编码能力:
在此编码任务中,生成平均约为121 token/秒,明显快于前面的通用文本测试。
DFlash 试探式解码似乎在这类顺序代码生成工作负载上表现尤佳。
模型生成了可用的奢华腕表网站。
最终输出仍有少量问题,对 30B 模型而言并不意外,但它能非常快地产出完整项目。
Muse Glimmer 的定位是代理式编码模型,因此更关键的测试在于:当它需要创建文件、运行命令、自测并修复问题时表现如何。接下来我们将把它连接到 OpenCode 进行测试。
5. 将 Muse Glimmer 连接到 OpenCode 并测试代理式编码
既然 Muse Glimmer 已在本地运行,下一步就是将其连接到OpenCode,看看它作为代理式编码模型的表现。
首先安装 OpenCode:
重新加载 shell 并确认安装:
在本次测试中,我使用的版本为:
创建 OpenCode 配置目录:
无需打开文本编辑器,直接在终端创建配置文件:
这会告诉 OpenCode 使用我们本地
llama-server暴露的 OpenAI 兼容 API。接下来创建新项目:
OpenCode 会启动其终端界面,且Muse Glimmer 30B 已配置为主模型。
构建一个完整应用
为了更贴近实战地测试模型,我让它构建一个医学研究应用:
初始结果令人印象深刻。生成完整项目仅用时约一分钟。
它很快就创建了后端、前端、依赖项以及整体应用结构。
随后我让它测试后端与 UI。
这时我开始注意到模型的薄弱环节。
构建很快,调试较弱
在人工编码基准上,Muse Glimmer 与Qwen3.6 27B 模型的排名相近,但根据我的实测,它在实际推进编码任务时明显逊色一些。
最大的问题在于调试。
Muse Glimmer 从零创建完整项目的速度很快,但一旦出现问题,它就难以独立地把问题理清楚。它可能会花很久尝试各种方法却进展不大。
最终我不得不精确告诉它该如何操作。
例如,我明确指示它:
当我给出这些具体步骤后,它就理解了任务并顺利执行。
这大概是我用 Muse Glimmer 搭配 OpenCode 的最大体会。
您需要非常明确地告诉它要做什么。
与其说“测试应用”或“修复问题”,不如详细描述它应执行的具体操作序列,效果会更好。
因此,对这个模型来说,提示工程尤为重要。
最终应用
在解决调试问题后,最终的MedSearch AI 应用运行良好。
该应用快速、功能丰富且出奇地简洁。
它采用轻量的 FastAPI 后端与原生 HTML、CSS 和 JavaScript,而非依赖大型前端框架。
这种简洁其实是我喜欢的结果之一。
Muse Glimmer 在不引入不必要复杂性的情况下,生成了一个可用的 AI 应用。
截至目前,我的体验是 Muse Glimmer非常擅长快速生成大量可运行代码,但当需要自行诊断问题、规划多步调试并自我恢复时,其可靠性要差得多。
对于本地编码而言,这一区别很重要。
如果您给予清晰且详尽的指令,它会很有能力。
若期望它在调试时自行摸索每一步,尤其是复杂任务上,局限就会明显许多。
总结
Muse Glimmer 30B 仍是一款非常新的模型,这在我的测试中有所体现。
它生成代码的速度很快,但在调试和多步任务上更易受挫。我经常需要精确告诉它下一步该做什么,它才能继续推进。
即便如此,我认为该模型潜力不小。
随着更好的提示工程与后续改进,我认为它有望成为可用性很强的本地编码模型,类似我使用Qwen3.6 27B的体验。
我也认为这对 Meta AI 是一个很好的方向。
本地编码代理的需求很明确,因为它们可以带来:
在我的环境中,模型大约使用了24 GB GPU 显存,这使其在高端本地硬件上具有可行性。
也可以利用系统内存或统一内存来运行这类模型,但性能会更慢。
在本指南中,我们构建了
llama.cpp,下载了 Muse Glimmer 的 GGUF 文件,启用了视觉与试探式解码,测试了 API 与 Web UI,并将模型连接到 OpenCode。我们还用它构建并测试了一个完整应用。
我的主要结论是:Muse Glimmer 在代码生成方面非常快,但在调试或处理更复杂的代理式任务时,仍需要明确的指令。