跳至主要内容

如何使用 Unsloth Desktop 构建本地 AI 工作流

使用 Unsloth Desktop 在本地完成 AI 工作流:大语言模型推理、微调、视觉模型、图像与视频生成、OpenCode 编码代理,以及本地 API,尽在一款桌面应用。
· 8分钟 阅读

使用 AI 探索

Unsloth Studio 迎来重大升级——Unsloth Desktop,它让您以桌面应用的方式在本地运行一切。对于不想花时间安装包、配置不同工具或在终端中频繁执行命令的用户来说,这尤其实用。

简单来说,Unsloth Desktop 是本地 AI 工作流的一体化解决方案。您可以运行并微调大语言模型,测试视觉模型,生成图像和视频,训练图像模型,处理音频,使用 AI 编码工具,管理模型,并运行本地 API——全部在同一个应用中完成。

在本指南中,我们将在 Linux 上安装 Unsloth Desktop,运行本地大语言模型,将其与 OpenCode 连接,并使用本地模型构建一个 Python 项目。我们还将探索它的其他功能,看看仅用一个应用在本地可以完成多少工作。

1. 检查您的 NVIDIA GPU

在安装 Unsloth Desktop 之前,建议先快速检查系统是否检测到 NVIDIA GPU,且 CUDA 正常工作。这有助于在您开始本地运行或微调模型时避免后续问题。

首先,打开终端并运行:

nvidia-smi

GPU Summary

这将显示您的 NVIDIA GPU、驱动版本、可用显存以及 CUDA 兼容性信息。

接着,检查系统中安装的 CUDA 编译器:

nvcc --version

您应看到类似如下的输出:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

如果上述两个命令均可正常运行,且 GPU 被正确检测到,那么您的系统已为 Unsloth Desktop 做好准备。

2. 下载并安装 Unsloth Desktop

接下来,访问官方Unsloth 网站并下载Unsloth Desktop。请确保选择与您操作系统匹配的安装包。

Download the Unsloth Desktop installer

来源:下载适用于 Linux 的 Unsloth Desktop 

下载完成后,像安装其他桌面应用一样安装该包。在 Linux 上,这可能是一个.deb 包,具体取决于您的发行版。

Installing the Unsloth Desktop

安装完成后,启动 Unsloth Desktop。应用应自动检测可用硬件,并为您提供主界面入口。

Unsloth Desktop main screen

从这里,您可以浏览与下载模型、本地运行大语言模型、微调模型、处理图像与其他模态、管理本地模型,并访问 Unsloth Desktop 内的其他工具。

3. 在 Unsloth Desktop 中下载并运行大语言模型

在 Unsloth Desktop 中打开模型中心(Model hub),搜索您想运行的模型。此次测试我使用了我最喜欢的一款小模型:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Downloading the empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF the model

下载模型后,您即可加载并在 Unsloth Desktop 内直接与其对话。在我的系统上,平均速度约为每秒 102 个 token,针对某些与编码相关的查询则提升到约每秒 125 个 token。

我还启用了网页访问,让模型回答有关最新股市新闻的问题。需要获取模型之外的信息时,这会让本地聊天体验更实用。

Testing the empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF in Unsloth Desktop

接下来,我想看看它是否能做出点实物,而不仅仅是回答问题。我让它创建一个网站,它生成了代码并在对话旁边显示网站,便于在持续修改的同时查看结果。

Testing the empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF in Unsloth Desktop

4. 测试视觉模型

Unsloth Desktop 还支持多模态视觉语言模型,您可以直接在聊天中上传图像并就其提问。

在我的测试中,下载模型时所需的视觉编码器会自动安装。我只需上传一张图片,提出问题,模型便在几秒内返回了非常准确的回答。

Testing the empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF in Unsloth Desktop

在与编码代理协作时,视觉支持尤为有用。例如,您可以上传网站截图并指出需要修复的问题,展示想要复刻的设计,或在构建自己的应用时将现有界面作为视觉参考。

5. 将 Unsloth Desktop 与 OpenCode 搭配使用

小模型非常适合测试,甚至能胜任一些轻量级的代理式编码。但如果您想要在本地使用能够处理更大项目的严肃编码代理,就需要一款更强的模型,同时它仍要能装入您 GPU 的显存。

就我而言,我使用的是RTX 3090(24 GB 显存),因此我下载了Muse Glimmer 30B 的 Q4 版本。

在 Unsloth Desktop 中打开Models 标签,搜索该模型,并下载UD-Q4_K_XL 版本。几分钟内,模型应会被下载并加载到您的系统。

Download the Muse Glimmer 3b in Unsloth Desktop

默认情况下,上下文窗口约为 4K,这对于跨多文件工作的编码代理来说太小了。在 Unsloth Desktop 中打开右侧面板,将上下文长度改为64K,下拉并重新加载模型。

Setting the context length in Unsloth Desktop

模型重新加载后,前往Settings → System 查看 GPU 显存使用情况。我的机器上,模型大约占用22 GB 显存,剩余约 2 GB 可用于 KV 缓存。对我的测试来说这已足够,不过可用内存取决于您的 GPU 和负载。

Check the system info in Unsloth Desktop

然后,打开Settings → Agents 并选择OpenCode 作为编码代理。Unsloth Desktop 会自动生成您需要的启动命令。

Testing the integration of the OpenCode with Unsloth Desktop

首先,用终端创建一个项目目录:

mkdir unsloth-project
cd unsloth-project

然后启动 OpenCode:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

请确保在命令中包含上下文长度。否则,OpenCode 可能会以默认较小的上下文窗口启动。

该命令会在需要时安装 OpenCode,然后以您的本地 Unsloth 模型就绪的状态启动其终端界面。

Using the OpenCode with the Unsloth Desktop

6. 使用 OpenCode 构建项目

既然一切都已连通,我想给本地编码代理来一场正式测试。我没有让它只生成一小段代码,而是请它从零开始构建一个Python 版马里奥风格游戏。

我使用的提示词如下:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode 先创建了待办清单,然后按步骤推进项目。它创建文件、编写游戏逻辑、处理依赖,最后给出了启动游戏的命令。

Testing the Muse Glimmer in OpenCode

最终的游戏可以运行,但仍有些小 bug。对于这类更大的编码任务,Muse Glimmer 的 Q4 版本表现不如我预期,如果您的显存足够,建议尝试 Q8 版本以获得更好的编码性能。

Game generated by Muse Glimmer locally.

7. Unsloth Desktop 的其他关键功能

到目前为止,我们主要将 Unsloth Desktop 用于运行大语言模型和编码代理,但它的能力远不止于此。其理念是将大多数本地 AI 工作流集中在同一个应用中,而不是为每项任务分别配置不同工具。

Unsloth Desktop other options

大语言模型微调

您可以在本地使用LoRA 和 QLoRA 等方法对大语言模型进行微调。无代码训练界面也使您更容易选择数据集、配置训练设置、启动训练,并在无需自建完整训练流水线的情况下导出最终模型。

图像生成与编辑

您可以下载受支持的扩散模型,根据文本提示在本地生成图像。也可上传现有图像,描述所需更改,并使用受支持的模型进行图像编辑。

图像 LoRA 训练

如果您想深入图像生成领域,还可以在自有数据集上训练图像 LoRA。这样有助于让模型学习特定主题、角色、产品或视觉风格,并在后续生成中复用该 LoRA。

视频生成

Unsloth Desktop 还支持使用受支持的扩散模型进行本地视频生成工作流。这意味着您可以在同一应用中同时尝试图像与视频生成,而无需另建环境。

语音与音频模型

您可以使用语音转文本、文本转语音及其他受支持的音频模型。本地即可完成音频转录、语音生成,并尝试不同的音频 AI 工作流。

数据配方(Data Recipes)

数据配方可将 PDF、CSV 等文件转换为数据集,便于您检查、编辑并为训练做好准备。当您拥有自有数据、又不想从头手工构建数据集时,这尤其有用。

模型存储与管理

随着您下载更多模型并开始训练自有模型,管理一切可能很快变得混乱。Unsloth Desktop 为下载的模型、数据集、适配器、训练作业以及其他本地资源提供统一管理入口。

模型导出

Unsloth Studio 官方支持将 Safetensors/LoRA 模型导出为 GGUF 等格式。明确支持使用 llama.cpp 运行已导出的模型。

本地 API

最后,Unsloth Desktop 可通过兼容 OpenAI 的 API 暴露您的本地模型。这让您可以轻松将本地运行的模型连接到其他应用、编码工具或 AI 项目,而无需依赖托管的模型 API。

结语

Unsloth Desktop 正在朝着一个非常有趣的方向发展。将大语言模型、微调、图像与视频生成、编码代理、数据集以及本地 API 集于一款桌面应用,使本地 AI 的使用变得更容易,尤其适合不愿手动配置每个工具的人。

话虽如此,它的某些细节仍略显粗糙。在较老的 GPU 或 CUDA 驱动过期的系统上,您可能仍需在 Linux 或 Windows 上手动排查依赖并安装某些组件。我也遇到了图像生成、上下文设置和编码代理方面的一些问题。比如,在 Unsloth Desktop 中增大模型上下文后,您在启动编码代理时也可能需要显式设置相同的上下文长度。某些网站生成和 Canvas 风格的工作流也不总是如预期运行。

Unsloth 在很短时间内加入了大量功能,但并非所有部分都已完全稳定。我预计随着 Desktop 的优化与成熟,这些问题会逐步改善。

目前,如果我的主要目标只是为 AI 编码代理或其他应用提供一个本地大语言模型服务,我仍更偏好llama.cpp。它在模型控制、上下文设置、GPU 下放、内存使用及其他底层参数方面给予我更多掌控。Unsloth Desktop 更易上手,而当我想精细调参并尽可能榨干硬件性能时,llama.cpp 依然是更优之选。

Abid Ali Awan

作者

Abid Ali Awan

作为一名持证的数据科学家,我热衷于利用前沿技术打造创新的机器学习应用。凭借在语音识别、数据分析与报告、MLOps、对话式人工智能以及自然语言处理方面的扎实背景,我不断打磨构建智能系统的能力,力求带来切实影响。除技术专长外,我也擅长沟通,能够将复杂概念提炼为清晰、简明的表述。因此,我成为数据科学领域备受关注的博主,与不断壮大的数据专业人士社区分享洞见与实践经验。目前,我专注于内容创作与编辑,借助大语言模型打造有力且吸引人的内容,帮助企业与个人更好地发挥数据价值。

主题