课程
面向开发者的 AI 辅助编码
1 小时 30 分钟
11.3K
Unsloth Studio 迎来重大升级——Unsloth Desktop，它让您以桌面应用的方式，在本地运行一切。对于不想花时间安装包、配置各类工具、或经常在终端反复执行命令的用户来说，这尤其实用。
简单来说，Unsloth Desktop 是本地 AI 工作流的一体化解决方案。
您可以在同一个应用中运行并微调大语言模型、测试视觉模型、生成图像与视频、训练图像模型、处理音频、使用 AI 编码工具、管理模型，并运行本地 API。
在本指南中，我将向您展示如何在 Linux 上安装 Unsloth Desktop、运行本地大语言模型、将其与 OpenCode 连接，并使用本地模型构建一个 Python 项目。
我们还会探索它的其他功能，看看在一个应用中，您可以在本地完成多少工作。
1. 检查您的 NVIDIA 显卡
在安装 Unsloth Desktop 之前，建议先快速检查一下您的 NVIDIA GPU 是否被检测到，以及 CUDA 是否正常工作。
这样可以在您开始在本地运行或微调模型时，避免后续问题。
首先，打开终端并运行：
nvidia-smi
这应显示您的 NVIDIA GPU、驱动版本、可用显存，以及 CUDA 兼容性信息。
接着，检查系统中安装的 CUDA 编译器：
nvcc --version您应能看到类似如下的输出：
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0如果两个命令均可正常运行，且 GPU 被正确识别，说明您的系统已为 Unsloth Desktop 做好准备。
2. 下载并安装 Unsloth Desktop
然后，访问官方Unsloth 网站并下载Unsloth Desktop。
请确保选择与您的操作系统匹配的安装包。
下载完成后，像安装其他桌面应用一样进行安装。
在 Linux 上，根据发行版的不同，可能是一个 .deb 包。
安装完成后，启动 Unsloth Desktop。
应用应会自动检测可用硬件，并为您打开主界面。
从这里，您可以浏览并下载模型、在本地运行大语言模型、微调模型、处理图像与其他模态、管理本地模型，并使用 Unsloth Desktop 中提供的其他工具。
3. 在 Unsloth Desktop 中下载并运行大语言模型
打开 Unsloth Desktop 的模型中心（Model hub），搜索您想要运行的模型。
在本次测试中，我使用了自己最喜欢的小模型之一：
empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face
下载完成后，您可以加载模型，并在 Unsloth Desktop 中直接与其对话。
在我的系统上，平均速率约为每秒 102 个 token，在某些与编码相关的查询中提升至每秒约 125 个 token。
我还启用了网页访问，向模型询问了最新的股市新闻。
当您需要模型之外的最新信息时，这会让本地聊天体验更实用。
接下来，我想看看它是否能“做点东西”，而不只是回答问题。
我让它创建一个网站，它生成了代码，并在聊天旁边显示网站，便于在持续修改的同时查看结果。
4. 测试视觉模型
Unsloth Desktop 也支持视觉-语言模型，您可以将图像直接上传到对话中并就其提问。
在我的测试中，下载模型时所需的视觉编码器会自动安装。
我只需上传一张图片、提出问题，几秒钟内模型就返回了高度准确的回答。
在与编码代理协作时，视觉能力尤其有用。
例如，您可以上传网站截图并指出需要修复的问题，向代理展示您想复刻的设计，或在构建自己的应用时，把现有界面作为视觉参考。
5. 将 Unsloth Desktop 与 OpenCode 搭配使用
小模型非常适合测试，甚至可以胜任一些轻量级的代理式编码。
但如果您需要一个能处理更大项目的本地编码代理，就需要在显存可承受范围内，使用更强的模型。
就我而言，我使用的是RTX 3090（24 GB 显存），因此我下载了Muse Glimmer 30B 的 Q4 版本。
在 Unsloth Desktop 中打开模型（Models）选项卡，搜索该模型，并下载 UD-Q4_K_XL 版本。
几分钟内，模型应会下载完成并在您的系统中加载。
默认情况下，上下文窗口约为 4K，这对于需要跨多个文件协同工作的编码代理来说太小了。
在 Unsloth Desktop 中打开右侧面板，将上下文长度改为64K，向下滚动并重新加载模型。
模型重新加载后，前往Settings → System（设置 → 系统）查看 GPU 内存使用情况。
就我而言，模型大约占用22 GB 显存，大约留出 2 GB 用于 KV 缓存。对于我的测试来说已足够，但可用内存还是取决于您的 GPU 与具体负载。
接着，打开Settings → Agents（设置 → 代理），选择OpenCode作为编码代理。
Unsloth Desktop 会自动生成启动它所需的命令。
首先，使用终端创建一个项目目录：
mkdir unsloth-project
cd unsloth-project然后启动 OpenCode：
unsloth start opencode \
--model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
--context-length 64000请确保在命令中包含上下文长度。
否则，OpenCode 可能会使用默认的较小上下文窗口启动。
该命令会在需要时安装 OpenCode，然后使用您的本地 Unsloth 模型，启动其终端界面。
6. 使用 OpenCode 构建项目
既然一切已经连通，我希望好好测试一下本地编码代理。
我没有让它生成一小段代码，而是让它从零开始构建一个用 Python 编写的马里奥风格游戏。
我使用的提示词如下：
Create a simple Mario-style 2D platform game in Python using Pygame.
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag.
Use simple built-in shapes instead of external assets.
Create the files, install dependencies, test the game, and tell me how to run it.OpenCode 先创建了待办清单，然后按部就班推进项目：创建文件、编写游戏逻辑、处理依赖，最后给出了启动游戏的命令。
最终游戏可以运行，但还有些小问题。
在这个较大的编码任务上，Muse Glimmer 的 Q4 版本表现不如我预期，如果您的显存足够，建议尝试 Q8 版本以获得更好的编码性能。
Unsloth Desktop 的其他关键功能
到目前为止，我们主要用 Unsloth Desktop 来运行大语言模型和编码代理，但它的能力远不止于此。
它的理念是，将本地 AI 工作的大部分流程集中在同一个应用中，而不是为每项任务各自搭建不同工具。
LLM 微调
您可以在本地使用诸如LoRA 和 QLoRA 等方法微调大语言模型。
免代码的训练界面可帮助您便捷选择数据集、配置训练设置、启动训练，并在无需自行搭建完整训练流水线的情况下导出最终模型。
图像生成与编辑
您可以下载受支持的扩散模型，根据文本提示在本地生成图像。也可以上传现有图像，描述期望的修改，使用受支持的模型进行图像编辑。
图像 LoRA 训练
如果您想更进一步，也可以在自有数据集上训练图像 LoRA。
这有助于让模型学习特定主题、角色、产品或视觉风格，然后在后续生成中应用该 LoRA。
视频生成
Unsloth Desktop 也支持基于受支持扩散模型的本地视频生成工作流。
这意味着您无需另行搭建环境，即可在同一个应用中尝试图像与视频的生成。
语音与音频模型
您可以使用语音转文本、文本转语音及其他受支持的音频模型。
这使您能够在本地完成音频转录、语音合成，并尝试不同的音频 AI 工作流。
数据配方（Data recipes）
数据配方可将 PDF、CSV 等文件转换为可供检查、编辑与训练准备的数据集。
当您手头有自有数据、又不想从零手动构建数据集时，这尤其有用。
模型存储与管理
随着您下载更多模型并开始训练自有模型，管理一切很快就会变得杂乱。
Unsloth Desktop 为已下载的模型、数据集、适配器、训练运行及其他本地资产提供统一的管理入口。
模型导出
Unsloth Studio 官方支持将 Safetensors/LoRA 模型导出为 GGUF 等格式。llama.cpp 明确受支持用于运行导出的模型。
本地 API
最后，Unsloth Desktop 能通过与 OpenAI 兼容的 API 暴露您的本地模型。这样，您无需依赖托管模型 API，就能轻松将本地运行的模型连接到其他应用、编码工具或 AI 项目。
结语
Unsloth Desktop 正在朝一个非常有趣的方向前进。
将大语言模型、微调、图像与视频生成、编码代理、数据集与本地 API 集于一体的桌面应用，大大简化了本地 AI 的使用，尤其适合不想手动配置每个工具的人。
尽管如此，整体体验仍有一些粗糙之处。
在较老的 GPU 或 CUDA 驱动过时的系统上，您可能仍需在 Linux 或 Windows 上排查依赖，并手动安装某些组件。
我也遇到过与图像生成、上下文设置以及编码代理相关的问题。
例如，如果您在 Unsloth Desktop 中增大了模型上下文，启动编码代理时可能也需要显式设置相同的上下文长度。部分网站生成与类似 Canvas 的工作流有时也未按预期运行。
Unsloth 近期非常快速地加入了大量功能，但并非所有部分都已完全稳定。我预计随着 Desktop 的优化与成熟，这些问题会大幅改善。
目前，如果我的主要目标只是为 AI 编码代理或其他应用提供一个本地大语言模型服务，我仍然更偏好llama.cpp。
它让我能更好地控制模型、上下文、GPU 卸载、内存使用与其他底层设置。
Unsloth Desktop 更易上手，而当我需要微调配置、尽可能压榨硬件性能时，llama.cpp 仍是更佳选择。