Unsloth Studio 迎来重大升级—— Unsloth Desktop ,它让您以桌面应用的方式在本地运行一切。对于不想花时间安装包、配置不同工具或在终端中频繁执行命令的用户来说,这尤其实用。
简单来说,Unsloth Desktop 是 本地 AI 工作流的一体化解决方案 。您可以运行并微调大语言模型,测试视觉模型,生成图像和视频,训练图像模型,处理音频,使用 AI 编码工具,管理模型,并运行本地 API——全部在同一个应用中完成。
在本指南中,我们将在 Linux 上安装 Unsloth Desktop,运行本地大语言模型,将其与 OpenCode 连接,并使用本地模型构建一个 Python 项目。我们还将探索它的其他功能,看看仅用一个应用在本地可以完成多少工作。
1. 检查您的 NVIDIA GPU
在安装 Unsloth Desktop 之前,建议先快速检查系统是否检测到 NVIDIA GPU,且 CUDA 正常工作。这有助于在您开始本地运行或微调模型时避免后续问题。
首先,打开终端并运行:
nvidia-smi技术支持
这将显示您的 NVIDIA GPU、驱动版本、可用显存以及 CUDA 兼容性信息。
接着,检查系统中安装的 CUDA 编译器:
nvcc --version 技术支持
您应看到类似如下的输出:
nvcc: NVIDIA ( R) Cuda compiler driver
Copyright ( c) 2005 -2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9 , V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0技术支持
如果上述两个命令均可正常运行,且 GPU 被正确检测到,那么您的系统已为 Unsloth Desktop 做好准备。
2. 下载并安装 Unsloth Desktop
接下来,访问官方 Unsloth 网站 并下载 Unsloth Desktop 。请确保选择与您操作系统匹配的安装包。
来源: 下载适用于 Linux 的 Unsloth Desktop
下载完成后,像安装其他桌面应用一样安装该包。在 Linux 上,这可能是一个 .deb 包,具体取决于您的发行版。
安装完成后,启动 Unsloth Desktop。应用应自动检测可用硬件,并为您提供主界面入口。
从这里,您可以浏览与下载模型、本地运行大语言模型、微调模型、处理图像与其他模态、管理本地模型,并访问 Unsloth Desktop 内的其他工具。
3. 在 Unsloth Desktop 中下载并运行大语言模型
在 Unsloth Desktop 中打开 模型中心(Model hub) ,搜索您想运行的模型。此次测试我使用了我最喜欢的一款小模型:
empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face
下载模型后,您即可加载并在 Unsloth Desktop 内直接与其对话。在我的系统上,平均速度约为 每秒 102 个 token ,针对某些与编码相关的查询则提升到约 每秒 125 个 token 。
我还启用了网页访问,让模型回答有关最新股市新闻的问题。需要获取模型之外的信息时,这会让本地聊天体验更实用。
接下来,我想看看它是否能做出点实物,而不仅仅是回答问题。我让它创建一个网站,它生成了代码并在对话旁边显示网站,便于在持续修改的同时查看结果。
4. 测试视觉模型
Unsloth Desktop 还支持多模态视觉语言模型,您可以直接在聊天中上传图像并就其提问。
在我的测试中,下载模型时所需的视觉编码器会自动安装。我只需上传一张图片,提出问题,模型便在几秒内返回了非常准确的回答。
在与编码代理协作时,视觉支持尤为有用。例如,您可以上传网站截图并指出需要修复的问题,展示想要复刻的设计,或在构建自己的应用时将现有界面作为视觉参考。
5. 将 Unsloth Desktop 与 OpenCode 搭配使用
小模型非常适合测试,甚至能胜任一些轻量级的代理式编码。但如果您想要在本地使用能够处理更大项目的严肃编码代理,就需要一款更强的模型,同时它仍要能装入您 GPU 的显存。
就我而言,我使用的是 RTX 3090(24 GB 显存) ,因此我下载了 Muse Glimmer 30B 的 Q4 版本。
在 Unsloth Desktop 中打开 Models 标签,搜索该模型,并下载 UD-Q4_K_XL 版本。几分钟内,模型应会被下载并加载到您的系统。
默认情况下,上下文窗口约为 4K,这对于跨多文件工作的编码代理来说太小了。在 Unsloth Desktop 中打开右侧面板,将上下文长度改为 64K ,下拉并重新加载模型。
模型重新加载后,前往 Settings → System 查看 GPU 显存使用情况。我的机器上,模型大约占用 22 GB 显存 ,剩余约 2 GB 可用于 KV 缓存。对我的测试来说这已足够,不过可用内存取决于您的 GPU 和负载。
然后,打开 Settings → Agents 并选择 OpenCode 作为编码代理。Unsloth Desktop 会自动生成您需要的启动命令。
首先,用终端创建一个项目目录:
mkdir unsloth-project
cd unsloth-project技术支持
然后启动 OpenCode:
unsloth start opencode \
--model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
--context-length 64000 技术支持
请确保在命令中包含上下文长度。否则,OpenCode 可能会以默认较小的上下文窗口启动。
该命令会在需要时安装 OpenCode,然后以您的本地 Unsloth 模型就绪的状态启动其终端界面。
6. 使用 OpenCode 构建项目
既然一切都已连通,我想给本地编码代理来一场正式测试。我没有让它只生成一小段代码,而是请它从零开始构建一个 Python 版马里奥风格游戏 。
我使用的提示词如下:
Create a simple Mario-style 2D platform game in Python using Pygame.
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag.
Use simple built-in shapes instead of external assets. Create the files, install dependencies, test the game, and tell me how to run it.技术支持
OpenCode 先创建了待办清单,然后按步骤推进项目。它创建文件、编写游戏逻辑、处理依赖,最后给出了启动游戏的命令。
最终的游戏可以运行,但仍有些小 bug。对于这类更大的编码任务, Muse Glimmer 的 Q4 版本表现不如我预期 ,如果您的显存足够,建议尝试 Q8 版本以获得更好的编码性能。
7. Unsloth Desktop 的其他关键功能
到目前为止,我们主要将 Unsloth Desktop 用于运行大语言模型和编码代理,但它的能力远不止于此。其理念是将大多数本地 AI 工作流集中在同一个应用中,而不是为每项任务分别配置不同工具。
大语言模型微调
您可以在本地使用 LoRA 和 QLoRA 等方法对大语言模型进行微调。无代码训练界面也使您更容易选择数据集、配置训练设置、启动训练,并在无需自建完整训练流水线的情况下导出最终模型。
图像生成与编辑
您可以下载受支持的扩散模型,根据文本提示在本地生成图像。也可上传现有图像,描述所需更改,并使用受支持的模型进行图像编辑。
图像 LoRA 训练
如果您想深入图像生成领域,还可以在自有数据集上训练图像 LoRA。这样有助于让模型学习特定主题、角色、产品或视觉风格,并在后续生成中复用该 LoRA。
视频生成
Unsloth Desktop 还支持使用受支持的扩散模型进行本地视频生成工作流。这意味着您可以在同一应用中同时尝试图像与视频生成,而无需另建环境。
语音与音频模型
您可以使用语音转文本、文本转语音及其他受支持的音频模型。本地即可完成音频转录、语音生成,并尝试不同的音频 AI 工作流。
数据配方(Data Recipes)
数据配方可将 PDF、CSV 等文件转换为数据集,便于您检查、编辑并为训练做好准备。当您拥有自有数据、又不想从头手工构建数据集时,这尤其有用。
模型存储与管理
随着您下载更多模型并开始训练自有模型,管理一切可能很快变得混乱。Unsloth Desktop 为下载的模型、数据集、适配器、训练作业以及其他本地资源提供统一管理入口。
模型导出
Unsloth Studio 官方支持将 Safetensors/LoRA 模型导出为 GGUF 等格式。明确支持使用 llama.cpp 运行已导出的模型。
本地 API
最后,Unsloth Desktop 可通过兼容 OpenAI 的 API 暴露您的本地模型。这让您可以轻松将本地运行的模型连接到其他应用、编码工具或 AI 项目,而无需依赖托管的模型 API。
结语
Unsloth Desktop 正在朝着一个非常有趣的方向发展。将大语言模型、微调、图像与视频生成、编码代理、数据集以及本地 API 集于一款桌面应用,使本地 AI 的使用变得更容易,尤其适合不愿手动配置每个工具的人。
话虽如此,它的某些细节仍略显粗糙。在较老的 GPU 或 CUDA 驱动过期的系统上,您可能仍需在 Linux 或 Windows 上手动排查依赖并安装某些组件。我也遇到了图像生成、上下文设置和编码代理方面的一些问题。比如,在 Unsloth Desktop 中增大模型上下文后,您在启动编码代理时也可能需要显式设置相同的上下文长度。某些网站生成和 Canvas 风格的工作流也不总是如预期运行。
Unsloth 在很短时间内加入了大量功能,但并非所有部分都已完全稳定。我预计随着 Desktop 的优化与成熟,这些问题会逐步改善。
目前,如果我的主要目标只是为 AI 编码代理或其他应用提供一个本地大语言模型服务,我仍更偏好 llama.cpp 。它在模型控制、上下文设置、GPU 下放、内存使用及其他底层参数方面给予我更多掌控。Unsloth Desktop 更易上手,而当我想精细调参并尽可能榨干硬件性能时,llama.cpp 依然是更优之选。
Unsloth Studio 迎来重大升级——Unsloth Desktop,它让您以桌面应用的方式在本地运行一切。对于不想花时间安装包、配置不同工具或在终端中频繁执行命令的用户来说,这尤其实用。
简单来说,Unsloth Desktop 是本地 AI 工作流的一体化解决方案。您可以运行并微调大语言模型,测试视觉模型,生成图像和视频,训练图像模型,处理音频,使用 AI 编码工具,管理模型,并运行本地 API——全部在同一个应用中完成。
在本指南中,我们将在 Linux 上安装 Unsloth Desktop,运行本地大语言模型,将其与 OpenCode 连接,并使用本地模型构建一个 Python 项目。我们还将探索它的其他功能,看看仅用一个应用在本地可以完成多少工作。
1. 检查您的 NVIDIA GPU
在安装 Unsloth Desktop 之前,建议先快速检查系统是否检测到 NVIDIA GPU,且 CUDA 正常工作。这有助于在您开始本地运行或微调模型时避免后续问题。
首先,打开终端并运行:
这将显示您的 NVIDIA GPU、驱动版本、可用显存以及 CUDA 兼容性信息。
接着,检查系统中安装的 CUDA 编译器:
您应看到类似如下的输出:
如果上述两个命令均可正常运行,且 GPU 被正确检测到,那么您的系统已为 Unsloth Desktop 做好准备。
2. 下载并安装 Unsloth Desktop
接下来,访问官方Unsloth 网站并下载Unsloth Desktop。请确保选择与您操作系统匹配的安装包。
来源:下载适用于 Linux 的 Unsloth Desktop
下载完成后,像安装其他桌面应用一样安装该包。在 Linux 上,这可能是一个.deb 包,具体取决于您的发行版。
安装完成后,启动 Unsloth Desktop。应用应自动检测可用硬件,并为您提供主界面入口。
从这里,您可以浏览与下载模型、本地运行大语言模型、微调模型、处理图像与其他模态、管理本地模型,并访问 Unsloth Desktop 内的其他工具。
3. 在 Unsloth Desktop 中下载并运行大语言模型
在 Unsloth Desktop 中打开模型中心(Model hub),搜索您想运行的模型。此次测试我使用了我最喜欢的一款小模型:
empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face
下载模型后,您即可加载并在 Unsloth Desktop 内直接与其对话。在我的系统上,平均速度约为每秒 102 个 token,针对某些与编码相关的查询则提升到约每秒 125 个 token。
我还启用了网页访问,让模型回答有关最新股市新闻的问题。需要获取模型之外的信息时,这会让本地聊天体验更实用。
接下来,我想看看它是否能做出点实物,而不仅仅是回答问题。我让它创建一个网站,它生成了代码并在对话旁边显示网站,便于在持续修改的同时查看结果。
4. 测试视觉模型
Unsloth Desktop 还支持多模态视觉语言模型,您可以直接在聊天中上传图像并就其提问。
在我的测试中,下载模型时所需的视觉编码器会自动安装。我只需上传一张图片,提出问题,模型便在几秒内返回了非常准确的回答。
在与编码代理协作时,视觉支持尤为有用。例如,您可以上传网站截图并指出需要修复的问题,展示想要复刻的设计,或在构建自己的应用时将现有界面作为视觉参考。
5. 将 Unsloth Desktop 与 OpenCode 搭配使用
小模型非常适合测试,甚至能胜任一些轻量级的代理式编码。但如果您想要在本地使用能够处理更大项目的严肃编码代理,就需要一款更强的模型,同时它仍要能装入您 GPU 的显存。
就我而言,我使用的是RTX 3090(24 GB 显存),因此我下载了Muse Glimmer 30B 的 Q4 版本。
在 Unsloth Desktop 中打开Models 标签,搜索该模型,并下载UD-Q4_K_XL 版本。几分钟内,模型应会被下载并加载到您的系统。
默认情况下,上下文窗口约为 4K,这对于跨多文件工作的编码代理来说太小了。在 Unsloth Desktop 中打开右侧面板,将上下文长度改为64K,下拉并重新加载模型。
模型重新加载后,前往Settings → System 查看 GPU 显存使用情况。我的机器上,模型大约占用22 GB 显存,剩余约 2 GB 可用于 KV 缓存。对我的测试来说这已足够,不过可用内存取决于您的 GPU 和负载。
然后,打开Settings → Agents 并选择OpenCode 作为编码代理。Unsloth Desktop 会自动生成您需要的启动命令。
首先,用终端创建一个项目目录:
然后启动 OpenCode:
请确保在命令中包含上下文长度。否则,OpenCode 可能会以默认较小的上下文窗口启动。
该命令会在需要时安装 OpenCode,然后以您的本地 Unsloth 模型就绪的状态启动其终端界面。
6. 使用 OpenCode 构建项目
既然一切都已连通,我想给本地编码代理来一场正式测试。我没有让它只生成一小段代码,而是请它从零开始构建一个Python 版马里奥风格游戏。
我使用的提示词如下:
OpenCode 先创建了待办清单,然后按步骤推进项目。它创建文件、编写游戏逻辑、处理依赖,最后给出了启动游戏的命令。
最终的游戏可以运行,但仍有些小 bug。对于这类更大的编码任务,Muse Glimmer 的 Q4 版本表现不如我预期,如果您的显存足够,建议尝试 Q8 版本以获得更好的编码性能。
7. Unsloth Desktop 的其他关键功能
到目前为止,我们主要将 Unsloth Desktop 用于运行大语言模型和编码代理,但它的能力远不止于此。其理念是将大多数本地 AI 工作流集中在同一个应用中,而不是为每项任务分别配置不同工具。
大语言模型微调
您可以在本地使用LoRA 和 QLoRA 等方法对大语言模型进行微调。无代码训练界面也使您更容易选择数据集、配置训练设置、启动训练,并在无需自建完整训练流水线的情况下导出最终模型。
图像生成与编辑
您可以下载受支持的扩散模型,根据文本提示在本地生成图像。也可上传现有图像,描述所需更改,并使用受支持的模型进行图像编辑。
图像 LoRA 训练
如果您想深入图像生成领域,还可以在自有数据集上训练图像 LoRA。这样有助于让模型学习特定主题、角色、产品或视觉风格,并在后续生成中复用该 LoRA。
视频生成
Unsloth Desktop 还支持使用受支持的扩散模型进行本地视频生成工作流。这意味着您可以在同一应用中同时尝试图像与视频生成,而无需另建环境。
语音与音频模型
您可以使用语音转文本、文本转语音及其他受支持的音频模型。本地即可完成音频转录、语音生成,并尝试不同的音频 AI 工作流。
数据配方(Data Recipes)
数据配方可将 PDF、CSV 等文件转换为数据集,便于您检查、编辑并为训练做好准备。当您拥有自有数据、又不想从头手工构建数据集时,这尤其有用。
模型存储与管理
随着您下载更多模型并开始训练自有模型,管理一切可能很快变得混乱。Unsloth Desktop 为下载的模型、数据集、适配器、训练作业以及其他本地资源提供统一管理入口。
模型导出
Unsloth Studio 官方支持将 Safetensors/LoRA 模型导出为 GGUF 等格式。明确支持使用 llama.cpp 运行已导出的模型。
本地 API
最后,Unsloth Desktop 可通过兼容 OpenAI 的 API 暴露您的本地模型。这让您可以轻松将本地运行的模型连接到其他应用、编码工具或 AI 项目,而无需依赖托管的模型 API。
结语
Unsloth Desktop 正在朝着一个非常有趣的方向发展。将大语言模型、微调、图像与视频生成、编码代理、数据集以及本地 API 集于一款桌面应用,使本地 AI 的使用变得更容易,尤其适合不愿手动配置每个工具的人。
话虽如此,它的某些细节仍略显粗糙。在较老的 GPU 或 CUDA 驱动过期的系统上,您可能仍需在 Linux 或 Windows 上手动排查依赖并安装某些组件。我也遇到了图像生成、上下文设置和编码代理方面的一些问题。比如,在 Unsloth Desktop 中增大模型上下文后,您在启动编码代理时也可能需要显式设置相同的上下文长度。某些网站生成和 Canvas 风格的工作流也不总是如预期运行。
Unsloth 在很短时间内加入了大量功能,但并非所有部分都已完全稳定。我预计随着 Desktop 的优化与成熟,这些问题会逐步改善。
目前,如果我的主要目标只是为 AI 编码代理或其他应用提供一个本地大语言模型服务,我仍更偏好llama.cpp。它在模型控制、上下文设置、GPU 下放、内存使用及其他底层参数方面给予我更多掌控。Unsloth Desktop 更易上手,而当我想精细调参并尽可能榨干硬件性能时,llama.cpp 依然是更优之选。