本地运行 Unsloth Studio：分步指南

您或许已经听说过 Unsloth。他们因快速发布新开源模型的量化版本而闻名，使其更易于在本地推理环境中下载、加载和运行。他们还凭借实用的指南赢得了良好口碑，帮助用户在不折腾复杂环境的前提下运行并微调最新的开源模型。

最近，Unsloth Studio 将这些工作流程整合到一个地方：一个用于本地运行与训练模型的 Web 界面，支持 GGUF 与 Safetensors、并排模型对比、推理参数自动调优、工具调用，以及兼容 OpenAI 的 API。

在本教程中，我将带您完成为 Unsloth Studio 准备所需环境、本地安装、启动界面，并直接在 UI 中测试模型的全流程。无需混乱的手工流水线、无需在五个不同工具间来回切换，也无需为起步而额外编写推理代码。

您还可以查看我们的使用 Unsloth Studio 进行微调指南，以及我们的早期 Unsloth 指南以获取更多信息。

什么是 Unsloth Studio？

Unsloth Studio 是 Unsloth 的全新开源本地 Web 界面，可在同一处运行、训练并导出开源模型。它将推理、微调与测试整合进一个可在您本机运行的统一环境，而无需东拼西凑多个工具。

Unsloth Studio 支持 GGUF 与 Safetensors 模型，适用于 Mac、Windows 和 Linux，并旨在为偏好可视化工作流、而非手动拼接脚本的用户大幅降低本地模型实验门槛。

Unsloth Studio 的关键特性

它之所以引人关注，离不开以下亮点功能：

• 在同一界面中搜索、下载并本地运行模型
• 并排比较两个模型
• 使用自修复式工具调用与内置网页搜索
• 自动调优推理设置
• 轻松编辑聊天模板
• 访问兼容 OpenAI 的 API
• 无代码工作流微调模型
• 从 PDF、CSV、JSON、DOCX、TXT 等文件自动创建数据集
• 将模型导出为 GGUF 和 16 位 Safetensors 等格式

Unsloth Studio 的前置条件

开始安装前，请确保您的系统具备本地运行 Unsloth Studio 所需的基础工具。整体配置并不复杂，但如果您希望进行微调而不仅是聊天，则需要更完善的、可用 GPU 的环境。

• Python：3.11 至 3.13 版本
• Git：用于克隆与管理代码仓库
• CMake：用于安装时构建本地组件
• macOS 工具：在 macOS 上可能还需 Homebrew 与 OpenSSL
• NVIDIA GPU：如需在本地微调模型则必需
• 最新 NVIDIA 驱动：建议更新以避免安装、CUDA 或训练相关问题

简单而言，基础的本地聊天更容易在 CPU 上跑通，但微调则需要合适的 NVIDIA 硬件与更新的驱动，以及上述标准工具。

配置您的 RunPod 环境

在本教程中，我们将使用 RunPod 的A40 机器。我本可以在笔记本上完成全部操作，但受限于存储空间不足，且网络过慢，不利于下载大型模型与依赖。

为避免漫长的下载、缓慢的构建以及污染本地系统的风险，我选择了 RunPod 这类简单的云端方案，更适合本次工作流，且搭建速度更快。

• 先创建一个新的A40 pod，并选择最新的PyTorch 2.8.0 模板。
• 部署前，编辑 pod 设置，将容器磁盘设为50 GB，数据卷磁盘设为100 GB，以确保有足够空间完成安装与下载模型。
• 还需暴露HTTP 端口 8888（用于 Jupyter Notebook）以及端口 8910（用于 Unsloth Studio）。
• 将您的Hugging Face 令牌添加为环境变量是可选项，但可加速模型下载，并便于访问受限模型。

确认无误后，保存更改，检查 pod 概览并部署。

安装 Unsloth Studio

大约一分钟后，您会在 RunPod 控制台中看到访问JupyterLab的链接。打开它，然后启动一个终端。您也可以使用 SSH 将端口转发至本地，或直接使用 Web 终端，但我觉得 JupyterLab 终端更适合这类搭建：访问快捷、管理简单，还能同时打开多个终端，毫无压力。

首先，升级 pip 并安装 uv。

pip install --upgrade pip && pip install uv技术支持

接下来，为项目新建文件夹并进入该目录。

mkdir Unsloth-Studio && cd Unsloth-Studio技术支持

随后使用 uv 创建虚拟环境。

uv venv技术支持

您应会看到类似如下的输出，表示虚拟环境已成功创建。

Using CPython 3.12.3 interpreter at: /usr/local/bin/python
Creating virtual environment at: .venv
Activate with: source .venv/bin/activate技术支持

现在激活虚拟环境。

source .venv/bin/activate技术支持

激活后，使用 uv 安装 Unsloth。

uv pip install unsloth --torch-backend=auto技术支持

最后，运行 Studio 的安装命令。此步骤会为您完成繁重的设置，包括安装 Node.js、npm，构建 llama.cpp，以及安装本次运行所需的额外 Python 包。

unsloth studio setup技术支持

安装完成后，您会看到用于在本地启动 Unsloth Studio 的命令。

本地启动 Unsloth Studio

回想一下，我们在开始时于 RunPod 模板中暴露了端口 8910。

我们现在将在该端口上启动 Unsloth Studio，这样就可以通过 RunPod 链接直接访问，而不必仅在机器内部使用 localhost。

在终端中运行以下命令，启动 Unsloth Studio Web 推理。

unsloth studio -H 0.0.0.0 -p 8910技术支持

启动后，您应会看到它已检测到A40 GPU，以及默认的管理员凭据和默认模型，已下载并可直接使用。大多数情况下，Qwen3.5 4B 量化模型会默认可用，因此您无需先下载其他模型即可立即开始测试 Studio。

不要点击终端中显示的 localhost 链接，返回RunPod 控制台并打开Connect 选项卡。在那里点击端口 8910的链接以打开 Unsloth Studio 的 Web 界面。

首次打开时，Studio 会要求您创建新密码。请设置一个密码，以保护该实例，避免通过公共链接被他人访问。

随后会进入引导流程，您也可以选择跳过。如果您想快速了解界面、按钮与主要分区，它很有用，但并非必需。

进入后，您会来到 Unsloth Studio 仪表板。界面分为四个主要选项卡。

Studio 用于处理微调；Recipes 可从 PDF、CSV 等文件创建数据集；Export 能将微调后的模型保存为GGUF 或16 位 Safetensors 等格式；Chat 则用于直接与模型交互。

测试 Unsloth Studio 聊天界面

点击Chat 选项卡，然后点击左上角的选择模型（Select model）按钮。如截图所示，Qwen3.5 4B 模型已下载。点击它，选择已安装的量化版本，即可开始使用。将模型加载至 GPU 内存需要几秒钟。

为了测试，我们给了它一道数学题，响应速度非常快，输出流畅且连贯。

您也可以启用网页搜索，询问近期话题。开启后，Unsloth Studio 会先进行网络搜索，再将检索到的信息传给模型，以生成更有依据的回答。

如您所见，它返回了来自主流媒体的前五条股市新闻结果。

您还可以直接在界面中搜索并下载任意Hugging Face 模型。在此示例中，我们下载了Qwen3.5 9B 4 位量化版本。

点击模型后即开始下载。根据模型大小与网络速度，下载可能需要一段时间。

下载完成后，您即可加载新模型。几秒内，Unsloth Studio 就会从先前的模型切换到新模型，让您使用更强大的能力。

随后我们请新模型生成一幅树懒的 SVG 艺术图。

它先对请求进行推理，然后生成 SVG 代码，最后在界面中直接显示出树懒图像。

看起来确实像只树懒，但并不算惊艳。换用更大更强的模型，通常会有更好的效果，尤其是在更强的 GPU 与充足内存的加持下。

Unsloth Studio 的聊天界面还提供多项配置选项。您可以调整生成参数、添加系统提示、修改聊天模板，更自由地探索模型行为。

总结

总体而言，我很喜欢使用 Unsloth Studio。虽然搭建过程没有我预期的顺畅，期间也遇到了一些不太顺手的地方，但一旦全部跑起来，体验就完全不同了。

最大的问题在于 unsloth studio setup 这一步。纸面上看很简单，但实际仅安装过程就花了15 到 20 分钟。其中一些环节我自己手动安装可能会更快。

文档中提到的时间更接近5 到 10 分钟，但对我来说确实更久。

第二个痛点是存储。起初我以为只需中等空间，但完整搭建最终占用了接近 100 GB，远超预期。我并不完全确定这些空间都用在了哪里。

可能来自虚拟环境、下载的依赖、模型文件、构建产物，或安装过程中有部分工具以更全局的方式被安装。这部分并不算很透明。

但撇开这些问题，一旦 Unsloth Studio 启动成功，我是真心喜欢它。界面打磨得体、响应迅速、而且出乎意料地易用。

一切集中于同一处，流程顺滑，让本地模型实验更易上手。因此，尽管搭建过程可能稍微考验耐心，但实际使用体验让人觉得物有所值。