LM Studio 教程：本地运行大语言模型入门

在本地运行大语言模型正变得越来越流行，尤其当您不希望将私有数据发送到外部服务器时更是如此。当一切都在您的机器上运行，提示与数据都留在您的环境中，您能获得更强的掌控力与更好的隐私保护。

如果您也想拥有同样的能力，本文将带您使用 LM Studio 在本地运行并与 LLM 对话。它是一个以 GUI 为主的工具，因此您无需具备终端经验或深厚的技术背景。设置过程很直接，您可以快速上手。让我们开始吧！

如果您对在本地运行“智能体”工具感兴趣，建议查看我们关于分别使用 Ollama 设置 OpenClaw 和 Claude Code 的教程。

什么是 LM Studio？

LM Studio 是一款跨平台应用，允许您下载并在本地运行大语言模型，从而避免数据泄露到外部服务器。

它内置模型浏览器，您可以直接从 Hugging Face 搜索、浏览与下载模型。几乎任何您想要的模型都能下载，包括不同版本的 DeepSeek、Llama、Gemma、Phi 或 Mistral。您也无需进行任何额外设置。

LM Studio 对初学者也非常友好，尤其是当您不习惯使用命令行时。它提供易用的界面，您可以选择模型、调整配置，并立刻开始与之对话。

您还可以上传本地文件并与之对话：LM Studio 支持在聊天会话中附加 .docx、.pdf 和 .txt 文件。若文档可放入上下文，将完整添加；若篇幅很长，LM Studio 可使用 检索增强生成（RAG）从这些文件中提取相关信息来回答您的问题。

由于 LM Studio 是跨平台应用，它能在 Windows、Mac 和 Linux 上顺畅运行，不受设备限制。而且在掌握基础用法后，您还能做更多事。通过集成 MCP 服务器，您可以将本地 LLM 连接到外部工具、数据源和 API，使其足够灵活以支持更高级的工作流。

LM Studio 与 Ollama 对比

LM Studio 和 Ollama 都旨在在本地运行并与大语言模型对话。不过，它们有一些关键差异：

LM Studio 的系统要求与模型选择

在 LM Studio 中开始下载模型之前，先了解您的系统实际能承载什么会很有帮助。您选择的模型直接取决于可用内存；选错模型可能会导致变慢，甚至无法使用。

一张速查表，对应不同可用内存推荐的模型：

GPU 可选，但能带来显著差异。如果您有独显，模型响应会更快更顺滑。支持 CUDA 的 NVIDIA GPU 表现最佳，Apple Silicon 能有效利用 Metal，AMD 的支持取决于具体环境，部分可用。

如何为您的硬件选择合适的模型

以下是一些实用建议，帮助您选择在您的机器上运行良好且不过度占用资源的模型。

您还会注意到同一模型存在不同版本，标签如 Q4_K_M 或 Q8_0。这指的是量化等级，其本质上体现了模型的压缩程度。较低的量化（如 Q4）可降低内存占用并加快运行，但会损失一定质量；较高的量化（如 Q8）可保留更好的输出质量，但需要更多内存且运行更慢。

如果拿不准，Q4 或 Q5 通常是稳妥的起点，尤其在像我这样的 16GB 配置上。

安装 LM Studio

要开始使用 LM Studio，请前往其官方网站并下载应用。网站会自动识别您的操作系统并提供相应版本的下载。

根据系统设置，您可能需要授权权限。以我在 Mac 上为例，打开下载的安装包后，应用即可使用。

在 LM Studio 中下载您的第一个模型

首次打开 LM Studio 时，您会看到简洁的界面与模型浏览器。您可以立即搜索模型、探索可用选项，并开始下载以在本地运行。

浏览 Discover 选项卡

打开 LM Studio，点击左侧边栏的搜索图标。

这里相当于您的模型“市集”，您可以搜索特定模型、按规模筛选并探索不同选项。搜索结果中，每个模型都有模型卡，提供有用信息，如规模、能力，以及有时会给出推荐用例。下载前不妨快速浏览，以便心中有数。

如果您正跟着操作并想要一个可靠的起点，可以选择Qwen 2.5 7B（Q4_K_M）用于 16GB 系统（或参考我上面给出的建议）。它在性能与质量之间取得良好平衡，运行顺畅且不会过度压榨您的机器。

了解模型格式

在浏览时，您会注意到大多数模型都提供 GGUF 格式。GGUF（GPT-Generated Unified Format）是一种二进制格式，用于在消费级硬件上高效存储与运行 LLM。

该格式会将模型的高精度权重（例如 Float16）映射为更低位宽的整数（如 4 位、5 位），并将模型权重、元数据与配置打包为一个优化文件。它能加快加载速度，并确保与诸如 llama.cpp 之类推理引擎的兼容性，而 LM Studio 正是基于此在后台运行。

在 LM Studio 中与本地 LLM 对话

让我们进入更精彩的部分，把模型用起来。

加载模型并配置参数

步骤 1： 打开 LM Studio，在左侧菜单栏进入 My Models（我的模型）部分。

步骤 2： 点击模型上的 Settings（设置）图标，然后点击 Load Model（加载模型）。

加载完成后，前往同一界面的 Inference（推理）选项卡，您会看到用于调整上下文长度、温度等的控制项。

• 上下文长度决定模型在对话中能记住多少信息。更高的数值可处理更长的输入，但也会占用更多内存。如果内存有限，建议保持适中。
• 温度控制模型的创造性或可预测性。较低的数值使响应更确定，较高的数值使响应更多样。
• 系统提示用于设定模型的行为。在这里您可以定义助理应如何回应，包括语气、风格与角色。

您的第一次对话

当一切就绪后，您就可以像与任意 AI 助手一样开始聊天。下面是个简单示例：

我提出的问题是：“在 8GB 内存且包含图像数据的情况下，应该使用哪种最佳模型？”

模型建议使用具有 卷积神经网络（CNN） 架构的模型，如图所示。

基本流程就是这样。回答质量很大程度取决于您的配置。例如，如果您在系统提示中设定“用通俗语言简短解释一切”，模型会在多次回答中持续保持该风格。

在 LM Studio 中与您的文档对话

LM Studio 最实用的功能之一是其内置的 RAG 支持。您可以直接将文档上传到聊天中并开始提问。

设置文档问答

要开始，请在已加载模型的情况下打开一个聊天会话。您会看到用于附加文件的 + 图标。点击它即可将 PDF 或文本文件直接上传至聊天。

文件添加后，LM Studio 会自动为查询做准备，您无需手动配置。在后台，文档会被切分为更小的块，以便模型高效处理。随后这些块会被转换为向量嵌入，即文本的数值表示。

当您提出问题时，LM Studio 会检索最相关的文本块，并将其与您的查询一并传给模型。这样一来，模型便能结合文档中的额外信息进行回答。

查询您的知识库

例如，我上传了一篇关于人工智能的研究论文，并询问：“您如何看待 AI 的未来？”

LM Studio 会从文档中提取最相关的部分，与您的提示一同发送给模型。随后模型会基于给定上下文与其已有知识生成回答。

如下图，您可以直观地看到这一过程：

需要注意一些限制。模型仍受上下文窗口限制，因此非常大的文档可能无法一次性被完整考虑。检索质量也取决于文档的切分效果，这意味着若相关片段未被正确检索，个别回答可能会遗漏细节。

将 LM Studio 作为本地 API 服务器运行

LM Studio 的强大之处之一是可以将其作为本地 API 服务器运行。这样您就能在脚本、应用或其他工具中调用本地 LLM。

启动服务器

步骤 1： 要启用此功能，打开 LM Studio，点击屏幕左下角的 Settings（设置）图标。

步骤 2： 在左侧边栏进入 Developer（开发者）部分，并打开 Developer Mode（开发者模式）开关。

步骤 3： 返回聊天界面，点击左侧菜单栏的 Developer（开发者）图标。

步骤 4： 打开 Status（状态）旁的开关以启动服务器，如下图所示。服务器运行后，您可以复制服务器地址，并用一个简单的 curl 请求进行测试：

curl http://127.0.0.1:1234/v1/models

如果一切设置正确，您会看到一个 JSON 响应，列出可用的模型。

从 Python 进行连接

当本地服务器运行后，您可以像使用其他 API 一样来使用它。唯一的区别是，您不是调用 OpenAI 的服务器，而是在调用您自己的机器。

下面是一个简单示例：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")

response = client.chat.completions.create(
    model="local-model",
    messages=[
        {"role": "user", "content": "Explain how local LLMs work"}
    ],
)

print(response.choices[0].message.content)

这里发生了什么：

• base_url 告诉代码使用您本地的 LM Studio 服务器，而不是 OpenAI

• api_key 可任意填写（LM Studio 不强制校验）

• model 指向您在 LM Studio 中已加载的模型

• messages 是您的提示词

当您运行该代码时，请求会发送到 “localhost:1234”，模型进行处理并返回响应，就像一次常规的 API 调用。这之所以可行，是因为 LM Studio 遵循OpenAI API 格式。

总结

LM Studio 为在本地使用 LLM 提供了一个简洁、实用的界面，您可以完全掌控运行环境。您可以选择模型、配置设置、与之对话，甚至将其扩展为本地 API 服务器。

值得一提的是，过去在本地运行大语言模型需要大量的设置与工具链，而 LM Studio 将其简化得更像安装并使用一款常规桌面应用。

如果您希望更进一步，下一步就是学习如何把这些模型集成到真实工作流中。您可以探索如 Working with the OpenAI API 或更广泛的 AI fundamentals 学习路径，以了解如何组织提示词、构建应用并高效使用模型。