AnythingLLM：搭建、功能与应用场景完整指南

在自建 AI 领域，一个常见问题是：如何在不将文档发送到云端 API 的情况下，与私有文档进行对话？ 

AnythingLLM 是一个常见答案。它在一个界面中处理一切（文档上传、向量化、搜索与对话），并可连接到广泛的 LLM 提供商。它让您在不依赖云服务的情况下构建私有 AI 工作流。

在本指南中，我将解释 AnythingLLM 是什么，带您了解其架构，演示如何配合 Docker 和 Ollama 进行安装，并展示一个可运行的 检索增强生成（RAG） 流水线。我还会把它与 Open WebUI 和 ChatGPT 做比较。

AnythingLLM 是什么？

AnythingLLM 是 Mintplex Labs 在 MIT 许可下构建的开源应用。它拥有活跃的 GitHub 社区和频繁的发布版本，并在自建 AI 圈被广泛使用。

它的作用是：把您的文档转化为大语言模型（LLM） 在对话中可用的上下文。您上传文件，系统处理并存储，然后 LLM 可基于您的数据回答问题。该项目发展迅速，拥有活跃的 Discord 社区，并通过每月更新加入新的 LLM 提供商与功能。

先说明两点。第一，AnythingLLM 本身不是模型。它是连接外部 LLM 提供商的桥梁，无论是本地（如 Ollama）还是云端（如 OpenAI 或 Anthropic）。 

第二，平台将一切组织为工作区。可以把它们理解为不同项目的独立房间。每个工作区都有自己的文档与对话，彼此隔离，除非您明确配置共享。

带文档的 AnythingLLM 工作区界面。图片由作者提供。

桌面版 vs. Docker 版

该桌面应用（macOS、Windows、Linux）面向在本地运行的一名用户。它内置 LLM 引擎、基于 CPU 的嵌入器以及捆绑的 LanceDB。一键安装，无需配置。

而Docker 版本面向团队与服务器。它提供完善的访问控制（管理员、管理者与默认角色），并支持网站可嵌入的聊天小部件与白标。如果您需要团队访问或面向公众的聊天小部件，Docker 是唯一选择。

AnythingLLM 的核心功能

现在您已了解 AnythingLLM，以及如何在桌面版和 Docker 版之间选择，下面来看看它在文档类 AI 工作流中的实用功能。

文档摄取

支持 PDF、DOCX、TXT、Markdown、CSV、XLSX、PPTX、HTML、50+ 种代码文件类型，以及音频文件（使用 Whisper 转写）。您也可以通过内置爬虫直接从 GitHub 仓库、YouTube 字幕、Confluence 页面和网站抓取内容。

向量数据库

内置 LanceDB，零配置可用。若需企业特性，可切换至 Chroma、Milvus、Pinecone、Qdrant、Weaviate、Zilliz、AstraDB 或 PGVector。

多 LLM 支持

支持众多提供商，包括 Ollama、LM Studio、OpenAI、Anthropic、Azure OpenAI、Google Gemini、AWS Bedrock、Groq 与 DeepSeek。您可按工作区选择模型：某个工作区可用本地 Ollama 处理敏感内容，另一个则通过 OpenAI 使用 GPT-4o。

AI 代理

在任意聊天中输入 @agent 可启用零代码代理构建器。它内置了文档搜索、摘要与网页抓取等技能。Agent Flows 提供可视化画布，用于串联 API 调用、LLM 指令与文件操作。它还支持 Model Context Protocol（MCP） 连接外部工具。

API 访问

开发者 API 位于 /api/docs （Swagger 文档）。您可以以编程方式管理工作区、嵌入文档并发送聊天消息。

AnythingLLM 的工作原理（架构概览）

应用由三部分构成：前端（React/ViteJS）提供可见且可交互的界面；服务器（Express 后端）负责所有 LLM 交互、向量数据库操作与 API 请求，并使用 SQLite 存储配置；采集器 是独立服务，负责解析与处理您上传的文档。上传 PDF 后，采集器会抽取文本，随后服务器将其切块、向量化并存储。

RAG 流水线

该流水线分为两个阶段。

摄取：您的文档进入采集器，由其抽取文本。服务器随后将文本拆分为片段（最多 1,000 个字符，并有少量重叠以保持上下文）。每个片段由嵌入模型转换为向量，再存入向量数据库。一个 vector-cache/ 文件夹在许多情况下可减少不必要的重复嵌入。

查询：您的问题会使用相同的嵌入模型转为向量。系统随后检索最相似的片段（通常 4 至 6 个）。在按相似度阈值筛选后，匹配文本会与您的问题和聊天历史一起加入到 LLM 提示中。LLM 会阅读这些内容（系统指令、检索到的上下文、您的问题及历史消息）并生成答案。

AnythingLLM RAG 流水线架构概览。图片由作者提供。

使用 Docker 安装 AnythingLLM

正如在常见问题中所见，AnythingLLM 本体较轻量：约 2GB 内存、2 核 CPU、约 5GB 存储。若同时运行本地 LLM，需求更高（7B 模型通常需要 8GB+ RAM/VRAM）。本教程使用可在低配硬件上运行的 3B 模型。开始前请确保已安装并运行 Docker。Windows 用户还需 WSL。

步骤 1：安装 Ollama 并拉取模型

从 ollama.com/download 下载 Ollama，然后拉取一个聊天模型和一个嵌入模型：

ollama pull llama3.2:3b
ollama pull nomic-embed-text
ollama serve

我使用 llama3.2:3b，因为它在显存有限的机器上运行良好（如 6GB 显存的 RTX 3050）。若需更高质量，可尝试 llama3.2:8b 或 deepseek-r1:7b（若硬件允许）。更多模型选项请参见我们的本地运行 LLM 指南。

步骤 2：创建 Docker Compose 文件

mkdir anythingllm-setup && cd anythingllm-setup
touch .env

创建 docker-compose.yml：

services:
  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    ports:
      - "3001:3001"
    cap_add:
      - SYS_ADMIN
    volumes:
      - anythingllm_storage:/app/server/storage
      - ./.env:/app/server/.env
    environment:
      - STORAGE_DIR=/app/server/storage
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped

volumes:
  anythingllm_storage:

关于该配置的几点说明。cap_add: SYS_ADMIN 标志是内置 PuppeteerJS 网页爬虫所必需的，它使用沙箱化的 Chromium 浏览器。 

此外，extra_hosts 行解决了最常见的 Docker 网络问题：它允许容器访问运行在宿主机上的 Ollama。否则，从容器内部连接 localhost:11434 的尝试会失败，因为 Docker 容器有独立的网络命名空间。 

我使用命名的 Docker 卷（anythingllm_storage）而不是绑定挂载，以获得更好的跨平台兼容性，尤其是在 Windows 和 macOS 上，绑定挂载的权限可能会有问题。

步骤 3：启动与配置

等待约 30 秒让容器初始化，然后打开 http://localhost:3001。您将看到首次运行的设置向导。但在此之前，先运行以下命令：

docker compose up -d

Docker 上的 AnythingLLM 初始设置向导。图片由作者提供。

在设置向导中，将 LLM 与嵌入提供商均选择 Ollama，将基础 URL 设为 http://host.docker.internal:11434，聊天模型选择 llama3.2:3b，嵌入模型选择 nomic-embed-text。向量数据库保持默认的 LanceDB。