Langfuse 与 LangSmith：LLM 可观测性平台对比

当聊天机器人开始给出糟糕的答案时，人们的第一反应往往是检查提示词。对于单次 LLM 调用，这没问题。但一旦应用是会调用工具的智能体，这种方法就不管用了。

LLM 可观测性平台试图提供的，正是这部分缺失的上下文。它们并非传统的应用监控工具。传统工具会告诉您延迟和错误率；LLM 可观测性平台会告诉您是哪一次工具调用返回了错误结果，以及提示词的变更是否提高了输出质量。

Langfuse 和 LangSmith 都覆盖追踪、评估和提示管理，并且都在 2026 年初发布了重大更新。但它们并不可互换。差异最终取决于部署要求、技术栈，以及您团队如何运行评估。

简短结论：如果您的团队需要开源自托管、数据可控，或使用 LangChain 之外的技术栈，选择 Langfuse。 如果您希望获得一个与框架无关的平台，集成可观测性、评估、调试和生产工作流来构建 LLM 应用，则选择 LangSmith。 如果两者都不构成决定性因素，我会看定价。

什么是 Langfuse 和 LangSmith？

总体而言，这两款产品都让 LLM 应用变得可观测、可测试、可调试。下面分别介绍。

Langfuse 与 LangSmith 平台定位概览。图片来源：作者。

什么是 Langfuse？

Langfuse 是 2023 年推出的开源 LLM 工程平台。其功能涵盖追踪、提示管理、评估（LLM-as-judge、人工标注与基于代码的检查）、数据集实验，以及成本与延迟监控。核心开源产品采用 MIT 许可。

2026 年 1 月，ClickHouse 宣布完成 4 亿美元 D 轮融资并收购 Langfuse。Langfuse 现已成为 ClickHouse 的一部分——这是一款本就为 Langfuse 后端提供支持的列式数据库。当时确认其 MIT 许可和开源定位保持不变。

Langfuse 可作为托管云服务（覆盖美国、欧盟和日本地区）运行，或作为无软件许可成本的自托管开源实例运行。

什么是 LangSmith？

LangSmith 是由 LangChain Inc.（亦即 LangChain、 LangGraph 和 Deep Agents 背后的团队）构建的与框架无关的可观测性与评估平台。该平台为专有闭源。LangChain 于 2025 年 10 月以 12.5 亿美元估值融资 1.25 亿美元。

其主要能力包括跨应用运行的追踪、可视化调试、自动化评估、生产监控，以及通过 Prompt Hub 和 Playground 进行提示管理。2026 年 5 月，LangChain 推出 SmithDB，这一基于 Rust 的数据层现已处理 LangSmith 美国云端 100% 的数据写入。SmithDB 针对 LLM 应用产生的独特数据负载而设计，将 P50 追踪树加载降至 92 毫秒，全文检索降至 400 毫秒。

LangSmith 可作为托管云服务、客户自有云（BYOC，数据驻留在客户 VPC）部署，或企业自托管部署提供。LangChain 还宣布，自托管版 LangSmith 将支持 Engine 的 BYOK（自带密钥），Engine 是其平台内用于查找并修复 LLM 应用错误的智能体。

开源 vs. 托管 SaaS

两者的核心差别并不只是“开源与否”。真正的差异在于一端是控制与可迁移性，另一端是托管的工作流。Langfuse 允许您在自有基础设施上运行整套栈且无许可费用。LangSmith 提供托管云、BYOC 和自托管部署，对 LangChain、LangGraph 与 Deep Agents 有深入的原生支持，但并不强制使用这些框架。

有一项更新会改变对比的表述方式：LangSmith 现已通过 langsmith[otel] 包和 LANGSMITH_OTEL_ENABLED=true 环境变量支持 OpenTelemetry 追踪。这是团队在非 LangChain 应用中使用 LangSmith 的多种方式之一。

从结构上看，两款平台大致处于这样的位置：

本文其余部分将展开说明这些差异在实践中的含义。

追踪与可观测性

追踪是两款产品开始拉开差距的地方。二者都能捕获 LLM 调用、工具调用及相关元数据，但在智能体工作流中，这些差异比在简单的问答应用中暴露得更快。

请求追踪

Langfuse 构建层级化追踪，捕获 LLM 调用、工具调用、向量嵌入和检索步骤。您可以按用户、会话、成本、延迟或自定义元数据进行筛选。2026 年 5 月，Langfuse 基于 ClickHouse 原生 FTS 引擎加入全文检索，将先前接近 20 秒的查询缩短到不到半秒。

LangSmith 将每次 LLM 调用和工具使用捕获为可检查的运行树。随着 SmithDB 现已处理全部美国云端写入，追踪树在 P50 下的加载为 92 毫秒。LangSmith 还包括无监督主题聚类，可按检测到的主题对追踪分组，并在团队不确定问题所在时提供切入点。

智能体工作流可视性

Langfuse 于 2025 年 11 月加入 Agent Graphs，通过从观测的时间与嵌套关系推断图结构来可视化多步智能体的执行流。它适用于任何已插桩的框架，并包含对 LangGraph 的原生支持。同一时间还加入 Trace Log View，为大量循环或分支的工作流提供扁平的智能体步骤流。

用于 LangGraph 执行的 Langfuse 智能体图。图片来源：作者。

LangSmith 的 LangGraph 追踪可零配置（仅需设置环境变量）捕获运行中的每个节点、边和状态转换。LangSmith Studio 允许您逐步查看智能体执行、检查每个节点的状态，并用不同的模型或提示重放一次追踪。在 LangGraph 应用中，这比通用追踪树提供更多上下文。2026 年 9 月，LangSmith 发布了 Trajectories，让追踪更易调试，并更好地与领域专家的反馈回路结合。

用于智能体工作流的 LangSmith 追踪树。图片来源：作者。

生产监控

在生产监控方面，两者都会跟踪延迟、Token 使用、成本和错误率。LangSmith 包含面向生产事故的 PagerDuty 和 webhook 告警，以及与追踪和评估绑定的监控工作流。Langfuse 包含可配置阈值的支出告警。在这一层面上，监控功能相近。

离线与在线评估

追踪告诉您“发生了什么”。评估告诉您“是否足够好”。在实践中，当评估成为工作流的一部分而不是上线前的清单时，这些工具更有价值。

LLM 评审与代码评估器

Langfuse 的 LLM-as-judge 于 2025 年 6 月完全以 MIT 开源。任何运行 v3.65.0 或更高版本的自托管用户都无需商业许可即可使用。2026 年 5 月，Langfuse 发布 Code Evaluators：您可直接在 Langfuse UI 中编写 Python 或 TypeScript 的 evaluate 函数。这些函数执行确定性检查，如 JSON 模式校验、正则校验或工具参数校验，无需 Token 成本或调用评审模型。

LangSmith 提供可配置的 LLM-as-judge 评估器，支持布尔型、分类型与连续型反馈，并内置安全、合规与质量模板。它还支持少样本纠偏，即将人工标注的评估器输出纠正作为 few-shot 示例回灌，随时间改善评估器的校准。

数据集、实验与人工标注

两款平台都通过数据集与并排实验对比支持离线评估。Langfuse 在 2025 年 11 月加入 Score Analytics，可按精确率、召回率、F1、成本与准确率衡量评估器一致性。同月上线的基线对比允许您将特定运行标记为参考点，并据此发现回归。

Langfuse 的 GitHub Actions CI/CD 集成于 2026 年 5 月通过 langfuse/experiment-action 发布，当实验评分低于阈值时会使工作流失败。这将评估从发布后复盘变为上线闸门。

结合 GitHub Actions 的 Langfuse 评估回路。图片来源：作者。

需要尽早注意 LangSmith 评估设置的一个计费行为：向追踪添加反馈的评估器可能会将这些追踪升级为扩展留存。如我将在定价部分介绍，这会改变评估工作流的成本。

提示版本化、部署与 A/B 测试

这里的提示管理不只是版本历史。完整流程是：在沙箱中迭代、对数据集进行测试、提升到生产，并在出问题时干净回滚。

Langfuse 为每个提示版本分配版本 ID，并使用 production 与 staging 等标签控制线上版本。在 UI 中更改标签就是部署或回滚的方式。SDK 在客户端缓存提示，因此 SDK 获取活动版本不会给生产调用增加延迟。受保护标签可让管理员限制哪些角色能修改 production 标签，这在协作成员权限不一时尤为重要。

LangSmith 通过 Prompt 与 Context Hub 管理提示，并使用提交哈希进行版本固定，以便在程序中精确锁定版本。Prompt Hub 包含 Langfuse 未提供的社区库。两者都支持通过数据集实验进行 A/B 测试。

在这一类别上，两者相比在托管、定价或框架设置方面更为接近。

面向智能体应用的 Langfuse 与 LangSmith

过去一年中，智能体推动了两款平台大量的功能工作。关键在于智能体构建所用的框架。

Langfuse 会展示可用工具、突出实际调用的工具，并显示参数与调用 ID。扩展的观测类型可在追踪视图中区分工具调用、向量嵌入与护栏调用。前文提到，Code Evaluators 还能按模式校验工具参数。2026 年 5 月，MCP 服务器扩展至 15 个工具类别，因此在 Claude Code、Cursor 或 OpenAI Codex 中的智能体可以以编程方式查询 Langfuse 数据。

追踪部分提到的 LangGraph 再次体现于此。LangSmith 的智能体支持包括对每个节点的状态检查、用替代模型重放追踪，以及在 LangSmith Studio 中可视化单步调试。运营包含数百个子智能体的生产系统的 Monte Carlo 工程团队，就将这种零配置的 LangGraph 集成作为其选择的关键原因之一。

对于使用 CrewAI、Pydantic AI 或其他多智能体框架 构建的智能体，Langfuse 拥有更广的原生插桩，通常需要更少的手动设置。

框架与 SDK 集成

Langfuse 在模型提供商、框架、网关、零代码工具、分析与开发者工具方面具有广泛集成。框架包括 LangChain、LangGraph、OpenAI Agents SDK、Pydantic AI、CrewAI、AutoGen、DSPy、Haystack、LlamaIndex 等。该平台在 SDK 层原生支持 OpenTelemetry。

LangSmith 的原生 SDK 覆盖 Python、TypeScript、Go 与 Java。除 LangChain、LangGraph 与 Deep Agents 外，它也支持 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex、自定义实现与 OpenTelemetry。这意味着它并非仅适用于 LangChain 的追踪工具。

实际问题不仅在于某个框架是否受支持——多数流行框架两者都支持——而在于您需要编写多少插桩代码。

Langfuse 开源版 vs. LangSmith 企业版

自托管对运维与合规的影响，往往比多数功能类别更大。

Langfuse 的自托管采用 MIT 许可免费提供。开发或评估可用 Docker Compose；生产部署通常在 GKE、EKS 或 AKS 上通过 Helm 使用 Kubernetes。技术栈包括 ClickHouse、PostgreSQL、Redis 和兼容 S3 的存储，建议至少使用 4 核、16 GiB 内存的虚拟机。软件许可零成本，但基础设施与运维由您的团队负责。其付费的自托管企业版增加了专属支持、审计日志、SCIM 与 SLA。

合规方面，Langfuse Cloud 具备 SOC 2 Type II、ISO 27001、GDPR 与 HIPAA 认证。LangSmith Cloud 具备 SOC 2 Type II、GDPR 与 HIPAA。LangSmith 未列出 ISO 27001。如果您的采购流程要求这一项，这是一个实际差异。

LangSmith 的自托管需要企业合约。没有开源、免费的自托管路径。三种部署模式（云、BYOC、自托管）均属于企业方案范畴。SmithDB 适用于所有托管方式。

Langfuse 与 LangSmith 的定价

标价并不能说明全部问题。

此类别的定价也经常变动。以下数字基于我在 2026 年 6 月查阅的官方页面，但在做预算前请务必查看当前的定价页面。

Langfuse 定价

Langfuse Cloud 按单元计费：一个单元等于一次追踪、一次观测或一个评分。公式为 Units = Traces + Observations + Scores，因此工具调用密集的智能体运行会比简单的问答追踪更贵。免费 Hobby 方案每月含 50,000 单元、30 天留存、2 位用户。Core 为每月 29 美元，含 100,000 单元、无限用户与 90 天留存。Pro 为每月 199 美元，提供 3 年数据访问与合规认证。Enterprise 起价 2,499 美元/月，按量定价。超量以每 100,000 个额外单元 8 美元起计。

如前所述，自托管的 Langfuse 无软件许可成本。SCIM、审计日志与企业支持需要商业许可。

LangSmith 定价

LangSmith 按席位和按追踪计费。Developer 方案免费，含每月 5,000 次追踪、1 个席位和 14 天留存。Plus 为每席位每月 39 美元，含 10,000 条基础追踪。基础追踪留存 14 天；扩展追踪保留 400 天且成本更高。一个 5 人团队在 Plus 上的席位费为 195 美元/月，尚未计入追踪超量。企业定价为定制。

数据留存机制

如前所述，当评估器向追踪添加反馈时会自动触发扩展留存。设置评估流水线前，请阅读 LangSmith 关于自动扩展留存的计费文档。

这些细节很重要，因为追踪深度、评估器使用与留存的细微差别都会改变月度账单。

Langfuse 与 LangSmith 对比表

如前所述，主要差异在于所有权、框架适配、评估工作流与定价。下表在进入最终决策部分前压缩总结这些要点。

选择 LLM 可观测性平台时常见错误

首先，我的看法是：不要只关注追踪。追踪告诉您发生了什么，但评估告诉您输出是否合格。如果仅凭追踪可视化来选择，标准就用错了。

其次：注意定价机制。如上所述，Langfuse 的成本随着追踪深度增加，而 LangSmith 的扩展留存会改变自动化评估的成本。上线前先算清账。

第三，自托管在两款产品中的含义并不相同。上文的自托管部分已经说明。如果数据主权是硬性要求，这一差异可能直接决定选择。

最后，不要仅凭框架兼容性做决定。两者都支持多种应用栈，而且技术栈会变。部署要求与评估工作流更难在后期更换。

何时选择 Langfuse

基于上述取舍，以下情况更适合选择 Langfuse：

• 您的团队希望获得对 CrewAI、Pydantic AI、LlamaIndex 等框架或对 OpenAI、Anthropic 的直接 API 调用的原生集成支持。
• 数据主权不可妥协，LLM 的输入、输出与追踪需留存在自有基础设施上。
• 您的团队需要与 CI/CD 集成的评估，并通过 GitHub Actions 实现自动回归闸门。
• 您需要对不断扩大的团队保持可预测的成本，因为付费云方案不限用户数。

何时选择 LangSmith

基于同样的取舍，以下情况更适合选择 LangSmith：

• 您希望使用与模型和框架无关的平台，在多个 LLM 应用中实现可观测性、评估、调试与生产监控，且对 LangChain 体系有特别深入的支持。
• 您的团队希望使用覆盖整个智能体改进闭环的托管平台。
• 您希望为追踪数据使用高性能数据库，并可部署在您偏好的基础设施上。
• 您的需求超出可观测性，涉及 LangSmith 更广的平台能力，包括评估、生产监控、智能体服务器与 LLM 网关。
• 您希望将追踪、数据集、实验、在线评估、人工反馈与生产监控连接为一体化工作流。

结论

Langfuse 和 LangSmith 都在解决真实问题，并且在过去一年中都有很大变化。到目前为止，取舍已经很清晰。

决策不在于哪个平台“功能更多”。而在于前文所述的所有权与生态的取舍。 您是需要一条开源路径并直接掌控数据栈，还是希望获得集成可观测性、评估与生产工作流的托管平台？

在决定之前有一条提醒：两款平台更新频繁。做出承诺前请查看更新日志。

如需了解 LangChain 生态的相关背景，请参阅我们的《LangChain vs. LangGraph vs. LangSmith vs. LangFlow》教程。