Langfuse vs. LangSmith: comparando plataformas de observabilidade para LLM

Quando um chatbot começa a dar respostas ruins, a reação natural é checar o prompt. Isso funciona bem para uma única chamada de LLM. Deixa de funcionar quando o app é um agente que faz chamadas de ferramenta.

Esse contexto ausente é o que as plataformas de observabilidade de LLM tentam oferecer. Elas não são ferramentas tradicionais de monitoramento de aplicações. Uma ferramenta tradicional informa latência e taxa de erro. Uma plataforma de observabilidade para LLM mostra qual chamada de ferramenta retornou um resultado ruim e se uma mudança no prompt melhorou a qualidade do output.

Tanto Langfuse quanto LangSmith cobrem tracing, avaliação e gestão de prompts, e ambos lançaram grandes atualizações no início de 2026. Mas não são intercambiáveis. A diferença passa por requisitos de implantação, stack de tecnologia e como seu time roda avaliações.

Resposta curta: Langfuse atende times que precisam de self-hosting open source, controle de dados ou um stack fora de LangChain. LangSmith atende times que querem uma plataforma independente de framework, com observabilidade, avaliação, depuração e fluxos de produção integrados para aplicações de LLM. Se nenhuma dessas condições for decisiva, eu olharia para os preços.

O que são Langfuse e LangSmith?

Em linhas gerais, ambos tornam aplicações de LLM observáveis, testáveis e depuráveis. Veja o que cada um é.

Visão geral de posicionamento das plataformas Langfuse versus LangSmith. Imagem do autor.

O que é o Langfuse?

Langfuse é uma plataforma open source de engenharia de LLM lançada em 2023. Cobre tracing, gestão de prompts, avaliação (LLM-as-judge, anotação humana e checagens baseadas em código), experimentos com datasets e monitoramento de custo e latência. O produto open source central tem licença MIT.

Em janeiro de 2026, a ClickHouse anunciou uma Série D de US$ 400 milhões e adquiriu o Langfuse. Hoje o Langfuse faz parte da ClickHouse, o banco de dados colunar que já alimentava o backend do Langfuse. A licença MIT e a identidade open source foram confirmadas como inalteradas na época.

O Langfuse roda como serviço gerenciado em nuvem com regiões nos EUA, UE e Japão, ou como instância open source self-hosted sem custo de licença de software.

O que é o LangSmith?

LangSmith é uma plataforma de observabilidade e avaliação independente de framework, criada pela LangChain Inc., o time por trás de LangChain, LangGraph e Deep Agents. A plataforma é proprietária e de código fechado. A LangChain levantou US$ 125 milhões a um valuation de US$ 1,25 bilhão em outubro de 2025.

Suas principais capacidades incluem tracing ao longo de uma execução, depuração visual, avaliações automatizadas, monitoramento em produção e gestão de prompts via Prompt Hub e Playground. Em maio de 2026, a LangChain lançou o SmithDB, uma camada de dados em Rust que agora processa 100% da ingestão do LangSmith na nuvem dos EUA. O SmithDB foi projetado para as cargas únicas de dados geradas por aplicações de LLM e reduz o carregamento P50 de árvores de trace para 92 milissegundos e a busca full-text para 400 milissegundos.

O LangSmith está disponível como serviço gerenciado em nuvem, implantação BYOC (bring your own cloud) com dados no VPC do cliente, ou self-hosted Enterprise. A LangChain também anunciou que o LangSmith self-hosted terá BYOK (bring-your-own-key) para o Engine, seu agente dentro da plataforma para encontrar e corrigir erros em aplicações de LLM.

Open source vs. SaaS gerenciado

A diferença central entre as duas plataformas não é "open source versus não open source". A diferença real está entre controle e portabilidade de um lado, e fluxos gerenciados do outro. O Langfuse permite rodar o stack na sua própria infraestrutura sem custo de licença. O LangSmith oferece nuvem gerenciada, BYOC e implantações self-hosted, com suporte nativo profundo para LangChain, LangGraph e Deep Agents, sem exigir o uso desses frameworks.

Uma atualização muda como essa comparação deve ser enquadrada: o LangSmith agora suporta tracing OpenTelemetry por meio do pacote langsmith[otel] e da variável de ambiente LANGSMITH_OTEL_ENABLED=true. Esse é um dos jeitos de usar o LangSmith com aplicações que não usam LangChain. 

É assim que as duas plataformas se posicionam estruturalmente:

O restante do artigo detalha o que essas diferenças significam na prática.

Tracing e observabilidade

É no tracing que os produtos começam a se distanciar. Ambos capturam chamadas de LLM, chamadas de ferramentas e metadados relacionados, mas fluxos de agentes evidenciam diferenças mais rápido do que apps simples de prompt-resposta.

Tracing de requisições

O Langfuse constrói traces hierárquicos que capturam chamadas de LLM, invocações de ferramentas, embeddings e etapas de retrieval. Você pode filtrar por usuário, sessão, custo, latência ou metadados customizados. Em maio de 2026, o Langfuse adicionou busca full-text apoiada no mecanismo FTS nativo do ClickHouse, reduzindo buscas que levavam quase 20 segundos para menos de meio segundo.

O LangSmith captura cada chamada de LLM e uso de ferramenta como uma árvore de execução inspecionável. Com o SmithDB agora tratando toda a ingestão na nuvem dos EUA, árvores de trace carregam no P50 em 92 milissegundos. O LangSmith também inclui clusterização de tópicos não supervisionada, que agrupa traces por tema detectado e dá um ponto de partida quando o time não sabe por onde começar.

Visibilidade de workflows de agentes

O Langfuse adicionou Agent Graphs em novembro de 2025, visualizando o fluxo de execução de agentes multi-etapas ao inferir a estrutura do grafo a partir de tempos e aninhamento das observações. Funciona com qualquer framework instrumentado, com suporte nativo a LangGraph. Um Trace Log View foi adicionado ao mesmo tempo, exibindo um fluxo linear de etapas do agente para workflows que fazem muitos loops ou ramificações.

Grafo de agente do Langfuse para execução LangGraph. Imagem do autor.

O tracing do LangGraph no LangSmith captura cada nó, aresta e transição de estado em uma execução com zero configuração além de definir uma variável de ambiente. O LangSmith Studio permite avançar passo a passo na execução do agente, inspecionar o estado em cada nó e reproduzir um trace com outro modelo ou prompt. Em uma aplicação LangGraph, isso dá mais contexto do que uma árvore de trace genérica.Em setembro de 2026, o LangSmith lançou Trajectories, que tornam os traces mais fáceis de depurar e incorporar em loops de feedback com especialistas do negócio.

Árvore de trace do LangSmith para workflow de agente. Imagem do autor.

Monitoramento em produção

Para produção, ambas as plataformas acompanham latência, uso de tokens, custo e taxas de erro. O LangSmith inclui alertas via PagerDuty e webhooks para incidentes, além de workflows de monitoramento ligados a traces e avaliações. O Langfuse inclui alertas de gasto com limites configuráveis. Nesse nível, os recursos de monitoramento são parecidos.

Avaliação offline e online

Tracing mostra o que aconteceu. Avaliação diz se foi bom. Na prática, essas ferramentas funcionam melhor quando a avaliação faz parte do fluxo, não só um checklist pré-lançamento.

LLM-as-a-judge e avaliadores por código

O LLM-as-judge do Langfuse tornou-se totalmente open source sob MIT em junho de 2025. Qualquer usuário self-hosted na v3.65.0 ou superior tem acesso sem licença comercial. Em maio de 2026, o Langfuse lançou Code Evaluators: funções evaluate em Python ou TypeScript que você escreve direto na UI do Langfuse. Elas executam checagens determinísticas, como validação de schema JSON, validação por regex ou verificação de argumentos de ferramentas, sem custo de tokens ou chamada a um modelo juiz.

O LangSmith oferece avaliadores configuráveis de LLM-as-judge com tipos de feedback Booleano, Categórico e Contínuo, além de templates internos para Segurança, Segurança do usuário e Qualidade. Ele também suporta few-shot correction, em que correções rotuladas por humanos nos outputs dos avaliadores voltam como exemplos few-shot para melhorar a calibração ao longo do tempo.

Datasets, experimentos e anotação humana

A avaliação offline funciona em ambas as plataformas por meio de datasets e comparação lado a lado de experimentos. O Langfuse adicionou Score Analytics em novembro de 2025 para medir alinhamento dos avaliadores em precisão, recall, F1, custo e acurácia. A comparação com baseline, também em novembro de 2025, permite marcar uma execução específica como referência e evidenciar regressões em relação a ela.

A integração do Langfuse com GitHub Actions para CI/CD, lançada em maio de 2026 via langfuse/experiment-action, falha um workflow quando os scores dos experimentos caem abaixo de um limite. Isso transforma avaliação em gate de deploy em vez de revisão pós-lançamento.

Loop de avaliação do Langfuse com GitHub Actions. Imagem do autor.

A configuração de avaliação do LangSmith tem um ponto de cobrança para notar cedo: avaliadores que adicionam feedback a traces podem promover esses traces para retenção estendida. Como vou abordar na seção de preços, isso muda o custo dos workflows de avaliação.

Versionamento de prompts, deploy e testes A/B

A gestão de prompts aqui vai além do histórico de versões. O fluxo é: iterar em um sandbox, testar contra um dataset, promover para produção e fazer rollback limpo quando algo quebra.

O Langfuse dá a cada prompt um ID de versão e usa rótulos como production e staging para controlar qual versão está ativa. Mudar um rótulo na UI é como você faz deploy ou rollback. Prompts são armazenados em cache no cliente pelo SDK, então não há latência extra nas chamadas de produção quando o SDK busca a versão ativa. Rótulos protegidos permitem que admins restrinjam quais papéis podem modificar o rótulo production, o que importa quando há colaboradores com níveis diferentes de acesso.

O LangSmith gerencia prompts via Prompt e Context Hub com versionamento por hash de commit para fixar versões exatas programaticamente. O Prompt Hub inclui uma biblioteca da comunidade que o Langfuse não replica. Testes A/B via experimentos com datasets estão disponíveis em ambas as plataformas.

Nessa categoria, os dois produtos são mais próximos do que em hosting, preços ou configuração de framework.

Langfuse vs. LangSmith para aplicações com agentes

Agentes impulsionaram boa parte do desenvolvimento de recursos em ambas as plataformas no último ano. Aqui, importa onde o agente foi construído.

O Langfuse exibe ferramentas disponíveis, destaca quais foram chamadas e mostra argumentos e IDs de chamadas. Tipos expandidos de observação diferenciam chamadas de ferramentas, embeddings e chamadas de guardrails na visualização do trace. Como mencionei, os Code Evaluators também podem validar argumentos de ferramentas contra um schema. O servidor MCP foi expandido em maio de 2026 para cobrir 15 categorias de ferramentas, então agentes no Claude Code, Cursor ou OpenAI Codex podem consultar dados do Langfuse programaticamente.

O ponto do LangGraph, citado na seção de tracing, aparece aqui de novo. O suporte do LangSmith a agentes inclui inspeção de estado em cada nó, reprodução de traces com modelos alternativos e o LangSmith Studio para depuração visual passo a passo. A equipe de engenharia da Monte Carlo, que roda um sistema de produção com centenas de subagentes, citou essa integração LangGraph sem configuração como um motivo-chave para a escolha.

Para agentes construídos com CrewAI, Pydantic AI ou outros frameworks multiagente, o Langfuse tem instrumentação nativa mais ampla e frequentemente exige menos configuração manual.

Integrações com frameworks e SDKs

O Langfuse lista integrações amplas com provedores de modelos, frameworks, gateways, ferramentas no-code, analytics e ferramentas de desenvolvedor. Os frameworks incluem LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex e outros. A plataforma é nativa em OpenTelemetry no nível do SDK.

Os SDKs nativos do LangSmith cobrem Python, TypeScript, Go e Java. Além de LangChain, LangGraph e Deep Agents, funciona com OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, implementações customizadas e OpenTelemetry. Isso significa que ele não é uma ferramenta de tracing apenas para LangChain.

A pergunta prática não é só se um framework é suportado, já que a maioria dos frameworks populares funciona em ambas. É quanto de instrumentação você precisa escrever.

Langfuse open source vs. LangSmith Enterprise

Self-hosting muda mais o cenário operacional e de compliance do que a maioria das categorias de recursos.

O self-hosting do Langfuse é gratuito sob MIT. Docker Compose funciona para desenvolvimento ou avaliação; implantações de produção geralmente usam Kubernetes com Helm em GKE, EKS ou AKS. O stack inclui ClickHouse, PostgreSQL, Redis e storage compatível com S3, com VM mínima recomendada de 4 cores e 16 GiB de RAM. A licença de software não custa nada, mas sua equipe assume a infraestrutura e a operação. A Enterprise Edition paga para self-hosting adiciona suporte dedicado, audit logs, SCIM e SLAs.

Em compliance, o Langfuse Cloud possui certificações SOC 2 Type II, ISO 27001, GDPR e HIPAA. O LangSmith Cloud possui SOC 2 Type II, GDPR e HIPAA. ISO 27001 não está listado para o LangSmith. Se o seu processo de compras exige isso, é uma diferença concreta.

O self-hosting do LangSmith requer contrato Enterprise. Não há caminho open source e gratuito de self-hosting. Os três modelos de implantação (Cloud, Bring-Your-Own-Cloud - BYOC, e Self-hosted) ficam sob o guarda-chuva Enterprise. O SmithDB está disponível para todos os métodos de hosting.

Preços: Langfuse vs. LangSmith

Os preços de vitrine não contam a história toda.

Preços também mudam com frequência nessa categoria. Os números abaixo refletem as páginas oficiais que consultei em junho de 2026, mas verifique as páginas atuais antes de orçar qualquer plataforma.

Preços do Langfuse

O Langfuse Cloud cobra por unidades: uma unidade equivale a um trace, uma observação ou um score. A fórmula é Units = Traces + Observations + Scores, então uma execução de agente com muitas ferramentas pode custar mais do que um trace simples de prompt-resposta. O plano gratuito Hobby inclui 50.000 unidades/mês, retenção de 30 dias e dois usuários. O Core custa US$ 29/mês com 100.000 unidades incluídas, usuários ilimitados e retenção de 90 dias. O Pro é US$ 199/mês com acesso a dados por 3 anos e certificações de compliance. O Enterprise começa em US$ 2.499/mês com volume customizado. Excedentes começam em US$ 8 por 100.000 unidades adicionais.

Como mencionei, o Langfuse self-hosted não tem custo de licença de software. SCIM, audit logs e suporte enterprise exigem licença comercial.

Preços do LangSmith

O LangSmith cobra por assento e por trace. O plano Developer é gratuito com 5.000 traces/mês, um assento e retenção de 14 dias. O Plus custa US$ 39 por assento/mês com 10.000 traces base incluídos. Traces base têm retenção de 14 dias; traces estendidos mantêm dados por 400 dias e custam mais. Um time de cinco pessoas no Plus paga US$ 195/mês em assentos antes de excedentes de traces. O Enterprise tem preço customizado.

Mecânica de retenção de dados

Como mencionei, a retenção estendida é ativada automaticamente quando avaliadores adicionam feedback aos traces. Leia a documentação de cobrança do LangSmith sobre auto-extended retention antes de configurar pipelines de avaliação.

Esses detalhes importam porque pequenas diferenças em profundidade do trace, uso de avaliadores e retenção podem mudar a fatura mensal.

Tabela comparativa: Langfuse vs. LangSmith

Como mencionei, as principais diferenças são propriedade, encaixe com frameworks, workflow de avaliação e preços. A tabela abaixo resume esses pontos antes das seções finais de decisão.

Erros ao escolher uma plataforma de observabilidade para LLM

Primeiro ponto, na minha visão: não foque só em tracing. Tracing mostra o que aconteceu, mas avaliação diz se o output foi bom. Se você decidir apenas pela visualização do trace, está usando o critério errado.

Segundo ponto: observe a mecânica de preços. Como vimos, o custo do Langfuse cresce com a profundidade do trace, enquanto a retenção estendida do LangSmith pode mudar o custo da avaliação automática. Faça as contas antes da produção.

Terceiro, self-hosting não significa a mesma coisa nos dois produtos. A seção de self-hosting acima mostra por quê. Se soberania de dados é requisito inegociável, essa diferença pode decidir a comparação.

Por fim, não decida só por compatibilidade de framework. Ambas as plataformas suportam múltiplos stacks, e stacks mudam. Requisitos de implantação e workflows de avaliação são mais difíceis de trocar depois.

Quando escolher o Langfuse

Com base nos trade-offs acima, o Langfuse se encaixa melhor quando:

• Seu time quer integrações nativas para frameworks como CrewAI, Pydantic AI, LlamaIndex ou chamadas diretas de API para OpenAI ou Anthropic.
• Soberania de dados é inegociável e inputs, outputs e traces de LLM precisam permanecer na sua infraestrutura.
• Seu time quer avaliação integrada ao CI/CD com gates de regressão automáticos via GitHub Actions.
• Você precisa de custos previsíveis para um time em crescimento, já que os planos Cloud pagos incluem usuários ilimitados.

Quando escolher o LangSmith

Pelos mesmos trade-offs, o LangSmith se encaixa melhor quando:

• Você quer uma plataforma agnóstica a modelos e frameworks para observabilidade, avaliação, depuração e monitoramento em produção de aplicações com LLM, com suporte especialmente profundo aos frameworks LangChain.
• Seu time quer uma plataforma gerenciada que cubra todo o ciclo de melhoria de agentes.
• Você quer um banco de dados de alta performance para seus dados de trace que possa ser implantado na sua infraestrutura preferida
• Suas necessidades vão além da observabilidade, incluindo a plataforma mais ampla do LangSmith: avaliação, monitoramento em produção, agent server e LLM Gateway.
• Você quer traces, datasets, experimentos, avaliações online, feedback humano e monitoramento em produção conectados em um único workflow.

Conclusão

Langfuse e LangSmith resolvem um problema real e ambos mudaram muito no último ano. Neste ponto, o trade-off está claro.

A decisão não é sobre quem tem mais recursos. É o trade-off entre propriedade e ecossistema de antes. Você precisa de um caminho open source com controle direto sobre o seu stack de dados, ou prefere uma plataforma gerenciada com observabilidade, avaliação e fluxos de produção integrados?

Um alerta antes de decidir: as duas plataformas mudam com frequência. Confira os changelogs antes de se comprometer.

Para contexto relacionado ao ecossistema LangChain, veja nosso tutorial LangChain vs. LangGraph vs. LangSmith vs. LangFlow.