Langfuse vs LangSmith : comparaison des plateformes d’observabilité LLM

Quand un chatbot commence à fournir de mauvaises réponses, le réflexe est de vérifier le prompt. Cela fonctionne pour un seul appel LLM. Ça ne suffit plus dès que l’application est un agent qui enchaîne des appels d’outils.

C’est ce contexte manquant que cherchent à apporter les plateformes d’observabilité LLM. Elles ne sont pas des outils de monitoring applicatif classiques. Un outil traditionnel vous informe sur la latence et les taux d’erreur. Une plateforme d’observabilité LLM vous indique quel appel d’outil a renvoyé un mauvais résultat et si une modification de prompt a amélioré la qualité de sortie.

Langfuse et LangSmith couvrent tous deux le tracing, l’évaluation et la gestion des prompts, et ont publié des mises à jour majeures début 2026. Ils ne sont toutefois pas interchangeables. La différence tient aux exigences de déploiement, à la stack technique et à la manière dont votre équipe mène les évaluations.

En bref : Langfuse convient aux équipes qui ont besoin d’open source, d’auto‑hébergement, de contrôle des données ou d’une stack hors LangChain. LangSmith convient aux équipes qui veulent une plateforme agnostique des frameworks, avec observabilité, évaluation, débogage et workflows de production intégrés pour les applications LLM. Si aucune de ces conditions ne s’applique, regardez les tarifs.

Qu’est‑ce que Langfuse et LangSmith ?

À un niveau élevé, les deux produits rendent les applications LLM observables, testables et débogables. Voici ce que propose chacun.

Aperçu du positionnement des plateformes Langfuse et LangSmith. Image de l’auteur.

Qu’est‑ce que Langfuse ?

Langfuse est une plateforme open source d’ingénierie LLM lancée en 2023. Elle couvre le tracing, la gestion des prompts, l’évaluation (LLM‑as‑judge, annotation humaine et vérifications par code), les expériences sur jeux de données, ainsi que le suivi des coûts et de la latence. Le cœur open source est sous licence MIT.

En janvier 2026, ClickHouse a annoncé une Série D de 400 millions de dollars et a acquis Langfuse. Langfuse fait désormais partie de ClickHouse, la base de données colonnaire qui propulsait déjà son backend. La licence MIT et l’identité open source ont été confirmées inchangées à cette date.

Langfuse est disponible en service managé (cloud) avec des régions aux États‑Unis, en Europe et au Japon, ou en instance open source auto‑hébergée sans coût de licence logicielle.

Qu’est‑ce que LangSmith ?

LangSmith est une plateforme d’observabilité et d’évaluation agnostique des frameworks, développée par LangChain Inc., l’équipe derrière LangChain, LangGraph et Deep Agents. La plateforme est propriétaire et fermée. LangChain a levé 125 millions de dollars pour une valorisation de 1,25 milliard en octobre 2025.

Ses principales capacités incluent le tracing sur l’ensemble d’un run applicatif, le débogage visuel, les évaluations automatisées, le monitoring de production et la gestion des prompts via Prompt Hub et le Playground. En mai 2026, LangChain a lancé SmithDB, une couche de données en Rust qui gère désormais 100 % de l’ingestion Cloud US de LangSmith. SmithDB est conçu pour les charges de données propres aux applications LLM et ramène le chargement d’un arbre de trace au P50 à 92 millisecondes et la recherche en texte intégral à 400 millisecondes.

LangSmith est disponible en service cloud managé, en déploiement BYOC (Bring Your Own Cloud) avec données dans le VPC du client, ou en auto‑hébergement Enterprise. LangChain a également annoncé que la version auto‑hébergée de LangSmith prendra en charge le BYOK (Bring‑Your‑Own‑Key) pour Engine, son agent intégré visant à détecter et corriger les erreurs dans les applications LLM.

Open source vs SaaS managé

La différence fondamentale entre les deux plateformes n’est pas « open source versus non open source ». La vraie différence oppose contrôle et portabilité d’un côté, et workflows managés de l’autre. Langfuse vous permet d’exécuter la stack sur votre propre infrastructure sans coût de licence. LangSmith propose des déploiements cloud managé, BYOC et auto‑hébergé, avec une prise en charge native approfondie de LangChain, LangGraph et Deep Agents, sans pour autant l’exiger.

Une nouveauté change la manière de cadrer la comparaison : LangSmith prend désormais en charge le tracing OpenTelemetry via le package langsmith[otel] et la variable d’environnement LANGSMITH_OTEL_ENABLED=true. C’est l’un des moyens d’utiliser LangSmith avec des applications hors LangChain. 

Voici la position structurelle des deux plateformes :

La suite de l’article détaille ce que ces différences impliquent en pratique.

Tracing et observabilité

C’est sur le tracing que les produits commencent à diverger. Tous deux capturent les appels LLM, les appels d’outils et les métadonnées associées, mais les workflows d’agent font apparaître les écarts plus vite que les applis prompt‑réponse simples.

Tracing des requêtes

Langfuse construit des traces hiérarchiques qui capturent appels LLM, invocations d’outils, embeddings et étapes de retrieval. Vous pouvez filtrer par utilisateur, session, coût, latence ou métadonnées personnalisées. En mai 2026, Langfuse a ajouté la recherche en texte intégral, adossée au moteur FTS natif de ClickHouse, faisant passer des recherches d’environ 20 secondes à moins d’une demi‑seconde.

LangSmith capture chaque appel LLM et usage d’outil sous forme d’arbre de runs inspectable. Avec SmithDB qui gère désormais toute l’ingestion Cloud US, les arbres de trace se chargent au P50 en 92 millisecondes. LangSmith inclut aussi un clustering thématique non supervisé, qui regroupe les traces par thème détecté et donne un point de départ quand on ne sait pas où chercher.

Visibilité des workflows d’agent

Langfuse a ajouté Agent Graphs en novembre 2025, visualisant le flux d’exécution des agents multi‑étapes en inférant la structure du graphe à partir du timing et de l’imbrication des observations. Cela fonctionne avec tout framework instrumenté, avec un support natif de LangGraph. Une vue Trace Log a été ajoutée en parallèle, offrant un flux linéaire d’étapes d’agent pour les workflows très itératifs ou branchés.

Graphe d’agent Langfuse pour une exécution LangGraph. Image de l’auteur.

Le tracing LangGraph de LangSmith capture chaque nœud, arête et transition d’état d’un run sans configuration autre que la définition d’une variable d’environnement. LangSmith Studio permet d’avancer pas à pas dans l’exécution de l’agent, d’inspecter l’état à chaque nœud et de rejouer une trace avec un autre modèle ou prompt. Dans une application LangGraph, cela donne plus de contexte qu’un arbre de trace générique. En septembre 2026, LangSmith a lancé Trajectories, qui facilite le débogage des traces et leur intégration dans des boucles de feedback avec des experts métier.

Arbre de trace LangSmith pour un workflow d’agent. Image de l’auteur.

Monitoring de production

En production, les deux plateformes suivent latence, usage de tokens, coût et taux d’erreurs. LangSmith inclut des alertes PagerDuty et webhooks pour les incidents, ainsi que des workflows de monitoring reliés aux traces et évaluations. Langfuse propose des alertes de dépenses avec seuils configurables. À ce niveau, les fonctionnalités de monitoring sont proches.

Évaluation hors ligne et en ligne

Le tracing vous dit ce qui s’est passé. L’évaluation vous dit si c’était bon. En pratique, ces outils sont bien plus utiles quand l’évaluation fait partie du workflow, pas seulement d’une checklist avant lancement.

LLM‑as‑a‑judge et évaluateurs par code

La brique LLM‑as‑judge de Langfuse est totalement open source (MIT) depuis juin 2025. Tout utilisateur auto‑hébergé en v3.65.0 ou plus récent l’obtient sans licence commerciale. En mai 2026, Langfuse a livré les Code Evaluators : des fonctions evaluate en Python ou TypeScript que vous écrivez directement dans l’UI Langfuse. Elles exécutent des vérifications déterministes, comme la validation de schémas JSON, la validation par regex ou la vérification des arguments d’outils, sans coût en tokens ni appel à un modèle juge.

LangSmith propose des évaluateurs LLM‑as‑judge configurables avec des types de feedback booléen, catégoriel et continu, plus des modèles intégrés pour la sécurité, la sûreté et la qualité. Il prend aussi en charge la correction few‑shot, où des corrections annotées par des humains sur les sorties d’évaluateurs servent d’exemples few‑shot pour améliorer leur calibration dans le temps.

Jeux de données, expérimentations et annotation humaine

L’évaluation hors ligne fonctionne sur les deux plateformes via des datasets et la comparaison d’expériences côte à côte. Langfuse a ajouté Score Analytics en novembre 2025 pour mesurer l’alignement des évaluateurs en précision, rappel, F1, coût et exactitude. La comparaison au baseline, également en novembre 2025, permet de marquer un run comme référence et de faire remonter les régressions par rapport à celui‑ci.

L’intégration CI/CD GitHub Actions de Langfuse, sortie en mai 2026 via langfuse/experiment-action, fait échouer un workflow si les scores d’expérience passent sous un seuil. L’évaluation devient ainsi un garde‑fou de déploiement plutôt qu’une revue post‑mise en production.

Boucle d’évaluation Langfuse avec GitHub Actions. Image de l’auteur.

À noter côté LangSmith : les évaluateurs qui ajoutent du feedback aux traces peuvent les faire passer en rétention étendue. Comme je le détaillerai dans la section tarifs, cela change le coût des workflows d’évaluation.

Versioning des prompts, déploiement et A/B testing

La gestion des prompts va ici au‑delà de l’historique des versions. Le workflow type : itérer dans un bac à sable, tester sur un dataset, promouvoir en production et revenir en arrière proprement si nécessaire.

Langfuse attribue un identifiant à chaque version de prompt et utilise des labels comme production et staging pour contrôler la version active. Changer un label dans l’UI permet de déployer ou de revenir en arrière. Les prompts sont mis en cache côté client par le SDK, sans ajouter de latence aux appels de production lorsque le SDK récupère la version active. Les labels protégés permettent d’empêcher certaines rôles de modifier le label production, utile quand les niveaux d’accès diffèrent.

LangSmith gère les prompts via Prompt et Context Hub, avec un versioning par hash de commit pour épingler exactement la version souhaitée par code. Le Prompt Hub inclut une bibliothèque communautaire que Langfuse ne reproduit pas. L’A/B testing via des expériences sur datasets est disponible sur les deux plateformes.

Sur ce volet, les deux produits sont plus proches que sur l’hébergement, les tarifs ou l’intégration aux frameworks.

Langfuse vs LangSmith pour les applications d’agents

Les agents ont largement orienté les nouveautés des deux plateformes cette année. Ici, le framework de l’agent compte.

Langfuse fait remonter les outils disponibles, met en évidence ceux qui ont été appelés et affiche arguments et IDs d’appel. Des types d’observation élargis distinguent appels d’outils, embeddings et garde‑fous dans la vue de trace. Comme mentionné plus haut, les Code Evaluators peuvent aussi vérifier les arguments d’outils contre un schéma. Le serveur MCP s’est étendu en mai 2026 à 15 catégories d’outils, pour que des agents dans Claude Code, Cursor ou OpenAI Codex interrogent les données Langfuse par programmation.

Le point LangGraph vu en tracing réapparaît. Le support agent de LangSmith inclut l’inspection d’état à chaque nœud, la relecture de trace avec d’autres modèles et LangSmith Studio pour un débogage visuel pas à pas. L’équipe de Monte Carlo, qui exploite un système de production avec des centaines de sous‑agents, cite cette intégration LangGraph sans configuration comme raison clé de son choix.

Pour des agents construits avec CrewAI, Pydantic AI ou d’autres frameworks multi‑agents, Langfuse dispose d’une instrumentation native plus large et requiert souvent moins de configuration manuelle.

Intégrations framework et SDK

Langfuse propose de larges intégrations avec des fournisseurs de modèles, frameworks, gateways, outils no‑code, analytics et outils développeurs. Les frameworks incluent LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex, et d’autres. La plateforme est native OpenTelemetry au niveau des SDK.

Les SDK natifs de LangSmith couvrent Python, TypeScript, Go et Java. Au‑delà de LangChain, LangGraph et Deep Agents, il fonctionne avec les SDK OpenAI, Anthropic, Vercel AI, LlamaIndex, des implémentations custom et OpenTelemetry. Ce n’est donc pas un outil de tracing réservé à LangChain.

La question pratique n’est pas seulement de savoir si un framework est supporté, car la plupart le sont sur les deux plateformes. Elle est de mesurer la quantité d’instrumentation que vous devrez écrire.

Langfuse open source vs LangSmith Enterprise

L’auto‑hébergement influe sur l’exploitation et la conformité plus que la plupart des autres catégories de fonctionnalités.

L’auto‑hébergement Langfuse est gratuit sous MIT. Docker Compose suffit pour le développement ou l’évaluation ; en production, on utilise généralement Kubernetes avec Helm sur GKE, EKS ou AKS. La stack inclut ClickHouse, PostgreSQL, Redis et un stockage compatible S3, avec une VM minimale recommandée de 4 vCPU et 16 GiB de RAM. La licence logicielle ne coûte rien, mais votre équipe gère l’infrastructure et les opérations. L’édition Enterprise auto‑hébergée ajoute support dédié, journaux d’audit, SCIM et SLA.

Côté conformité, Langfuse Cloud est certifié SOC 2 Type II, ISO 27001, RGPD et HIPAA. LangSmith Cloud est certifié SOC 2 Type II, RGPD et HIPAA. ISO 27001 n’est pas listée pour LangSmith. Si votre processus d’achat exige cette certification, c’est une différence concrète.

L’auto‑hébergement LangSmith requiert un contrat Enterprise. Il n’existe pas de voie open source gratuite pour s’auto‑héberger. Les trois modèles (Cloud, BYOC et Self‑hosted) relèvent tous de l’offre Enterprise. SmithDB est disponible pour toutes les méthodes d’hébergement.

Tarifs : Langfuse vs LangSmith

Les prix affichés ne racontent pas toute l’histoire.

La tarification évolue souvent dans cette catégorie. Les montants ci‑dessous reflètent les pages officielles consultées en juin 2026 ; vérifiez les pages de prix à jour avant de budgéter l’une ou l’autre plateforme.

Tarification Langfuse

Langfuse Cloud facture à l’unité : une unité équivaut à une trace, une observation ou un score. La formule est Units = Traces + Observations + Scores, ainsi un run d’agent riche en outils peut coûter plus cher qu’une simple trace prompt‑réponse. L’offre gratuite Hobby inclut 50 000 unités/mois, 30 jours de rétention et deux utilisateurs. Core coûte 29 $ /mois avec 100 000 unités incluses, utilisateurs illimités et 90 jours de rétention. Pro est à 199 $ /mois avec 3 ans d’accès aux données et certifications de conformité. Enterprise démarre à 2 499 $ /mois avec volume personnalisé. Le dépassement commence à 8 $ par 100 000 unités supplémentaires.

Comme mentionné plus haut, la version auto‑hébergée de Langfuse n’a pas de coût de licence logicielle. SCIM, journaux d’audit et support entreprise nécessitent une licence commerciale.

Tarification LangSmith

LangSmith facture par siège et par trace. Le plan Developer est gratuit avec 5 000 traces/mois, un siège et 14 jours de rétention. Plus est à 39 $ par siège et par mois avec 10 000 traces de base incluses. Les traces de base ont 14 jours de rétention ; les traces étendues conservent les données 400 jours et coûtent plus cher. Une équipe de cinq en Plus paie 195 $ /mois en sièges avant dépassement de traces. Le pricing Enterprise est personnalisé.

Mécanismes de rétention des données

Comme indiqué plus haut, la rétention étendue se déclenche automatiquement lorsque des évaluateurs ajoutent du feedback aux traces. Lisez la documentation de facturation LangSmith sur la rétention étendue automatique avant de configurer des pipelines d’évaluation.

Ces détails comptent, car de petites différences de profondeur de trace, d’usage des évaluateurs et de rétention peuvent changer sensiblement la facture mensuelle.

Tableau comparatif : Langfuse vs LangSmith

Comme évoqué, les principales différences portent sur la propriété, l’adéquation au framework, le workflow d’évaluation et la tarification. Le tableau ci‑dessous synthétise ces points avant les sections décisionnelles finales.

Erreurs courantes lors du choix d’une plateforme d’observabilité LLM

Premier point : ne vous focalisez pas uniquement sur le tracing. Le tracing dit ce qui s’est passé, l’évaluation dit si la sortie est bonne. Choisir sur la seule base de la visualisation des traces, c’est le mauvais critère.

Deuxième point : surveillez les mécanismes de tarification. Comme vu plus haut, le coût de Langfuse croît avec la profondeur des traces, tandis que la rétention étendue de LangSmith peut modifier le coût de l’évaluation automatisée. Faites vos calculs avant la production.

Troisième point : l’auto‑hébergement ne signifie pas la même chose pour les deux produits. La section dédiée l’explique. Si la souveraineté des données est non négociable, cette différence peut trancher.

Enfin, ne décidez pas sur la seule compatibilité framework. Les deux plateformes prennent en charge plusieurs stacks, et les stacks évoluent. Les exigences de déploiement et les workflows d’évaluation se changent plus difficilement ensuite.

Quand choisir Langfuse

Au vu des arbitrages ci‑dessus, Langfuse convient mieux lorsque :

• Vous voulez des intégrations natives pour des frameworks comme CrewAI, Pydantic AI, LlamaIndex, ou des appels directs aux API OpenAI ou Anthropic.
• La souveraineté des données est non négociable et les entrées, sorties et traces LLM doivent rester sur votre infrastructure.
• Vous souhaitez une évaluation intégrée au CI/CD avec garde‑fous de régression automatisés via GitHub Actions.
• Vous avez besoin de coûts prévisibles pour une équipe grandissante, les offres Cloud payantes incluant des utilisateurs illimités.

Quand choisir LangSmith

Avec les mêmes arbitrages, LangSmith convient mieux lorsque :

• Vous voulez une plateforme agnostique des modèles et frameworks pour l’observabilité, l’évaluation, le débogage et le monitoring de production des applications LLM, avec un support particulièrement profond des frameworks LangChain.
• Vous préférez une plateforme managée couvrant tout le cycle d’amélioration des agents.
• Vous souhaitez une base de données très performante pour vos traces, déployable sur l’infrastructure de votre choix.
• Vos besoins dépassent l’observabilité et s’étendent aux autres briques de LangSmith : évaluation, monitoring de production, agent server et LLM Gateway.
• Vous voulez relier traces, datasets, expériences, évaluations en ligne, feedback humain et monitoring de production dans un seul workflow.

Conclusion

Langfuse et LangSmith répondent tous deux à un besoin réel et ont beaucoup évolué cette année. À ce stade, l’arbitrage est clair.

La décision ne se joue pas au nombre de fonctionnalités. Elle se situe sur l’axe propriété/écosystème évoqué plus haut. Avez‑vous besoin d’une voie open source avec contrôle direct sur votre stack de données, ou préférez‑vous une plateforme managée avec observabilité, évaluation et workflows de production intégrés ?

Un bémol avant de trancher : les deux plateformes évoluent rapidement. Consultez les changelogs avant de vous engager.

Pour aller plus loin sur l’écosystème LangChain, consultez notre tutoriel LangChain vs LangGraph vs LangSmith vs LangFlow.