Langfuse vs. LangSmith: LLM-Observability-Plattformen im Vergleich

Wenn ein Chatbot schlechte Antworten liefert, liegt der Impuls nahe, zuerst den Prompt zu prüfen. Das klappt bei einem einzelnen LLM-Call. Es reicht nicht mehr, sobald die Anwendung als Agent arbeitet und Tools aufruft.

Genau diesen fehlenden Kontext liefern LLM-Observability-Plattformen. Es sind keine klassischen Monitoring-Tools. Klassische Tools zeigen Latenzen und Fehlerraten. Eine LLM-Observability-Plattform zeigt dir, welcher Toolaufruf ein schlechtes Ergebnis lieferte und ob eine Prompt-Änderung die Output-Qualität verbessert hat.

Sowohl Langfuse als auch LangSmith bieten Tracing, Evaluierungen und Prompt-Management und haben Anfang 2026 große Updates veröffentlicht. Austauschbar sind sie dennoch nicht. Am Ende entscheiden Anforderungen an Deployment, Tech-Stack und die Art, wie dein Team Evaluierungen durchführt.

Kurzfassung: Langfuse passt zu Teams, die Open-Source-Self-Hosting, Datenkontrolle oder einen Stack außerhalb von LangChain brauchen. LangSmith passt zu Teams, die bereits mit LangChain oder LangGraph bauen, ist aber nicht mehr nur auf dieses Ökosystem begrenzt. Wenn beides nicht zutrifft, würde ich mir die Preise genauer ansehen.

Was sind Langfuse und LangSmith?

Auf hoher Ebene machen beide Produkte LLM-Anwendungen sichtbar, testbar und debugbar. Das steckt jeweils dahinter:

Positionsübersicht Langfuse vs. LangSmith. Bild: Autor.

Was ist Langfuse?

Langfuse ist eine Open-Source-Plattform für LLM-Engineering (Start 2023). Sie deckt Tracing, Prompt-Management, Evaluierungen (LLM-as-judge, menschliche Annotation und Code-basierte Checks), Datensatzeexperimente sowie Kosten- und Latenz-Monitoring ab. Der Open-Source-Kern ist unter MIT lizenziert.

Im Januar 2026 kündigte ClickHouse eine Series D über 400 Millionen US-Dollar an und übernahm Langfuse. Langfuse ist nun Teil von ClickHouse, der spaltenorientierten Datenbank, die bereits das Backend von Langfuse betrieben hat. Lizenz (MIT) und Open-Source-Identität blieben zum Zeitpunkt der Ankündigung unverändert.

Langfuse läuft als Managed Cloud Service mit Regionen in den USA, der EU und Japan oder als selbstgehostete Open-Source-Instanz ohne Softwareslizenzkosten.

Was ist LangSmith?

LangSmith ist die Observability- und Evaluierungsplattform von LangChain Inc., dem Team hinter LangChain und LangGraph. Die Plattform ist proprietär und Closed Source. LangChain sammelte im Oktober 2025 125 Millionen US-Dollar bei einer Bewertung von 1,25 Milliarden US-Dollar ein.

Zu den Kernfunktionen zählen Tracing über komplette Runs, visuelles Debugging, automatisierte Evaluierungen, Produktions-Monitoring sowie Prompt-Management via Prompt Hub und Playground. Im Mai 2026 startete LangChain SmithDB, eine Rust-basierte Datenschicht, die nun 100% der US-Cloud-Ingestion von LangSmith übernimmt. SmithDB senkt P50-Ladezeiten für Trace-Bäume auf 92 Millisekunden und die Volltextsuche auf 400 Millisekunden.

LangSmith ist als Managed Cloud Service, als Hybrid-Deployment mit Data Plane im Kunden-VPC oder als selbstgehostete Enterprise-Variante verfügbar.

Open Source vs. Managed SaaS

Der Kernunterschied ist nicht „Open Source versus nicht Open Source“. Es geht um Kontrolle und Portabilität auf der einen Seite und LangChain/LangGraph-Fit auf der anderen. Mit Langfuse kannst du den Stack ohne Lizenzkosten in deiner eigenen Infrastruktur betreiben. LangSmith erfordert weniger Setup, wenn deine Anwendung bereits auf LangChain oder LangGraph läuft.

Ein Update ändert die Perspektive: LangSmith unterstützt OpenTelemetry-Tracing über das langsmith[otel] Package und die Umgebungsvariable LANGSMITH_OTEL_ENABLED=true. LangSmith ist damit nicht mehr auf reine LangChain-Apps beschränkt. Die engste Integration bleibt mit LangGraph, wie ich im Tracing-Teil zeige.

So sind die beiden Plattformen strukturell positioniert:

Im weiteren Verlauf erfährst du, was diese Unterschiede in der Praxis bedeuten.

Tracing und Observability

Beim Tracing gehen die Produkte auseinander. Beide erfassen LLM-Calls, Toolaufrufe und Metadaten. In Agent-Workflows werden die Unterschiede schneller sichtbar als bei einfachen Prompt-Response-Apps.

Request-Tracing

Langfuse erstellt hierarchische Traces, die LLM-Calls, Toolaufrufe, Embeddings und Retrieval-Schritte erfassen. Du kannst nach User, Session, Kosten, Latenz oder eigenen Metadaten filtern. Im Mai 2026 kam eine Volltextsuche auf Basis der nativen FTS-Engine von ClickHouse hinzu, die Suchzeiten von zuvor fast 20 Sekunden auf unter eine halbe Sekunde senkte.

LangSmith erfasst jeden LLM-Call und Tooleinsatz als inspizierbaren Run-Baum. Seit SmithDB die gesamte US-Cloud-Ingestion übernimmt, laden Trace-Bäume bei P50 in 92 Millisekunden. Außerdem gibt es unüberwachtes Topic-Clustering, das Traces nach erkannten Themen gruppiert und Teams einen Startpunkt gibt, wenn unklar ist, wo es hakt.

Sichtbarkeit von Agent-Workflows

Langfuse führte im November 2025 Agent Graphs ein, die den Ausführungsfluss mehrstufiger Agenten visualisieren, indem sie die Graphstruktur aus Zeiten und Verschachtelungen der Observations ableiten. Das funktioniert mit jedem instrumentierten Framework, inklusive nativer LangGraph-Unterstützung. Zeitgleich kam die Trace Log View hinzu, die einen flachen Stream von Agent-Schritten für stark verzweigende oder loopende Workflows zeigt.

Langfuse-Agent-Graph für LangGraph-Ausführung. Bild: Autor.

LangSmiths LangGraph-Tracing erfasst jeden Node, jede Kante und jeden Zustandswechsel eines Runs ohne weitere Konfiguration außer einer Umgebungsvariable. In LangSmith Studio kannst du die Agent-Ausführung Schritt für Schritt durchgehen, den Zustand je Node inspizieren und einen Trace mit anderem Modell oder Prompt erneut abspielen. In einer LangGraph-App liefert das mehr Kontext als ein generischer Trace-Baum.

LangSmith-Trace-Baum für einen Agent-Workflow. Bild: Autor.

Monitoring in Produktion

Für die Produktion tracken beide Plattformen Latenz, Tokenverbrauch, Kosten und Fehlerraten. LangSmith bietet PagerDuty- und Webhook-Alerts für Incidents. Langfuse umfasst Ausgabenwarnungen mit konfigurierbaren Schwellenwerten. Auf dieser Ebene sind die Monitoring-Funktionen ähnlich.

Offline- und Online-Evaluierung

Tracing zeigt, was passiert ist. Evaluierung zeigt, ob es gut war. In der Praxis sind die Tools hilfreicher, wenn Evaluierung Teil des Workflows ist und nicht nur eine Checkliste vor dem Launch.

LLM-as-a-judge und Code-Evaluatoren

Langfuses LLM-as-judge wurde im Juni 2025 vollständig als MIT-Open-Source veröffentlicht. Jede selbstgehostete Instanz ab v3.65.0 erhält sie ohne kommerzielle Lizenz. Im Mai 2026 lieferte Langfuse Code Evaluators: Python- oder TypeScript-evaluate-Funktionen, die du direkt im Langfuse-UI schreibst. Sie führen deterministische Checks aus, etwa JSON-Schema-Validierung, Regex-Validierung oder Prüfung von Tool-Argumenten – ohne Tokenkosten oder Judge-Model-Call.

LangSmith bietet konfigurierbare LLM-as-judge-Evaluatoren mit Boolean-, Categorical- und Continuous-Feedbacktypen sowie Vorlagen für Security, Safety und Quality. Außerdem unterstützt es Few-Shot-Korrektur: Menschlich gelabelte Korrekturen an Evaluator-Outputs fließen als Few-Shot-Beispiele zurück, um die Kalibrierung über die Zeit zu verbessern.

Datasets, Experimente und menschliche Annotation

Offline-Evaluierung funktioniert in beiden Plattformen über Datasets und Side-by-Side-Experimente. Langfuse ergänzte im November 2025 Score Analytics, um die Übereinstimmung von Evaluatoren entlang Precision, Recall, F1, Kosten und Accuracy zu messen. Ebenfalls im November 2025 kam der Baseline-Vergleich: Du markierst einen spezifischen Run als Referenzpunkt und siehst Regressionen dagegen.

Langfuses GitHub Actions CI/CD-Integration, veröffentlicht im Mai 2026 via langfuse/experiment-action, lässt Workflows fehlschlagen, wenn Experiment-Scores unter eine Schwelle fallen. So wird Evaluierung zum Deployment-Gate statt zur Nachbetrachtung.

Langfuse-Evaluierungsschleife mit GitHub Actions. Bild: Autor.

LangSmiths Evaluierungs-Setup hat einen frühen Billing-Aspekt: Evaluatoren, die Feedback zu Traces hinzufügen, stufen diese automatisch auf erweiterte Aufbewahrung hoch. Wie im Preisabschnitt beschrieben, verändert das die Kosten von Evaluierungs-Workflows.

Prompt-Versionierung, Deployment und A/B-Tests

Prompt-Management ist hier mehr als Versionshistorie. Der Workflow lautet: im Sandbox-Modus iterieren, gegen einen Datensatz testen, in Produktion befördern und bei Bedarf sauber zurückrollen.

Langfuse vergibt für jede Prompt-Version eine Versions-ID und nutzt Labels wie production und staging, um zu steuern, welche Version live ist. Das Ändern eines Labels im UI ist dein Deploy oder Rollback. Prompts werden clientseitig vom SDK gecacht, sodass Produktionscalls keine zusätzliche Latenz durch das Abrufen der aktiven Version haben. Mit Protected Labels können Admins steuern, welche Rollen das production-Label ändern dürfen – wichtig, wenn Mitarbeitende unterschiedliche Zugriffslevel haben.

LangSmith verwaltet Prompts über LangChain Hub mit Commit-Hash-Versionierung, um exakte Versionen programmatisch zu pinnen. Der Prompt Hub umfasst eine Community-Bibliothek, die es in Langfuse so nicht gibt. A/B-Tests via Datensatz-Experimente sind auf beiden Plattformen möglich.

In dieser Kategorie liegen die Produkte näher beieinander als bei Hosting, Preisen oder Framework-Setup.

Langfuse vs. LangSmith für Agent-Anwendungen

Agenten haben im letzten Jahr viele Features auf beiden Plattformen getrieben. Entscheidend ist, worauf der Agent gebaut ist.

Langfuse zeigt verfügbare Tools, markiert aufgerufene Tools und zeigt Argumente sowie Call-IDs. Erweiterte Observation-Typen unterscheiden Tool-Calls, Embeddings und Guardrail-Calls in der Trace-Ansicht. Wie erwähnt, können Code Evaluators Tool-Argumente gegen ein Schema prüfen. Der MCP-Server wurde im Mai 2026 auf 15 Toolkategorien erweitert, sodass Agenten in Claude Code, Cursor oder OpenAI Codex Langfuse-Daten programmatisch abfragen können.

Der LangGraph-Punkt aus dem Tracing-Abschnitt taucht hier wieder auf. LangSmiths Agent-Support umfasst Zustandsinspektion an jedem Node, Trace-Replay mit alternativen Modellen und LangSmith Studio für visuelles Step-Through-Debugging. Das Engineering-Team von Monte Carlo, das ein Produktivsystem mit Hunderten Sub-Agenten betreibt, nannte die Zero-Setup-LangGraph-Integration als Hauptgrund für die Wahl.

Für Agenten, die mit CrewAI, Pydantic AI oder anderen Multi-Agent-Frameworks gebaut werden, hat Langfuse breitere native Instrumentierung und benötigt oft weniger manuelles Setup.

Framework- und SDK-Integrationen

Langfuse listet breite Integrationen über Modellanbieter, Frameworks, Gateways, No-Code-Tools, Analytics und Entwickler-Tools. Frameworks umfassen LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex und weitere. Die Plattform ist auf SDK-Ebene OpenTelemetry-nativ.

LangSmiths native SDKs decken Python, TypeScript, Go und Java ab. Über LangChain und LangGraph hinaus funktioniert es mit dem OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, Custom-Implementierungen und OpenTelemetry. Es ist also kein reines LangChain-Tracing-Tool, auch wenn LangGraph der engste Fit bleibt.

Praktisch zählt nicht nur, ob ein Framework unterstützt wird – die meisten populären laufen auf beiden Plattformen. Es geht darum, wie viel Instrumentierung du selbst schreiben musst. LangGraph bekommt in LangSmith Zero-Config-Tracing. Andere Frameworks sind in Langfuse oft mit weniger Setup verbunden. Der Aufwand variiert je Stack.

Langfuse Open Source vs. LangSmith Enterprise

Self-Hosting verändert Betrieb und Compliance stärker als die meisten Feature-Kategorien.

Langfuse-Self-Hosting ist unter MIT kostenlos. Für Entwicklung oder Evaluierung reicht Docker Compose; produktiv wird meist Kubernetes mit Helm auf GKE, EKS oder AKS genutzt. Zum Stack gehören ClickHouse, PostgreSQL, Redis und S3-kompatibler Speicher; empfohlen sind mindestens 4 vCPUs und 16 GiB RAM. Die Softwarelizenz kostet nichts, aber Infrastruktur und Betrieb liegen bei deinem Team. Die kostenpflichtige selbstgehostete Enterprise Edition bietet Support, Audit-Logs, SCIM und SLAs.

Bei der Compliance hat Langfuse Cloud SOC 2 Type II, ISO 27001, GDPR und HIPAA. LangSmith Cloud hat SOC 2 Type II, GDPR und HIPAA. ISO 27001 ist für LangSmith nicht gelistet. Wenn eure Beschaffung das voraussetzt, ist das ein konkreter Unterschied.

LangSmith-Self-Hosting erfordert einen Enterprise-Vertrag. Es gibt keinen Open-Source- und kostenlosen Self-Hosting-Weg. Alle drei Deployments (Cloud, Hybrid, Self-hosted) fallen unter Enterprise. SmithDB für selbstgehostetes LangSmith ist Stand Mai 2026 im Early Access und noch nicht allgemein verfügbar.

Preise: Langfuse vs. LangSmith

Die Schlagzeilenpreise erzählen nicht die ganze Geschichte.

In dieser Kategorie ändern sich Preise häufig. Die folgenden Zahlen basieren auf den offiziellen Seiten, die ich im Juni 2026 geprüft habe. Prüfe vor der Budgetplanung unbedingt die aktuellen Preisseiten.

Langfuse-Preise

Langfuse Cloud rechnet nach Einheiten ab: Eine Einheit entspricht einem Trace, einer Observation oder einem Score. Die Formel lautet Units = Traces + Observations + Scores. Ein agentenlastiger Run mit vielen Tools kann also mehr kosten als ein einfacher Prompt-Response-Trace. Der kostenlose Hobby-Plan enthält 50.000 Einheiten pro Monat, 30 Tage Aufbewahrung und zwei Nutzer. Core kostet 29 $/Monat mit 100.000 Einheiten, unbegrenzten Nutzern und 90 Tagen Aufbewahrung. Pro liegt bei 199 $/Monat mit 3 Jahren Datenzugriff und Compliance-Zertifizierungen. Enterprise startet bei 2.499 $/Monat mit individueller Volumenbepreisung. Mehrverbrauch beginnt bei 8 $ pro 100.000 zusätzliche Einheiten.

Wie erwähnt, hat selbstgehostetes Langfuse keine Softwarelizenzkosten. SCIM, Audit-Logs und Enterprise-Support erfordern eine kommerzielle Lizenz.

LangSmith-Preise

LangSmith berechnet pro Sitzplatz und pro Trace. Der Developer-Plan ist kostenlos mit 5.000 Traces pro Monat, einem Sitzplatz und 14 Tagen Aufbewahrung. Plus kostet 39 $ pro Sitzplatz und Monat mit 10.000 enthaltenen Basis-Traces. Basis-Traces haben 14 Tage Aufbewahrung; erweiterte Traces halten Daten 400 Tage und kosten mehr. Ein Fünferteam auf Plus zahlt 195 $/Monat für Sitze, bevor Mehrverbrauch anfällt. Enterprise ist individuell.

Mechanik der Datenaufbewahrung

Wie erwähnt, wird erweiterte Aufbewahrung automatisch aktiviert, wenn Evaluatoren Feedback zu Traces hinzufügen. Lies die LangSmith-Billing-Dokumentation zur Auto-Extended-Retention, bevor du Evaluierungspipelines aufsetzt.

Diese Details zählen, weil kleine Unterschiede in Tracetiefe, Evaluator-Nutzung und Aufbewahrung die Monatsrechnung deutlich verändern können.

Vergleichstabelle: Langfuse vs. LangSmith

Wie oben erwähnt, drehen sich die Hauptunterschiede um Eigentum, Framework-Fit, Evaluierungs-Workflow und Preise. Die Tabelle bündelt die Punkte vor der finalen Entscheidung.

Fehler bei der Wahl einer LLM-Observability-Plattform

Erstens, aus meiner Sicht: Konzentriere dich nicht nur auf Tracing. Tracing zeigt, was passiert ist, aber Evaluierung zeigt, ob der Output stimmt. Wenn du nur nach Trace-Visualisierung auswählst, nutzt du das falsche Kriterium.

Zweitens: Achte auf die Preis-Mechanik. Wie oben beschrieben, steigen bei Langfuse die Kosten mit der Tracetiefe, während LangSmiths erweiterte Aufbewahrung die Kosten automatisierter Evaluierungen verändern kann. Rechne vor dem Go-Live nach.

Drittens, Self-Hosting bedeutet bei beiden Produkten nicht dasselbe. Der Self-Hosting-Abschnitt zeigt warum. Wenn Datensouveränität ein Muss ist, kann dieser Unterschied die Entscheidung vorwegnehmen.

Und viertens: Entscheide nicht nur nach Framework-Kompatibilität. Stacks ändern sich. Deployment-Anforderungen und Evaluierungs-Workflows lassen sich später schwerer wechseln.

Wann du Langfuse wählen solltest

Nach den obigen Trade-offs passt Langfuse besser, wenn:

• Dein Team nicht primär LangChain oder LangGraph nutzt und mit CrewAI, Pydantic AI, LlamaIndex oder direkten API-Calls zu OpenAI oder Anthropic baut.
• Datensouveränität nicht verhandelbar ist und LLM-Inputs, -Outputs und Traces in deiner Infrastruktur bleiben müssen.
• Deine Compliance-Checkliste zusätzlich zu SOC 2 und HIPAA auch ISO 27001 verlangt.
• Dein Team CI/CD-integrierte Evaluierung mit automatischen Regression-Gates via GitHub Actions möchte.
• Du planbare Kosten für ein wachsendes Team brauchst, da bezahlte Cloud-Pläne unbegrenzte Nutzer enthalten.

Wann du LangSmith wählen solltest

Nach denselben Trade-offs passt LangSmith besser, wenn:

• Du mit LangGraph baust und Zero-Config-Tracing, native Graph-Visualisierung und Step-Through-Debugging in LangSmith Studio willst.
• Dein Team eine gemanagte Plattform ohne eigenen Infrastruktur-Betrieb bevorzugt.
• Du den Community Prompt Hub schätzt, um Prompts teamübergreifend außerhalb deiner Organisation zu entdecken und zu teilen.
• Deine Anforderungen über Observability hinaus in LangSmiths breitere Plattform reichen, die inzwischen Agent Deployment und Fleet-Management umfasst.

Fazit

Langfuse und LangSmith lösen beide ein echtes Problem und haben sich im letzten Jahr stark verändert. Die Trade-offs sind inzwischen klar.

Die Entscheidung hängt nicht davon ab, welche Plattform mehr Features hat. Es ist der Trade-off aus Ownership und Ökosystem. Musst du deinen Datenstack kontrollieren, oder willst du weniger Setup innerhalb der LangChain/LangGraph-Welt?

Ein Vorbehalt vor der Entscheidung: Beide Plattformen ändern sich oft. Schau vorab in die Changelogs.

Für Hintergrund zum LangChain-Ökosystem lies unser Tutorial zu LangChain vs. LangGraph vs. LangSmith vs. LangFlow.