Langfuse vs. LangSmith: Jämförelse av plattformar för LLM-observabilitet

När en chatbot börjar ge dåliga svar är instinkten att kontrollera prompten. Det fungerar bra för ett enskilt LLM-anrop. Det slutar fungera när applikationen är en agent som gör verktygsanrop.

Det saknade sammanhanget är vad plattformar för LLM-observabilitet försöker tillhandahålla. De är inte traditionella verktyg för applikationsövervakning. Ett mer traditionellt verktyg berättar om latens och felfrekvenser. En plattform för LLM-observabilitet berättar vilket verktygsanrop som gav ett dåligt resultat och om en prompt-ändring förbättrade utdata-kvaliteten.

Både Langfuse och LangSmith täcker spårning, utvärdering och prompt-hantering, och båda släppte stora uppdateringar i början av 2026. De är dock inte utbytbara. Skillnaden handlar om distributionskrav, teknikstack och hur ditt team genomför utvärderingar.

Kort svar: Langfuse passar team som behöver öppen källkod för självhostning, datakontroll eller en stack utanför LangChain. LangSmith passar team som vill ha en ramverksagnostisk plattform med integrerad observabilitet, utvärdering, felsökning och produktionsarbetsflöden för LLM-applikationer. Om inget av dessa stämmer skulle jag titta på prissättningen.

Vad är Langfuse och LangSmith?

På en övergripande nivå gör båda produkterna LLM-applikationer observerbara, testbara och felsökningsbara. Här är vad varje produkt är.

Översikt av plattformspositionering: Langfuse kontra LangSmith. Bild av författaren.

Vad är Langfuse?

Langfuse är en LLM-ingenjörsplattform med öppen källkod som lanserades 2023. Den täcker spårning, prompt-hantering, utvärdering (LLM-as-judge, manuell annotering och kodbaserade kontroller), dataset-experiment samt övervakning av kostnad och latens. Kärnprodukten med öppen källkod är MIT-licensierad.

I januari 2026 meddelade ClickHouse en Serie D på 400 miljoner dollar och förvärvade Langfuse. Langfuse är nu en del av ClickHouse, den kolumnära databasen som redan drev Langfuse-backenden. MIT-licensen och identiteten som öppen källkod bekräftades som oförändrade vid den tidpunkten.

Langfuse körs som en hanterad molntjänst med regioner i USA, EU och Japan, eller som en självhostad instans med öppen källkod utan licenskostnad.

Vad är LangSmith?

LangSmith är en ramverksagnostisk plattform för observabilitet och utvärdering, byggd av LangChain Inc., teamet bakom LangChain, LangGraph och Deep Agents. Plattformen är proprietär och sluten källkod. LangChain tog in 125 miljoner dollar till en värdering på 1,25 miljarder dollar i oktober 2025.

De huvudsakliga funktionerna omfattar spårning genom en applikationskörning, visuell felsökning, automatiska utvärderingar, produktionsövervakning och prompt-hantering via Prompt Hub och Playground. I maj 2026 lanserade LangChain SmithDB, ett Rust-baserat datalager som nu hanterar 100% av LangSmiths US Cloud-inmatning. SmithDB är utformat för de unika datapayloads som skapas av LLM-applikationer och minskar P50-laddningstiden för spårträd till 92 millisekunder och fulltextsökning till 400 millisekunder.

LangSmith finns som hanterad molntjänst, BYOC-distribution (bring your own cloud) med data i kundens VPC, eller som självhostad Enterprise-distribution. LangChain meddelade också att självhostad LangSmith kommer att stödja BYOK (bring-your-own-key) för Engine, dess plattformsinterna agent för att hitta och åtgärda fel i LLM-applikationer.

Öppen källkod vs. hanterad SaaS

Den grundläggande skillnaden mellan plattformarna är inte ”öppen källkod kontra inte öppen källkod”. Den verkliga skillnaden är kontroll och portabilitet på ena sidan och hanterade arbetsflöden på den andra. Med Langfuse kan du köra stacken i din egen infrastruktur utan licenskostnad. LangSmith erbjuder hanterat moln, BYOC och självhostade distributioner, med djup inbyggd support för LangChain,  LangGraph och Deep Agents, men utan krav på att använda dessa ramverk.

En uppdatering förändrar hur den här jämförelsen bör ramas in: LangSmith stöder nu OpenTelemetry-spårning via paketet langsmith[otel] och miljövariabeln LANGSMITH_OTEL_ENABLED=true. Detta är ett av flera sätt team kan använda LangSmith med icke-LangChain-applikationer. 

Här är var de två plattformarna placerar sig strukturmässigt:

Resten av artikeln packar upp vad dessa skillnader betyder i praktiken.

Spårning och observabilitet

Spårning är där produkterna börjar skilja sig åt. Båda fångar LLM-anrop, verktygsanrop och relaterad metadata, men agentarbetsflöden blottlägger skillnaderna snabbare än enkla prompt–svar-appar gör.

Begärandespårning

Langfuse bygger hierarkiska spår som fångar LLM-anrop, verktygsanrop, embeddings och hämtsteg. Du kan filtrera efter användare, session, kostnad, latens eller anpassad metadata. I maj 2026 lade Langfuse till fulltextsökning baserad på ClickHouses inbyggda FTS-motor, vilket kapade sökningar som tidigare tog nära 20 sekunder till under en halv sekund.

LangSmith fångar varje LLM-anrop och verktygsanvändning som ett inspekterbart körträd. Med SmithDB som nu hanterar all US Cloud-inmatning laddas spårträd vid P50 på 92 millisekunder. LangSmith inkluderar också osuperviserad ämnesklustring, som grupperar spår efter upptäckt tema och ger team en startpunkt när de inte vet vad som är fel.

Synlighet i agentarbetsflöden

Langfuse lade till Agent Graphs i november 2025, som visualiserar exekveringsflödet för flerstegsagenter genom att härleda grafstrukturen från observationstider och nästling. Det fungerar med vilket instrumenterat ramverk som helst, med inbyggt stöd för LangGraph. En Trace Log View lades till samtidigt, vilket ger en platt ström av agentsteg för arbetsflöden som loopar eller förgrenar sig mycket.

Langfuse agentgraf för LangGraph-exekvering. Bild av författaren.

LangSmiths LangGraph-spårning fångar varje nod, kant och tillståndsövergång i en körning utan konfiguration utöver att sätta en miljövariabel. LangSmith Studio låter dig stega genom agentexekvering, inspektera tillstånd i varje nod och spela upp ett spår med en annan modell eller prompt. I en LangGraph-applikation ger detta mer kontext än ett generiskt spårträd.I september 2026 släppte LangSmith Trajectories, som gör spår enklare att felsöka och integrera i återkopplingsloopar med ämnesexperter.

LangSmith-spårträd för agentarbetsflöde. Bild av författaren.

Produktionsövervakning

För produktionsövervakning spårar båda plattformarna latens, tokenanvändning, kostnad och felfrekvenser. LangSmith inkluderar PagerDuty och webhook-varningar för produktionsincidenter, tillsammans med övervakningsarbetsflöden kopplade till spår och utvärderingar. Langfuse inkluderar utgiftsvarningar med konfigurerbara trösklar. På den här nivån är övervakningsfunktionerna liknande.

Offline- och onlineutvärdering

Spårning berättar vad som hände. Utvärdering berättar om det var bra. I praktiken är dessa verktyg mer användbara när utvärdering är en del av arbetsflödet, inte en checklista före lansering.

LLM-as-a-judge och kodevaluatorer

Langfuses LLM-as-judge blev helt öppen källkod under MIT i juni 2025. Alla självhostade användare på v3.65.0 eller senare får detta utan kommersiell licens. I maj 2026 släppte Langfuse Code Evaluators: Python- eller TypeScript-evaluate-funktioner som du skriver direkt i Langfuse-gränssnittet. Dessa kör deterministiska kontroller, såsom validering av JSON-schema, regex-validering eller verifiering av verktygsargument, utan tokenkostnad eller domarmodellsanrop.

LangSmith erbjuder konfigurerbara LLM-as-judge-utvärderare med Boolesk, Kategorisk och Kontinuerlig återkoppling, plus inbyggda mallar för säkerhet, trygghet och kvalitet. Det stöder också few-shot-korrigering, där manuellt märkta korrigeringar av utvärderarens utdata matas tillbaka som few-shot-exempel för att förbättra utvärderarens kalibrering över tid.

Datasets, experiment och manuell annotering

Offlineutvärdering fungerar i båda plattformarna via dataset och sid-vid-sidajämförelse av experiment. Langfuse lade till Score Analytics i november 2025 för att mäta utvärderarjustering över precision, recall, F1, kostnad och noggrannhet. Baslinjejämförelse, också november 2025, låter dig markera en specifik körning som referenspunkt och lyfta fram regressioner mot den.

Langfuses GitHub Actions CI/CD-integration, släppt i maj 2026 via langfuse/experiment-action, underkänner ett arbetsflöde när experimentscorer faller under en tröskel. Det gör utvärdering till en distributionsgrind istället för en granskning efter release.

Langfuse-utvärderingsloop med GitHub Actions. Bild av författaren.

LangSmiths utvärderingsupplägg har ett faktureringsbeteende att notera tidigt: utvärderare som lägger till feedback till spår kan uppgradera dessa spår till förlängd retention. Som jag tar upp i prissättningsavsnittet förändrar det kostnaden för utvärderingsarbetsflöden.

Versionshantering av prompts, driftsättning och A/B-testning

Prompt-hantering här är mer än versionshistorik. Arbetsflödet är: iterera i en sandbox, testa mot ett dataset, främja till produktion och rulla tillbaka rent när något går sönder.

Langfuse tilldelar varje promptversion ett versions-ID och använder etiketter som production och staging för att styra vilken version som är live. Att ändra en etikett i gränssnittet är hur du driftsätter eller rullar tillbaka. Prompter cachelagras klient-sida av SDK:n, så ingen latens läggs till produktionsanrop när SDK:n hämtar den aktiva versionen. Skyddade etiketter låter administratörer begränsa vilka roller som kan ändra etiketten production, vilket spelar roll när du har en mix av medarbetare med olika åtkomstnivåer.

LangSmith hanterar prompts via Prompt och Context Hub med commit-hash-versionering för att programmässigt kunna låsa exakta versioner. Prompt Hub inkluderar ett community-bibliotek som Langfuse inte replikerar. A/B-testning via dataset-experiment finns på båda plattformarna.

I den här kategorin står produkterna närmare varandra än vad de gör inom hosting, prissättning eller ramverksupplägg.

Langfuse vs. LangSmith för agentapplikationer

Agenter drev mycket av funktionsarbetet på båda plattformarna det senaste året. Var agenten är byggd spelar roll här.

Langfuse visar tillgängliga verktyg, markerar vilka verktyg som anropades och visar argument och anrops-ID:n. Utökade observationstyper skiljer verktygsanrop, embeddings och guardrail-anrop i spårvyn. Som jag nämnde tidigare kan Code Evaluators också verifiera verktygsargument mot ett schema. MCP-servern utökades i maj 2026 till att täcka 15 verktygskategorier, så agenter i Claude Code, Cursor eller OpenAI Codex kan fråga Langfuse-data programmatiskt.

Punkten om LangGraph från spårningsavsnittet dyker upp här igen. LangSmiths agentsupport inkluderar tillståndsinspektion i varje nod, spår-uppspelning med alternativa modeller och LangSmith Studio för visuell steg-för-steg-felsökning. Teamet på Monte Carlo, som kör ett produktionssystem med hundratals underagenter, angav denna nollkonfigurationsintegration med LangGraph som en nyckelorsak till deras val.

För agenter byggda med CrewAI, Pydantic AI eller andra multi-agent-ramverk har Langfuse bredare inbyggd instrumentering och kräver ofta mindre manuell uppsättning.

Ramverk och SDK-integrationer

Langfuse listar breda integrationer över modelltillhandahållare, ramverk, gateways, no-code-verktyg, analys och utvecklarverktyg. Ramverk inkluderar LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex och andra. Plattformen är OpenTelemetry-native på SDK-nivå.

LangSmiths inbyggda SDK:er täcker Python, TypeScript, Go och Java. Utöver LangChain, LangGraph och Deep Agents fungerar den med OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, anpassade implementationer och OpenTelemetry. Det betyder att den inte är ett spårningsverktyg enbart för LangChain.

Den praktiska frågan är inte bara om ett ramverk stöds, eftersom de flesta populära ramverk fungerar med båda plattformarna. Det är hur mycket instrumentering du behöver skriva.

Langfuse öppen källkod vs. LangSmith Enterprise

Självhostning förändrar drift- och efterlevnadsbilden mer än de flesta funktionskategorier gör.

Langfuses självhostning är gratis under MIT. Docker Compose fungerar för utveckling eller utvärdering; produktionsdistributioner använder vanligtvis Kubernetes med Helm på GKE, EKS eller AKS. Stacken inkluderar ClickHouse, PostgreSQL, Redis och S3-kompatibel lagring, med en rekommenderad minimi-VM på 4 kärnor och 16 GiB RAM. Programvarulicensen kostar ingenting, men ditt team äger infrastrukturen och driften. Den betalda självhostade Enterprise Edition lägger till dedikerad support, granskningsloggar, SCIM och SLA:er.

När det gäller efterlevnad har Langfuse Cloud certifieringarna SOC 2 Typ II, ISO 27001, GDPR och HIPAA. LangSmith Cloud har SOC 2 Typ II, GDPR och HIPAA. ISO 27001 listas inte för LangSmith. Om din upphandlingsprocess kräver den punkten är det en konkret skillnad.

LangSmiths självhostning kräver ett Enterprise-avtal. Det finns ingen väg för självhostning med öppen källkod och utan kostnad. Tre distributionsmodeller (Cloud, Bring-Your-Own-Cloud (BYOC) och självhostad) ligger alla under Enterprise-paraplyet. SmithDB finns tillgängligt för alla hostningsmetoder.

Prissättning: Langfuse vs. LangSmith

Rubrikpriserna berättar inte hela historien.

Prissättningen ändras också ofta i denna kategori. Siffrorna nedan speglar de officiella sidor jag kontrollerade i juni 2026, men kontrollera aktuella prissidor innan du budgeterar kring någon av plattformarna.

Langfuse-prissättning

Langfuse Cloud tar betalt per enhet: en enhet är lika med ett spår, en observation eller en poäng. Formeln är Units = Traces + Observations + Scores, så en agentkörning med tung verktygsanvändning kan kosta mer än ett enkelt prompt–svar-spår. Den kostnadsfria Hobby-planen inkluderar 50 000 enheter per månad, 30 dagars retention och två användare. Core kostar 29 USD/månad med 100 000 inkluderade enheter, obegränsat antal användare och 90 dagars retention. Pro är 199 USD/månad med 3 års dataåtkomst och efterlevnadscertifieringar. Enterprise börjar på 2 499 USD/månad med anpassad volymprissättning. Överträdelser börjar på 8 USD per ytterligare 100 000 enheter.

Som jag nämnde tidigare har självhostad Langfuse ingen programvarulicenskostnad. SCIM, granskningsloggar och företagssupport kräver en kommersiell licens.

LangSmith-prissättning

LangSmith tar betalt per användarlicens och per spår. Utvecklarplanen är gratis med 5 000 spår per månad, en användarlicens och 14 dagars retention. Plus kostar 39 USD per användare och månad med 10 000 bas-spår inkluderade. Bas-spår har 14 dagars retention; utökade spår behåller data i 400 dagar och kostar mer. Ett team på fem på Plus betalar 195 USD/månad i licenser före överdrag på spår. Enterprise-prissättning är anpassad.

Mekanik för dataretention

Som jag nämnde tidigare aktiveras utökad retention automatiskt när utvärderare lägger till feedback på spår. Läs LangSmiths faktureringsdokumentation om auto-utökad retention innan du sätter upp utvärderingspipelines.

Dessa detaljer spelar roll eftersom små skillnader i spårdjup, utvärderaranvändning och retention kan förändra månadsfakturan.

Jämförelsetabell: Langfuse vs. LangSmith

Som jag nämnde tidigare är de största skillnaderna ägande, ramverksmatchning, utvärderingsarbetsflöde och prissättning. Tabellen nedan komprimerar dessa punkter före de sista beslutsavsnitten.

Vanliga misstag när man väljer en plattform för LLM-observabilitet

Först, enligt min mening: Fokusera inte bara på spårning. Spårning berättar vad som hände, men utvärdering berättar om utdata var bra. Om du väljer baserat enbart på spårvisualisering använder du fel kriterium.

För det andra: Håll koll på prissättningsmekaniken. Som beskrivits ovan växer Langfuses kostnader med spårdjupet, medan LangSmiths utökade retention kan förändra kostnaden för automatiserad utvärdering. Räkna på det före produktion.

För det tredje betyder självhostning inte samma sak i båda produkterna. Avsnittet om självhostning ovan visar varför. Om datasuveränitet är ett absolut krav kan den skillnaden avgöra jämförelsen.

Slutligen, bestäm inte enbart på ramverkskompatibilitet. Båda plattformarna stöder flera applikationsstackar, och stackar förändras. Distributionskrav och utvärderingsarbetsflöden är svårare att byta senare.

När du ska välja Langfuse

Baserat på avvägningarna ovan passar Langfuse bättre när:

• Ditt team vill ha inbyggda integrationer för ramverk som CrewAI, Pydantic AI, LlamaIndex eller direkta API-anrop till OpenAI eller Anthropic.
• Datasuveränitet är icke-förhandlingsbar, och LLM-inmatning, -utmatning och spår behöver stanna i din egen infrastruktur.
• Ditt team vill ha CI/CD-integrerad utvärdering med automatiska regressionsgrindar via GitHub Actions.
• Du behöver förutsägbara kostnader för ett växande team, eftersom betalda molnplaner inkluderar obegränsat antal användare.

När du ska välja LangSmith

Utifrån samma avvägningar passar LangSmith bättre när:

• Du vill ha en modell- och ramverksagnostisk plattform för observabilitet, utvärdering, felsökning och produktionsövervakning över LLM-applikationer, med särskilt djup support för LangChain-ramverk.
• Ditt team vill ha en hanterad plattform som stödjer hela förbättringsloopen för agenter.
• Du vill ha en högpresterande databas för dina spårdata som du kan distribuera i din föredragna infrastruktur
• Dina behov sträcker sig bortom observabilitet till LangSmiths bredare plattform, inklusive utvärdering, produktionsövervakning, agentserver och LLM Gateway.
• Du vill ha spår, dataset, experiment, onlineutvärderingar, mänsklig feedback och produktionsövervakning sammankopplade i ett arbetsflöde.

Slutsats

Både Langfuse och LangSmith löser ett verkligt problem, och båda har förändrats mycket under det senaste året. I det här läget är avvägningen tydlig.

Beslutet handlar inte om vilken plattform som har flest funktioner. Det är ägande- och ekosystemavvägningen från tidigare. Behöver du en väg med öppen källkod och direkt kontroll över din datastack, eller vill du ha en hanterad plattform med integrerad observabilitet, utvärdering och produktionsarbetsflöden?

En brasklapp innan du bestämmer dig: båda plattformarna förändras ofta. Kontrollera ändringsloggarna innan du förbinder dig.

För relaterad bakgrund om LangChain-ekosystemet, se vår handledning om LangChain vs. LangGraph vs. LangSmith vs. LangFlow.