Langfuse vs. LangSmith: porównanie platform obserwowalności LLM

Gdy chatbot zaczyna dawać słabe odpowiedzi, odruchowo sprawdzasz prompt. To działa przy pojedynczym wywołaniu LLM. Przestaje, gdy aplikacja to agent wykonujący wywołania narzędzi.

Właśnie tego brakującego kontekstu próbują dostarczyć platformy obserwowalności LLM. To nie są tradycyjne narzędzia do monitoringu aplikacji. Klasyczny monitoring mówi o opóźnieniach i wskaźnikach błędów. Platforma obserwowalności LLM powie ci, które wywołanie narzędzia zwróciło zły wynik i czy zmiana promptu poprawiła jakość.

Zarówno Langfuse, jak i LangSmith obejmują śledzenie, ewaluację i zarządzanie promptami i obie wypuściły duże aktualizacje na początku 2026 r. Nie są jednak zamienne. Różnice sprowadzają się do wymagań wdrożeniowych, stosu technologicznego i sposobu prowadzenia ewaluacji przez twój zespół.

Krótko: Langfuse pasuje zespołom, które potrzebują otwartego, samodzielnego hostingu, kontroli nad danymi lub stosu spoza LangChain. LangSmith pasuje zespołom już budującym w LangChain lub LangGraph, ale nie jest już ograniczony do tego ekosystemu. Jeśli żaden z tych warunków nie jest spełniony, spójrz na ceny.

Czym są Langfuse i LangSmith?

W dużym skrócie, oba produkty sprawiają, że aplikacje LLM są obserwowalne, testowalne i możliwe do debugowania. Oto czym jest każdy z nich.

Przegląd pozycjonowania platform Langfuse vs LangSmith. Obraz: autor.

Czym jest Langfuse?

Langfuse to open-source’owa platforma inżynierii LLM uruchomiona w 2023 r. Obejmuje śledzenie, zarządzanie promptami, ewaluację (LLM-jako-sędzia, adnotacje ludzkie i sprawdzenia w kodzie), eksperymenty na zbiorach danych oraz monitoring kosztów i opóźnień. Rdzeń open source jest na licencji MIT.

W styczniu 2026 r. ClickHouse ogłosił rundę Series D na 400 mln dolarów i przejął Langfuse. Langfuse jest teraz częścią ClickHouse, kolumnowej bazy danych, która już zasilała backend Langfuse. Na tamten moment potwierdzono, że licencja MIT i open-source’owy charakter pozostają bez zmian.

Langfuse działa jako zarządzona usługa w chmurze z regionami w USA, UE i Japonii lub jako samodzielnie hostowana instancja open source bez kosztu licencyjnego.

Czym jest LangSmith?

LangSmith to platforma obserwowalności i ewaluacji zbudowana przez LangChain Inc., zespół stojący za LangChain i LangGraph. Platforma jest własnościowa i zamknięta. LangChain pozyskał 125 mln dolarów przy wycenie 1,25 mld dolarów w październiku 2025 r.

Główne możliwości obejmują śledzenie przebiegu aplikacji, wizualne debugowanie, zautomatyzowane ewaluacje, monitoring produkcyjny oraz zarządzanie promptami przez Prompt Hub i Playground. W maju 2026 r. LangChain uruchomił SmithDB, warstwę danych w Rust, która obsługuje teraz 100% ingestu LangSmith US Cloud. SmithDB obniża P50 ładowania drzew śledzenia do 92 ms, a wyszukiwanie pełnotekstowe do 400 ms.

LangSmith jest dostępny jako zarządzona chmura, wdrożenie hybrydowe z płaszczyzną danych w VPC klienta lub samodzielnie hostowane wdrożenie Enterprise.

Open source vs. zarządzane SaaS

Kluczowa różnica między tymi platformami to nie „open source kontra nie open source”. Prawdziwa różnica to kontrola i przenośność po jednej stronie oraz dopasowanie do LangChain/LangGraph po drugiej. Langfuse pozwala uruchomić stos na własnej infrastrukturze bez kosztu licencji. LangSmith wymaga mniej konfiguracji, gdy aplikacja już działa na LangChain lub LangGraph.

Jedna aktualizacja zmienia sposób porównania: LangSmith wspiera teraz śledzenie OpenTelemetry przez pakiet langsmith[otel] i zmienną środowiskową LANGSMITH_OTEL_ENABLED=true. LangSmith nie jest już ograniczony do aplikacji LangChain. Najściślejszą integrację ma nadal z LangGraph, co omówię w sekcji o śledzeniu.

Oto gdzie obie platformy leżą strukturalnie:

Dalsza część artykułu wyjaśnia, co te różnice znaczą w praktyce.

Śledzenie i obserwowalność

Na śledzeniu produkty zaczynają się rozchodzić. Oba rejestrują wywołania LLM, wywołania narzędzi i powiązane metadane, ale przepływy pracy agentów szybciej ujawniają różnice niż proste aplikacje prompt-odpowiedź.

Śledzenie żądań

Langfuse buduje hierarchiczne ślady, które obejmują wywołania LLM, wywołania narzędzi, osadzania (embeddings) i kroki wyszukiwania. Możesz filtrować po użytkowniku, sesji, koszcie, opóźnieniu lub własnych metadanych. W maju 2026 r. Langfuse dodał wyszukiwanie pełnotekstowe oparte na natywnym silniku FTS ClickHouse, skracając wyszukiwania z ~20 s do poniżej pół sekundy.

LangSmith rejestruje każde wywołanie LLM i użycie narzędzi jako przeglądalne drzewo przebiegu. Po przejęciu ingestu US Cloud przez SmithDB, drzewa ładują się przy P50 w 92 ms. LangSmith zawiera też niesuperwizyjne grupowanie tematyczne, które grupuje ślady według wykrytego motywu i daje punkt wyjścia, gdy nie wiadomo, co jest nie tak.

Widoczność przepływu pracy agenta

Langfuse dodał Agent Graphs w listopadzie 2025 r., wizualizując przepływ wykonania dla wieloetapowych agentów przez wnioskowanie struktury grafu z czasów obserwacji i zagnieżdżeń. Działa z każdym zainstrumentowanym frameworkiem, z natywnym wsparciem dla LangGraph. W tym samym czasie dodano Trace Log View, zapewniający płaski strumień kroków agenta dla przepływów z pętlami lub rozgałęzieniami.

Graf agenta Langfuse dla wykonania LangGraph. Obraz: autor.

Śledzenie LangGraph w LangSmith rejestruje każdy węzeł, krawędź i przejście stanu w przebiegu bez konfiguracji poza ustawieniem zmiennej środowiskowej. LangSmith Studio pozwala krokowo przechodzić przez wykonanie agenta, sprawdzać stan w każdym węźle i odtwarzać ślad z innym modelem lub promptem. W aplikacji LangGraph daje to więcej kontekstu niż ogólne drzewo śledzenia.

Drzewo śledzenia LangSmith dla przepływu agenta. Obraz: autor.

Monitoring produkcyjny

W produkcji obie platformy śledzą opóźnienia, użycie tokenów, koszty i wskaźniki błędów. LangSmith zawiera alerty PagerDuty i webhooki dla incydentów produkcyjnych. Langfuse zawiera alerty wydatków z konfigurowalnymi progami. Na tym poziomie funkcje monitoringu są podobne.

Ewaluacja offline i online

Śledzenie mówi, co się stało. Ewaluacja mówi, czy było dobrze. W praktyce te narzędzia są bardziej użyteczne, gdy ewaluacja jest częścią procesu, a nie checklistą przed premierą.

LLM-jako-sędzia i ewaluatory w kodzie

LLM-jako-sędzia w Langfuse stał się w pełni open source na licencji MIT w czerwcu 2025 r. Każdy self-hosting na v3.65.0+ ma to bez komercyjnej licencji. W maju 2026 r. Langfuse dodał Code Evaluators: funkcje evaluate w Pythonie lub TypeScript pisane bezpośrednio w UI Langfuse. Uruchamiają one deterministyczne sprawdzenia, jak walidacja schematu JSON, regexy czy weryfikacja argumentów narzędzi, bez kosztu tokenów i bez wywołania modelu-sędziego.

LangSmith oferuje konfigurowalne ewaluatory LLM-jako-sędzia z typami informacji zwrotnej Boolean, Categorical i Continuous oraz wbudowane szablony dla Security, Safety i Quality. Wspiera też few-shot correction, gdzie poprawki oznaczone przez ludzi na wynikach ewaluatora wracają jako przykłady few-shot, poprawiając kalibrację ewaluatora w czasie.

Zbiory danych, eksperymenty i adnotacje ludzkie

Ewaluacja offline działa w obu platformach poprzez zbiory danych i porównanie eksperymentów side-by-side. Langfuse dodał Score Analytics w listopadzie 2025 r., by mierzyć zbieżność ewaluatorów wg precision, recall, F1, kosztu i accuracy. Baseline comparison, również z listopada 2025 r., pozwala oznaczyć konkretny przebieg jako punkt odniesienia i wykrywać regresje względem niego.

Integracja CI/CD GitHub Actions w Langfuse, wydana w maju 2026 r. przez langfuse/experiment-action, zatrzymuje workflow, gdy wyniki eksperymentu spadają poniżej progu. Dzięki temu ewaluacja staje się bramką wdrożeniową, a nie przeglądem po wydaniu.

Pętla ewaluacji Langfuse z GitHub Actions. Obraz: autor.

Ustawienie ewaluacji w LangSmith ma jedną istotną kwestię rozliczeniową: ewaluatory dodające feedback do śladów automatycznie podnoszą je do przedłużonej retencji. Jak omówię w sekcji cen, zmienia to koszt przepływów ewaluacyjnych.

Wersjonowanie promptów, wdrażanie i testy A/B

Zarządzanie promptami to tu więcej niż historia wersji. Przepływ wygląda tak: iteruj w piaskownicy, testuj na zbiorze danych, promuj na produkcję i czysto wycofuj, gdy coś się psuje.

Langfuse przypisuje każdej wersji promptu identyfikator i używa etykiet takich jak production i staging do kontrolowania, która wersja jest aktywna. Zmiana etykiety w UI to sposób na wdrożenie lub wycofanie. Prompty są buforowane po stronie klienta przez SDK, więc pobranie aktywnej wersji nie dodaje opóźnienia wywołaniom produkcyjnym. Chronione etykiety pozwalają administratorom ograniczyć role mogące modyfikować etykietę production, co ma znaczenie przy zespole o różnych poziomach dostępu.

LangSmith zarządza promptami przez LangChain Hub z wersjonowaniem po hashach commitów, by programowo przypinać dokładne wersje. Prompt Hub obejmuje bibliotekę społeczności, której Langfuse nie replikuje. Testy A/B poprzez eksperymenty na zbiorach danych są dostępne na obu platformach.

W tej kategorii produkty są bliżej siebie niż w obszarach hostingu, cen czy konfiguracji frameworków.

Langfuse vs. LangSmith dla aplikacji agentowych

Agenci napędzali większość prac rozwojowych na obu platformach w ostatnim roku. Tu ważne jest, gdzie agent został zbudowany.

Langfuse pokazuje dostępne narzędzia, podświetla, które zostały wywołane, i prezentuje argumenty oraz identyfikatory wywołań. Rozszerzone typy obserwacji rozróżniają wywołania narzędzi, embeddings i wywołania guardrails w widoku śladu. Jak wspomniałem wyżej, Code Evaluators mogą weryfikować argumenty narzędzi względem schematu. Serwer MCP rozszerzono w maju 2026 r. do 15 kategorii narzędzi, więc agenci w Claude Code, Cursorze czy OpenAI Codex mogą programowo odpytować dane Langfuse.

Punkt o LangGraph z sekcji śledzenia wraca także tutaj. Wsparcie agentów w LangSmith obejmuje inspekcję stanu w każdym węźle, odtwarzanie śladu z alternatywnymi modelami i LangSmith Studio do wizualnego debugowania krok po kroku. Zespół Monte Carlo, który prowadzi system produkcyjny z setkami sub-agentów, wskazywał tę bezkonfiguracyjną integrację z LangGraph jako kluczowy powód wyboru.

Dla agentów budowanych w CrewAI, Pydantic AI lub innych frameworkach multi-agentowych Langfuse ma szerszą natywną instrumentację i często wymaga mniej ręcznej konfiguracji.

Integracje frameworków i SDK

Langfuse oferuje szerokie integracje z dostawcami modeli, frameworkami, bramkami, narzędziami no-code, analityką i narzędziami deweloperskimi. Frameworki obejmują LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex i inne. Platforma jest natywnie zgodna z OpenTelemetry na poziomie SDK.

Natywne SDK LangSmith obejmują Python, TypeScript, Go i Javę. Poza LangChain i LangGraph działa z OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, implementacjami własnymi i OpenTelemetry. To znaczy, że nie jest narzędziem śledzącym tylko dla LangChain, choć LangGraph pozostaje najbliższym dopasowaniem.

Praktyczne pytanie to nie tylko, czy framework jest wspierany, bo większość popularnych działa na obu platformach. Chodzi o to, ile instrumentacji musisz napisać. LangGraph dostaje śledzenie bez konfiguracji w LangSmith. Inne frameworki mogą wymagać mniej ustawień w Langfuse. Wysiłek konfiguracji zależy od stosu.

Langfuse open source vs. LangSmith Enterprise

Self-hosting zmienia obraz operacyjny i zgodności bardziej niż większość kategorii funkcjonalnych.

Self-hosting Langfuse jest bezpłatny na licencji MIT. Docker Compose wystarczy do developmentu lub ewaluacji; wdrożenia produkcyjne zwykle używają Kubernetes z Helm na GKE, EKS lub AKS. Stos obejmuje ClickHouse, PostgreSQL, Redis i magazyn zgodny z S3, przy zalecanym minimum VM 4 rdzenie i 16 GiB RAM. Oprogramowanie nic nie kosztuje, ale twoja ekipa odpowiada za infrastrukturę i operacje. Płatna wersja self-hosted Enterprise dodaje dedykowane wsparcie, logi audytu, SCIM i SLA.

W kwestii zgodności Langfuse Cloud ma certyfikaty SOC 2 Type II, ISO 27001, GDPR i HIPAA. LangSmith Cloud ma SOC 2 Type II, GDPR i HIPAA. ISO 27001 nie figuruje przy LangSmith. Jeśli wasz zakup wymaga tego punktu, to konkretna różnica.

Self-hosting LangSmith wymaga umowy Enterprise. Nie ma ścieżki open source, bezpłatnego self-hostingu. Trzy modele wdrożeń (Cloud, Hybrid, Self-hosted) mieszczą się w parasolu Enterprise. SmithDB dla self-hosted LangSmith jest we wczesnym dostępie na maj 2026, jeszcze bez GA.

Cennik Langfuse vs. LangSmith

Nagłówkowe ceny nie mówią wszystkiego.

Cenniki w tej kategorii często się zmieniają. Poniższe liczby odzwierciedlają oficjalne strony sprawdzone w czerwcu 2026 r., ale przed budżetowaniem sprawdź bieżące strony cenowe.

Cennik Langfuse

Langfuse Cloud rozlicza za jednostki: jedna jednostka to jeden trace, jedna obserwacja lub jeden wynik (score). Wzór to Units = Traces + Observations + Scores, więc przebieg agenta bogaty w narzędzia może kosztować więcej niż prosty ślad prompt-odpowiedź. Darmowy plan Hobby obejmuje 50 000 jednostek miesięcznie, 30 dni retencji i dwóch użytkowników. Core kosztuje 29 USD/mies. ze 100 000 jednostek, nielimitowaną liczbą użytkowników i 90-dniową retencją. Pro to 199 USD/mies. z 3-letnim dostępem do danych i certyfikatami zgodności. Enterprise zaczyna się od 2 499 USD/mies. z niestandardową wyceną wolumenową. Nadwyżki startują od 8 USD za 100 000 dodatkowych jednostek.

Jak wspomniałem wcześniej, self-hosting Langfuse nie ma kosztu licencji. SCIM, logi audytu i wsparcie enterprise wymagają licencji komercyjnej.

Cennik LangSmith

LangSmith rozlicza za miejsce (seat) i za ślad (trace). Plan Developer jest darmowy z 5 000 śladów miesięcznie, jednym miejscem i 14-dniową retencją. Plus kosztuje 39 USD za seat miesięcznie z 10 000 bazowych śladów w cenie. Ślady bazowe mają 14 dni retencji; ślady z przedłużoną retencją trzymają dane 400 dni i kosztują więcej. Zespół pięcioosobowy na Plus płaci 195 USD/mies. za miejsca, zanim pojawią się nadwyżki śladów. Enterprise ma wycenę niestandardową.

Mechanika retencji danych

Jak wspomniałem wcześniej, przedłużona retencja uruchamia się automatycznie, gdy ewaluatory dodają feedback do śladów. Przeczytaj dokumentację rozliczeń LangSmith o auto-extended retention zanim zbudujesz potoki ewaluacyjne.

Te szczegóły mają znaczenie, bo drobne różnice w głębokości śladu, użyciu ewaluatorów i retencji mogą zmienić miesięczny rachunek.

Tabela porównawcza Langfuse vs. LangSmith

Jak wspomniałem wcześniej, główne różnice to własność, dopasowanie do frameworków, przepływ ewaluacji i ceny. Tabela poniżej kondensuje te punkty przed końcowymi sekcjami decyzji.

Błędy przy wyborze platformy obserwowalności LLM

Po pierwsze, moim zdaniem: nie skupiaj się tylko na śledzeniu. Śledzenie mówi, co się stało, ale ewaluacja mówi, czy wynik był dobry. Jeśli wybierasz wyłącznie na podstawie wizualizacji śladów, używasz złego kryterium.

Po drugie: obserwuj mechanikę cen. Jak powyżej, koszty Langfuse rosną wraz z głębokością śladu, a przedłużona retencja w LangSmith może zmienić koszt zautomatyzowanej ewaluacji. Policz to przed produkcją.

Po trzecie, self-hosting nie znaczy tego samego w obu produktach. Sekcja o self-hostingu wyżej pokazuje dlaczego. Jeśli suwerenność danych jest twardym wymaganiem, ta różnica może przesądzić.

Wreszcie, nie decyduj tylko na podstawie zgodności frameworku. Stosy się zmieniają. Wymagania wdrożeniowe i przepływy ewaluacji trudniej później wymienić.

Kiedy wybrać Langfuse

Bazując na powyższych kompromisach, Langfuse pasuje lepiej, gdy:

• Twój zespół nie opiera się głównie na LangChain ani LangGraph i budujesz z CrewAI, Pydantic AI, LlamaIndex lub przez bezpośrednie wywołania API do OpenAI czy Anthropic.
• Suwerenność danych jest nienegocjowalna, a wejścia/wyjścia LLM i ślady muszą pozostać w twojej infrastrukturze.
• Twoja lista zgodności wymaga ISO 27001 oprócz SOC 2 i HIPAA.
• Chcesz ewaluacji zintegrowanej z CI/CD z automatycznymi bramkami regresji przez GitHub Actions.
• Potrzebujesz przewidywalnych kosztów dla rosnącego zespołu, bo płatne plany Cloud mają nielimitowanych użytkowników.

Kiedy wybrać LangSmith

Na tej samej podstawie, LangSmith pasuje lepiej, gdy:

• Budujesz z LangGraph i chcesz śledzenia bez konfiguracji, natywnej wizualizacji grafu i debugowania krokowego w LangSmith Studio.
• Twój zespół chce zarządzaną platformę bez własnej infrastruktury.
• Cenicie społecznościowy Prompt Hub do odkrywania i dzielenia się promptami między zespołami spoza waszej organizacji.
• Wasze potrzeby wykraczają poza obserwowalność w stronę szerszej platformy LangSmith, która obejmuje już wdrażanie agentów i zarządzanie flotą (Fleet).

Wnioski

Langfuse i LangSmith rozwiązują realny problem i dużo się zmieniły przez ostatni rok. Na tym etapie kompromis jest jasny.

Decyzja nie dotyczy tego, która platforma ma więcej funkcji. To kwestia własności i ekosystemu z wcześniejszej części. Czy musisz kontrolować swój stos danych, czy chcesz mniej konfiguracji w świecie LangChain/LangGraph?

Jedno zastrzeżenie przed wyborem: obie platformy często się zmieniają. Sprawdź changelogi, zanim się zobowiążesz.

Po powiązane tło o ekosystemie LangChain, zobacz nasz tutorial LangChain vs. LangGraph vs. LangSmith vs. LangFlow.