Gdy chatbot zaczyna dawać złe odpowiedzi, odruchowo sprawdzasz prompt. To działa przy pojedynczym wywołaniu LLM. Przestaje, gdy aplikacja to agent wykonujący wywołania narzędzi.
Właśnie ten brakujący kontekst próbują dostarczyć platformy obserwowalności LLM. To nie są tradycyjne narzędzia monitorowania aplikacji. Klasyczne narzędzie mówi ci o latencjach i wskaźnikach błędów. Platforma obserwowalności LLM mówi ci, które wywołanie narzędzia zwróciło zły wynik i czy zmiana promptu poprawiła jakość odpowiedzi.
Zarówno Langfuse, jak i LangSmith obejmują śledzenie, ewaluację i zarządzanie promptami, a na początku 2026 roku obie doczekały się dużych aktualizacji. Nie są jednak zamienne. Różnice sprowadzają się do wymagań wdrożeniowych, stosu technologicznego i tego, jak twój zespół przeprowadza ewaluacje.
Krótka odpowiedź: Langfuse pasuje do zespołów, które potrzebują otwartego źródła do self‑hostingu, kontroli nad danymi lub stosu poza LangChain. LangSmith pasuje do zespołów szukających niezależnej od frameworków platformy z wbudowaną obserwowalnością, ewaluacją, debugowaniem i przepływami produkcyjnymi dla aplikacji LLM. Jeśli żaden z tych warunków nie jest spełniony, przejrzałbym ceny.
Czym są Langfuse i LangSmith?
W dużym skrócie, oba produkty sprawiają, że aplikacje LLM są obserwowalne, testowalne i możliwe do debugowania. Oto, czym jest każdy z nich.
Langfuse kontra LangSmith — przegląd pozycjonowania platform. Obraz: autor.
Czym jest Langfuse?
Langfuse to open‑source’owa platforma inżynierii LLM uruchomiona w 2023 r. Obejmuje śledzenie, zarządzanie promptami, ewaluację (LLM‑as‑judge, adnotacje ludzkie i testy kodowe), eksperymenty na zbiorach danych oraz monitorowanie kosztów i latencji. Rdzeń open source jest licencjonowany na MIT.
W styczniu 2026 r. ClickHouse ogłosił rundę Serii D o wartości 400 mln USD i przejął Langfuse. Langfuse jest teraz częścią ClickHouse, kolumnowej bazy danych, która już zasilała backend Langfuse. W momencie ogłoszenia potwierdzono, że licencja MIT i open‑source’owa tożsamość pozostają bez zmian.
Langfuse działa jako zarządzana usługa chmurowa z regionami USA, UE i Japonii lub jako self‑hostowana instancja open source bez kosztów licencji.
Czym jest LangSmith?
LangSmith to niezależna od frameworków platforma obserwowalności i ewaluacji zbudowana przez LangChain Inc., zespół stojący za LangChain, LangGraph i Deep Agents. Platforma jest własnościowa i zamknięta. LangChain pozyskał 125 mln USD przy wycenie 1,25 mld USD w październiku 2025.
Jej główne możliwości obejmują śledzenie w ramach przebiegu aplikacji, wizualne debugowanie, automatyczne ewaluacje, monitoring produkcyjny oraz zarządzanie promptami przez Prompt Hub i Playground. W maju 2026 r. LangChain uruchomił SmithDB — warstwę danych w Rust — która teraz obsługuje 100% ingestii chmury LangSmith w USA. SmithDB jest zaprojektowana pod unikalne ładunki danych generowane przez aplikacje LLM i skraca czas ładowania drzewa śledzenia P50 do 92 ms oraz wyszukiwanie pełnotekstowe do 400 ms.
LangSmith jest dostępny jako zarządzana chmura, wdrożenie BYOC (twoja chmura) z danymi w VPC klienta lub self‑hostowane wdrożenie Enterprise. LangChain zapowiedział też, że self‑hostowany LangSmith będzie wspierał BYOK dla Engine — agenta w platformie do wykrywania i naprawiania błędów w aplikacjach LLM.
Open source vs. zarządzany SaaS
Kluczowa różnica między tymi platformami nie brzmi „open source kontra nie‑open source”. Rzeczywista różnica to kontrola i przenośność z jednej strony oraz zarządzane przepływy pracy z drugiej. Langfuse pozwala uruchomić stos na własnej infrastrukturze bez kosztów licencyjnych. LangSmith oferuje zarządzaną chmurę, BYOC i self‑hosting, z głęboką natywną obsługą LangChain, LangGraph i Deep Agents, ale bez wymogu używania tych frameworków.
Jedna aktualizacja zmienia sposób porównania: LangSmith obsługuje śledzenie OpenTelemetry poprzez pakiet langsmith[otel] i zmienną środowiskową LANGSMITH_OTEL_ENABLED=true. To jeden z kilku sposobów używania LangSmith z aplikacjami spoza LangChain.
Tu obie platformy pozycjonują się strukturalnie:
|
Wymiar
|
Langfuse
|
LangSmith
|
|
Model źródłowy
|
Open source (MIT)
|
Własnościowy, zamknięty kod
|
|
Self‑hosting
|
Darmowy self‑hosting MIT; kontrolki korporacyjne płatne
|
Wymagana umowa Enterprise
|
|
Podejście do frameworków
|
Działa między frameworkami; szerokie integracje; natywny OTel
|
Działa między frameworkami; wsparcie OTel
|
|
Suwerenność danych
|
Pełna; możliwe odizolowane wdrożenie
|
Hybrydowe i self‑hostowane dla klientów Enterprise
|
|
Baza danych backendu
|
ClickHouse
|
SmithDB (Rust/DataFusion)
|
|
Model cenowy
|
Opłata jednostkowa (traces + observations + scores)
|
Za użytkownika oraz za ślad, z dwiema warstwami retencji
|
|
Zgodność
|
SOC 2 Type II, ISO 27001, GDPR, HIPAA
|
SOC 2 Type II, GDPR, HIPAA
|
Dalsza część artykułu wyjaśnia, co te różnice oznaczają w praktyce.
Śledzenie i obserwowalność
Przy śledzeniu produkty zaczynają się różnić. Oba rejestrują wywołania LLM, wywołania narzędzi i powiązane metadane, ale przepływy agentowe szybciej ujawniają różnice niż proste aplikacje prompt‑odpowiedź.
Śledzenie żądań
Langfuse buduje hierarchiczne ślady obejmujące wywołania LLM, wywołania narzędzi, embeddingi i kroki wyszukiwania. Możesz filtrować po użytkowniku, sesji, koszcie, latencji lub własnych metadanych. W maju 2026 r. Langfuse dodał wyszukiwanie pełnotekstowe oparte na natywnym FTS ClickHouse, skracając zapytania z ~20 s do poniżej pół sekundy.
LangSmith rejestruje każde wywołanie LLM i użycie narzędzi jako inspekcyjne drzewo przebiegu. Gdy SmithDB obsługuje już całą ingestę w chmurze USA, drzewa śledzenia ładują się w P50 w 92 ms. LangSmith zawiera też niesuperwizowane grupowanie tematyczne, które grupuje ślady według wykrytego motywu i daje punkt wyjścia, gdy nie wiadomo, co jest nie tak.
Widoczność przepływów agentów
Langfuse dodał Agent Graphs w listopadzie 2025 r., wizualizując przepływ wykonywania dla wieloetapowych agentów przez wnioskowanie o strukturze grafu z czasów obserwacji i zagnieżdżeń. Działa z każdym zainstrumentowanym frameworkiem, w tym z natywną obsługą LangGraph. W tym samym czasie dodano Trace Log View, dający płaski strumień kroków agenta dla przepływów z licznymi pętlami lub rozgałęzieniami.
Graf agenta Langfuse dla wykonania LangGraph. Obraz: autor.
Śledzenie LangGraph w LangSmith rejestruje każdy węzeł, krawędź i przejście stanu w przebiegu bez konfiguracji poza ustawieniem zmiennej środowiskowej. LangSmith Studio pozwala przejść krok po kroku przez wykonanie agenta, podejrzeć stan w każdym węźle i odtworzyć ślad z innym modelem lub promptem. W aplikacji LangGraph daje to więcej kontekstu niż ogólne drzewo śledzenia.We wrześniu 2026 r. LangSmith wypuścił Trajectories, które ułatwiają debugowanie śladów i włączanie ich w pętle feedbacku z ekspertami domenowymi.
Drzewo śledzenia LangSmith dla przepływu agenta. Obraz: autor.
Monitoring produkcyjny
W monitoringu produkcyjnym obie platformy śledzą latencję, użycie tokenów, koszty i współczynniki błędów. LangSmith zawiera alerty PagerDuty i webhooki na incydenty produkcyjne, a także przepływy monitoringu powiązane ze śladami i ewaluacjami. Langfuse oferuje alerty wydatków z konfigurowalnymi progami. Na tym poziomie funkcje monitoringu są podobne.
Ewaluacja offline i online
Śledzenie mówi ci, co się stało. Ewaluacja mówi, czy było to dobre. W praktyce te narzędzia są bardziej użyteczne, gdy ewaluacja jest częścią procesu, a nie listą przed premierą.
LLM‑as‑a‑judge i ewaluatory kodowe
LLM‑as‑judge w Langfuse stał się w pełni open source na licencji MIT w czerwcu 2025 r. Każdy self‑hostowany użytkownik od v3.65.0 otrzymuje go bez licencji komercyjnej. W maju 2026 r. Langfuse wprowadził Code Evaluators: funkcje evaluate w Pythonie lub TypeScript, które piszesz bezpośrednio w interfejsie Langfuse. Wykonują deterministyczne sprawdzenia, takie jak walidacja schematu JSON, walidacja regex lub weryfikacja argumentów narzędzi, bez kosztu tokenów i wywołań modelu sędziego.
LangSmith oferuje konfigurowalne ewaluatory LLM‑as‑judge z typami feedbacku Boolean, Categorical i Continuous oraz wbudowanymi szablonami dla Security, Safety i Quality. Wspiera też few‑shot correction, gdzie ręcznie oznaczone korekty wyników ewaluatora są zwrotnie używane jako przykłady few‑shot do poprawy kalibracji ewaluatora w czasie.
Zbiory danych, eksperymenty i adnotacje ludzkie
Ewaluacja offline działa na obu platformach poprzez zbiory danych i porównywanie eksperymentów side‑by‑side. Langfuse dodał Score Analytics w listopadzie 2025 r., aby mierzyć zbieżność ewaluatora w zakresie precision, recall, F1, kosztu i accuracy. Porównanie z bazową wersją (również listopad 2025) pozwala oznaczyć konkretny przebieg jako punkt odniesienia i wykrywać regresje względem niego.
Integracja CI/CD GitHub Actions w Langfuse, wydana w maju 2026 r. przez langfuse/experiment-action, zatrzymuje workflow, gdy wyniki eksperymentów spadają poniżej progu. To zamienia ewaluację w bramkę wdrożeniową zamiast przeglądu po wydaniu.
Pętla ewaluacji Langfuse z GitHub Actions. Obraz: autor.
W konfiguracji ewaluacji LangSmith jest jedno zachowanie rozliczeniowe, które warto zaznaczyć od razu: ewaluatory dodające feedback do śladów mogą podnosić te ślady do wydłużonej retencji. Jak omówię w sekcji cen, zmienia to koszt przepływów ewaluacji.
Wersjonowanie promptów, wdrażanie i testy A/B
Zarządzanie promptami to tu coś więcej niż historia wersji. Przepływ wygląda tak: iterujesz w piaskownicy, testujesz na zbiorze danych, promujesz do produkcji i czytelnie wycofujesz, gdy coś się psuje.
Langfuse nadaje każdej wersji promptu identyfikator wersji i używa etykiet takich jak production i staging do kontrolowania, która wersja jest aktywna. Zmiana etykiety w UI to sposób wdrożenia lub rollbacku. Prompty są buforowane po stronie klienta przez SDK, więc pobranie aktywnej wersji nie dodaje latencji do wywołań produkcyjnych. Chronione etykiety pozwalają adminom ograniczać role, które mogą modyfikować etykietę production, co ma znaczenie przy mieszance kontrybutorów z różnymi poziomami dostępu.
LangSmith zarządza promptami przez Prompt i Context Hub z wersjonowaniem po hashach commitów do programistycznego przypinania dokładnych wersji. Prompt Hub zawiera bibliotekę społecznościową, której Langfuse nie replikuje. Testy A/B przez eksperymenty na zbiorach danych są dostępne na obu platformach.
W tej kategorii produkty są sobie bliższe niż w kwestiach hostingu, cen czy konfiguracji frameworków.
Langfuse vs LangSmith dla aplikacji agentowych
Agenci napędzili sporą część rozwoju funkcji na obu platformach w ostatnim roku. Tu liczy się, w czym agent jest zbudowany.
Langfuse pokazuje dostępne narzędzia, podświetla, które zostały wywołane, oraz prezentuje argumenty i identyfikatory wywołań. Rozszerzone typy obserwacji rozróżniają w widoku śladu wywołania narzędzi, embeddingi i wywołania zabezpieczeń (guardrails). Jak wspomniałem, Code Evaluators mogą też weryfikować argumenty narzędzi względem schematu. Serwer MCP rozszerzono w maju 2026 r. do 15 kategorii narzędzi, dzięki czemu agenci w Claude Code, Cursor czy OpenAI Codex mogą programistycznie odpytywać dane Langfuse.
Punkt o LangGraph z sekcji śledzenia wraca i tutaj. Wsparcie agentów w LangSmith obejmuje inspekcję stanu w każdym węźle, odtwarzanie śladu z alternatywnymi modelami i LangSmith Studio do wizualnego debugowania krok po kroku. Zespół inżynieryjny Monte Carlo, który utrzymuje produkcyjny system z setkami sub‑agentów, wskazał tę bezkonfiguracyjną integrację z LangGraph jako kluczowy powód wyboru.
Dla agentów zbudowanych w CrewAI, Pydantic AI lub innych frameworkach multi‑agentowych Langfuse ma szerszą natywną instrumentację i często wymaga mniej ręcznej konfiguracji.
Integracje frameworków i SDK
Langfuse oferuje szerokie integracje z dostawcami modeli, frameworkami, bramkami, narzędziami no‑code, analityką i narzędziami deweloperskimi. Frameworki obejmują LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex i inne. Platforma jest natywnie zgodna z OpenTelemetry na poziomie SDK.
Natywne SDK LangSmith obejmują Python, TypeScript, Go i Javę. Poza LangChain, LangGraph i Deep Agents działa z OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, własnymi implementacjami i OpenTelemetry. To znaczy, że nie jest to narzędzie śledzące wyłącznie dla LangChain.
Praktyczne pytanie nie brzmi tylko, czy dany framework jest wspierany — bo większość popularnych działa na obu platformach. Chodzi o to, ile instrumentacji musisz napisać.
Langfuse open source vs LangSmith Enterprise
Self‑hosting zmienia obraz operacyjny i zgodności bardziej niż większość kategorii funkcji.
Self‑hosting Langfuse jest darmowy w ramach MIT. Docker Compose sprawdzi się do developmentu lub ewaluacji; wdrożenia produkcyjne zwykle używają Kubernetes z Helm na GKE, EKS lub AKS. Stos obejmuje ClickHouse, PostgreSQL, Redis i magazyn S3‑kompatybilny, z zalecanym minimum VM 4 vCPU i 16 GiB RAM. Licencja oprogramowania nic nie kosztuje, ale infrastruktura i operacje są po twojej stronie. Płatna edycja Enterprise dla self‑hostingu dodaje dedykowane wsparcie, logi audytowe, SCIM i SLA.
W zakresie zgodności Langfuse Cloud ma certyfikacje SOC 2 Type II, ISO 27001, GDPR i HIPAA. LangSmith Cloud ma SOC 2 Type II, GDPR i HIPAA. ISO 27001 nie jest wymienione dla LangSmith. Jeśli twoje zakupy wymagają tego punktu, to konkretna różnica.
Self‑hosting LangSmith wymaga umowy Enterprise. Nie ma otwartego, darmowego wariantu self‑hostingu. Trzy modele wdrożenia (Cloud, Bring‑Your‑Own‑Cloud (BYOC) i Self‑hosted) wchodzą pod parasol Enterprise. SmithDB jest dostępna dla wszystkich metod hostingu.
Ceny Langfuse vs LangSmith
Nagłówkowe ceny nie mówią wszystkiego.
Cenniki w tej kategorii często się zmieniają. Poniższe liczby odzwierciedlają oficjalne strony sprawdzone w czerwcu 2026 r., ale przed budżetowaniem sprawdź bieżące strony cenowe obu platform.
Cennik Langfuse
Langfuse Cloud nalicza opłaty za jednostki: jedna jednostka to jeden ślad (trace), jedna obserwacja (observation) lub jeden wynik (score). Wzór to Units = Traces + Observations + Scores, więc przebieg agenta z dużą liczbą narzędzi może kosztować więcej niż prosty ślad prompt‑odpowiedź. Darmowy plan Hobby obejmuje 50 000 jednostek miesięcznie, 30 dni retencji i dwóch użytkowników. Core kosztuje 29 USD/mies. ze 100 000 jednostek, nielimitowaną liczbą użytkowników i 90 dniami retencji. Pro to 199 USD/mies. z 3‑letnim dostępem do danych i certyfikatami zgodności. Enterprise od 2499 USD/mies. z niestandardową wyceną wolumenową. Nadwyżki zaczynają się od 8 USD za 100 000 dodatkowych jednostek.
Jak wspomniałem, self‑hostowany Langfuse nie ma kosztów licencji. SCIM, logi audytowe i wsparcie korporacyjne wymagają licencji komercyjnej.
Cennik LangSmith
LangSmith nalicza opłaty za użytkownika i za ślad. Plan Developer jest darmowy z 5000 śladów miesięcznie, jednym miejscem i 14‑dniową retencją. Plus kosztuje 39 USD za miejsce/mies. z 10 000 bazowych śladów. Bazowe ślady mają 14‑dniową retencję; ślady z wydłużoną retencją przechowują dane 400 dni i kosztują więcej. Zespół pięciu osób na Plus płaci 195 USD/mies. za miejsca, przed nadwyżkami śladów. Enterprise — wycena niestandardowa.
Mechanika retencji danych
Jak wspomniałem, wydłużona retencja włącza się automatycznie, gdy ewaluatory dodają feedback do śladów. Przeczytaj dokumentację rozliczeń LangSmith o auto‑extended retention przed uruchomieniem potoków ewaluacji.
Te szczegóły mają znaczenie, bo drobne różnice w głębokości śladów, użyciu ewaluatorów i retencji mogą zmienić miesięczny rachunek.
Tabela porównawcza Langfuse vs LangSmith
Jak wspomniałem, główne różnice to własność, dopasowanie do frameworków, przepływy ewaluacji i ceny. Poniższa tabela zbiera te punkty przed końcowymi sekcjami decyzji.
|
Funkcja
|
Langfuse
|
LangSmith
|
|
Open source
|
Tak (MIT)
|
Nie (własnościowy)
|
|
Self‑hosting
|
Darmowy self‑hosting MIT; kontrolki korporacyjne płatne
|
Wymagana umowa Enterprise
|
|
Ewaluacja
|
LLM‑as‑judge (MIT), ewaluatory kodowe, adnotacje ludzkie, CI/CD
|
LLM‑as‑judge, adnotacje ludzkie, ewaluatory online, few‑shot correction
|
|
Zarządzanie promptami
|
Wdrażanie oparte na etykietach, cache w SDK, kompozycja promptów
|
Wersjonowanie po hashach commitów, społecznościowy Prompt Hub
|
|
Ekosystem
|
Szerokie integracje, natywny OTel, działa między frameworkami
|
Działa między frameworkami; wsparcie OTel
|
|
Wsparcie agentów
|
Agent Graphs, Trace Log View, Code Evaluators, serwer MCP
|
LangSmith Studio, natywne śledzenie LangGraph, inspekcja stanu
|
|
Zgodność
|
SOC 2 Type II, ISO 27001, GDPR, HIPAA
|
SOC 2 Type II, GDPR, HIPAA
|
|
Model cenowy
|
Opłata za jednostki; nielimitowani użytkownicy w planach płatnych
|
Za użytkownika + za ślad; dwie warstwy retencji
|
|
Dopasowanie
|
Suwerenność danych, stosy poza LangChain, ewaluacja CI/CD
|
Zespoły LangGraph, preferencja dla zarządzanego SaaS
|
Po pierwsze: nie skupiaj się tylko na śledzeniu. Śledzenie mówi, co się stało, ale ewaluacja mówi, czy wynik jest dobry. Jeśli wybierasz na podstawie samej wizualizacji śladu, używasz złego kryterium.
Po drugie: obserwuj mechanikę cen. Jak wyżej, w Langfuse koszty rosną wraz z głębokością śladu, a w LangSmith wydłużona retencja może zmienić koszt automatycznej ewaluacji. Policz to przed produkcją.
Po trzecie, self‑hosting nie oznacza tego samego w obu produktach. Sekcja o self‑hostingu powyżej pokazuje dlaczego. Jeśli suwerenność danych jest twardym wymaganiem, ta różnica może zadecydować.
Na koniec, nie decyduj wyłącznie po kompatybilności z frameworkiem. Obie platformy wspierają wiele stosów aplikacyjnych, a stosy się zmieniają. Wymagania wdrożeniowe i przepływy ewaluacji trudniej później podmienić.
Kiedy wybrać Langfuse
Bazując na powyższych kompromisach, Langfuse lepiej pasuje, gdy:
- Twój zespół chce natywnych integracji dla frameworków, takich jak CrewAI, Pydantic AI, LlamaIndex lub bezpośrednie wywołania API do OpenAI czy Anthropic.
- Suwerenność danych jest nie do negocjacji, a wejścia, wyjścia i ślady LLM muszą pozostać na twojej infrastrukturze.
- Twój zespół chce ewaluacji zintegrowanej z CI/CD z automatycznymi bramkami regresji przez GitHub Actions.
- Potrzebujesz przewidywalnych kosztów dla rosnącego zespołu, bo płatne plany Cloud obejmują nielimitowanych użytkowników.
Kiedy wybrać LangSmith
W oparciu o te same kompromisy, LangSmith lepiej pasuje, gdy:
- Chcesz niezależnej od modeli i frameworków platformy do obserwowalności, ewaluacji, debugowania i monitoringu produkcyjnego w aplikacjach LLM, ze szczególnie głęboką obsługą frameworków LangChain.
- Twój zespół chce zarządzanej platformy wspierającej cały cykl ulepszania agentów.
- Chcesz bardzo wydajnej bazy danych dla śladów, którą możesz wdrożyć na preferowanej infrastrukturze
- Twoje potrzeby wykraczają poza obserwowalność — o LangSmith jako szerszą platformę, w tym ewaluację, monitoring produkcyjny, serwer agentów i LLM Gateway.
- Chcesz, by ślady, zbiory danych, eksperymenty, ewaluacje online, feedback ludzki i monitoring produkcyjny były połączone w jednym przepływie.
Wnioski
Langfuse i LangSmith rozwiązują realny problem i obie mocno się zmieniły w ostatnim roku. Na tym etapie kompromis jest jasny.
Decyzja nie dotyczy tego, która platforma ma więcej funkcji. Chodzi o kompromis właśności i ekosystemu z wcześniejszej części. Czy potrzebujesz ścieżki open source z bezpośrednią kontrolą nad stosem danych, czy chcesz zarządzanej platformy zintegrowanej z obserwowalnością, ewaluacją i przepływami produkcyjnymi?
Jedno zastrzeżenie przed decyzją: obie platformy często się zmieniają. Sprawdź changelogi zanim się zobowiążesz.
Dla powiązanego tła o ekosystemie LangChain zobacz nasz tutorial LangChain vs LangGraph vs LangSmith vs LangFlow.
Gdy chatbot zaczyna dawać złe odpowiedzi, odruchowo sprawdzasz prompt. To działa przy pojedynczym wywołaniu LLM. Przestaje, gdy aplikacja to agent wykonujący wywołania narzędzi.
Właśnie ten brakujący kontekst próbują dostarczyć platformy obserwowalności LLM. To nie są tradycyjne narzędzia monitorowania aplikacji. Klasyczne narzędzie mówi ci o latencjach i wskaźnikach błędów. Platforma obserwowalności LLM mówi ci, które wywołanie narzędzia zwróciło zły wynik i czy zmiana promptu poprawiła jakość odpowiedzi.
Zarówno Langfuse, jak i LangSmith obejmują śledzenie, ewaluację i zarządzanie promptami, a na początku 2026 roku obie doczekały się dużych aktualizacji. Nie są jednak zamienne. Różnice sprowadzają się do wymagań wdrożeniowych, stosu technologicznego i tego, jak twój zespół przeprowadza ewaluacje.
Krótka odpowiedź: Langfuse pasuje do zespołów, które potrzebują otwartego źródła do self‑hostingu, kontroli nad danymi lub stosu poza LangChain. LangSmith pasuje do zespołów szukających niezależnej od frameworków platformy z wbudowaną obserwowalnością, ewaluacją, debugowaniem i przepływami produkcyjnymi dla aplikacji LLM. Jeśli żaden z tych warunków nie jest spełniony, przejrzałbym ceny.
Czym są Langfuse i LangSmith?
W dużym skrócie, oba produkty sprawiają, że aplikacje LLM są obserwowalne, testowalne i możliwe do debugowania. Oto, czym jest każdy z nich.
Langfuse kontra LangSmith — przegląd pozycjonowania platform. Obraz: autor.
Czym jest Langfuse?
Langfuse to open‑source’owa platforma inżynierii LLM uruchomiona w 2023 r. Obejmuje śledzenie, zarządzanie promptami, ewaluację (LLM‑as‑judge, adnotacje ludzkie i testy kodowe), eksperymenty na zbiorach danych oraz monitorowanie kosztów i latencji. Rdzeń open source jest licencjonowany na MIT.
W styczniu 2026 r. ClickHouse ogłosił rundę Serii D o wartości 400 mln USD i przejął Langfuse. Langfuse jest teraz częścią ClickHouse, kolumnowej bazy danych, która już zasilała backend Langfuse. W momencie ogłoszenia potwierdzono, że licencja MIT i open‑source’owa tożsamość pozostają bez zmian.
Langfuse działa jako zarządzana usługa chmurowa z regionami USA, UE i Japonii lub jako self‑hostowana instancja open source bez kosztów licencji.
Czym jest LangSmith?
LangSmith to niezależna od frameworków platforma obserwowalności i ewaluacji zbudowana przez LangChain Inc., zespół stojący za LangChain, LangGraph i Deep Agents. Platforma jest własnościowa i zamknięta. LangChain pozyskał 125 mln USD przy wycenie 1,25 mld USD w październiku 2025.
Jej główne możliwości obejmują śledzenie w ramach przebiegu aplikacji, wizualne debugowanie, automatyczne ewaluacje, monitoring produkcyjny oraz zarządzanie promptami przez Prompt Hub i Playground. W maju 2026 r. LangChain uruchomił SmithDB — warstwę danych w Rust — która teraz obsługuje 100% ingestii chmury LangSmith w USA. SmithDB jest zaprojektowana pod unikalne ładunki danych generowane przez aplikacje LLM i skraca czas ładowania drzewa śledzenia P50 do 92 ms oraz wyszukiwanie pełnotekstowe do 400 ms.
LangSmith jest dostępny jako zarządzana chmura, wdrożenie BYOC (twoja chmura) z danymi w VPC klienta lub self‑hostowane wdrożenie Enterprise. LangChain zapowiedział też, że self‑hostowany LangSmith będzie wspierał BYOK dla Engine — agenta w platformie do wykrywania i naprawiania błędów w aplikacjach LLM.
Open source vs. zarządzany SaaS
Kluczowa różnica między tymi platformami nie brzmi „open source kontra nie‑open source”. Rzeczywista różnica to kontrola i przenośność z jednej strony oraz zarządzane przepływy pracy z drugiej. Langfuse pozwala uruchomić stos na własnej infrastrukturze bez kosztów licencyjnych. LangSmith oferuje zarządzaną chmurę, BYOC i self‑hosting, z głęboką natywną obsługą LangChain, LangGraph i Deep Agents, ale bez wymogu używania tych frameworków.
Jedna aktualizacja zmienia sposób porównania: LangSmith obsługuje śledzenie OpenTelemetry poprzez pakiet
langsmith[otel]i zmienną środowiskowąLANGSMITH_OTEL_ENABLED=true. To jeden z kilku sposobów używania LangSmith z aplikacjami spoza LangChain.Tu obie platformy pozycjonują się strukturalnie:
Wymiar
Langfuse
LangSmith
Model źródłowy
Open source (MIT)
Własnościowy, zamknięty kod
Self‑hosting
Darmowy self‑hosting MIT; kontrolki korporacyjne płatne
Wymagana umowa Enterprise
Podejście do frameworków
Działa między frameworkami; szerokie integracje; natywny OTel
Działa między frameworkami; wsparcie OTel
Suwerenność danych
Pełna; możliwe odizolowane wdrożenie
Hybrydowe i self‑hostowane dla klientów Enterprise
Baza danych backendu
ClickHouse
SmithDB (Rust/DataFusion)
Model cenowy
Opłata jednostkowa (traces + observations + scores)
Za użytkownika oraz za ślad, z dwiema warstwami retencji
Zgodność
SOC 2 Type II, ISO 27001, GDPR, HIPAA
SOC 2 Type II, GDPR, HIPAA
Dalsza część artykułu wyjaśnia, co te różnice oznaczają w praktyce.
Śledzenie i obserwowalność
Przy śledzeniu produkty zaczynają się różnić. Oba rejestrują wywołania LLM, wywołania narzędzi i powiązane metadane, ale przepływy agentowe szybciej ujawniają różnice niż proste aplikacje prompt‑odpowiedź.
Śledzenie żądań
Langfuse buduje hierarchiczne ślady obejmujące wywołania LLM, wywołania narzędzi, embeddingi i kroki wyszukiwania. Możesz filtrować po użytkowniku, sesji, koszcie, latencji lub własnych metadanych. W maju 2026 r. Langfuse dodał wyszukiwanie pełnotekstowe oparte na natywnym FTS ClickHouse, skracając zapytania z ~20 s do poniżej pół sekundy.
LangSmith rejestruje każde wywołanie LLM i użycie narzędzi jako inspekcyjne drzewo przebiegu. Gdy SmithDB obsługuje już całą ingestę w chmurze USA, drzewa śledzenia ładują się w P50 w 92 ms. LangSmith zawiera też niesuperwizowane grupowanie tematyczne, które grupuje ślady według wykrytego motywu i daje punkt wyjścia, gdy nie wiadomo, co jest nie tak.
Widoczność przepływów agentów
Langfuse dodał Agent Graphs w listopadzie 2025 r., wizualizując przepływ wykonywania dla wieloetapowych agentów przez wnioskowanie o strukturze grafu z czasów obserwacji i zagnieżdżeń. Działa z każdym zainstrumentowanym frameworkiem, w tym z natywną obsługą LangGraph. W tym samym czasie dodano Trace Log View, dający płaski strumień kroków agenta dla przepływów z licznymi pętlami lub rozgałęzieniami.
Graf agenta Langfuse dla wykonania LangGraph. Obraz: autor.
Śledzenie LangGraph w LangSmith rejestruje każdy węzeł, krawędź i przejście stanu w przebiegu bez konfiguracji poza ustawieniem zmiennej środowiskowej. LangSmith Studio pozwala przejść krok po kroku przez wykonanie agenta, podejrzeć stan w każdym węźle i odtworzyć ślad z innym modelem lub promptem. W aplikacji LangGraph daje to więcej kontekstu niż ogólne drzewo śledzenia.We wrześniu 2026 r. LangSmith wypuścił Trajectories, które ułatwiają debugowanie śladów i włączanie ich w pętle feedbacku z ekspertami domenowymi.
Drzewo śledzenia LangSmith dla przepływu agenta. Obraz: autor.
Monitoring produkcyjny
W monitoringu produkcyjnym obie platformy śledzą latencję, użycie tokenów, koszty i współczynniki błędów. LangSmith zawiera alerty PagerDuty i webhooki na incydenty produkcyjne, a także przepływy monitoringu powiązane ze śladami i ewaluacjami. Langfuse oferuje alerty wydatków z konfigurowalnymi progami. Na tym poziomie funkcje monitoringu są podobne.
Ewaluacja offline i online
Śledzenie mówi ci, co się stało. Ewaluacja mówi, czy było to dobre. W praktyce te narzędzia są bardziej użyteczne, gdy ewaluacja jest częścią procesu, a nie listą przed premierą.
LLM‑as‑a‑judge i ewaluatory kodowe
LLM‑as‑judge w Langfuse stał się w pełni open source na licencji MIT w czerwcu 2025 r. Każdy self‑hostowany użytkownik od v3.65.0 otrzymuje go bez licencji komercyjnej. W maju 2026 r. Langfuse wprowadził Code Evaluators: funkcje
evaluatew Pythonie lub TypeScript, które piszesz bezpośrednio w interfejsie Langfuse. Wykonują deterministyczne sprawdzenia, takie jak walidacja schematu JSON, walidacja regex lub weryfikacja argumentów narzędzi, bez kosztu tokenów i wywołań modelu sędziego.LangSmith oferuje konfigurowalne ewaluatory LLM‑as‑judge z typami feedbacku Boolean, Categorical i Continuous oraz wbudowanymi szablonami dla Security, Safety i Quality. Wspiera też few‑shot correction, gdzie ręcznie oznaczone korekty wyników ewaluatora są zwrotnie używane jako przykłady few‑shot do poprawy kalibracji ewaluatora w czasie.
Zbiory danych, eksperymenty i adnotacje ludzkie
Ewaluacja offline działa na obu platformach poprzez zbiory danych i porównywanie eksperymentów side‑by‑side. Langfuse dodał Score Analytics w listopadzie 2025 r., aby mierzyć zbieżność ewaluatora w zakresie precision, recall, F1, kosztu i accuracy. Porównanie z bazową wersją (również listopad 2025) pozwala oznaczyć konkretny przebieg jako punkt odniesienia i wykrywać regresje względem niego.
Integracja CI/CD GitHub Actions w Langfuse, wydana w maju 2026 r. przez
langfuse/experiment-action, zatrzymuje workflow, gdy wyniki eksperymentów spadają poniżej progu. To zamienia ewaluację w bramkę wdrożeniową zamiast przeglądu po wydaniu.Pętla ewaluacji Langfuse z GitHub Actions. Obraz: autor.
W konfiguracji ewaluacji LangSmith jest jedno zachowanie rozliczeniowe, które warto zaznaczyć od razu: ewaluatory dodające feedback do śladów mogą podnosić te ślady do wydłużonej retencji. Jak omówię w sekcji cen, zmienia to koszt przepływów ewaluacji.
Wersjonowanie promptów, wdrażanie i testy A/B
Zarządzanie promptami to tu coś więcej niż historia wersji. Przepływ wygląda tak: iterujesz w piaskownicy, testujesz na zbiorze danych, promujesz do produkcji i czytelnie wycofujesz, gdy coś się psuje.
Langfuse nadaje każdej wersji promptu identyfikator wersji i używa etykiet takich jak
productionistagingdo kontrolowania, która wersja jest aktywna. Zmiana etykiety w UI to sposób wdrożenia lub rollbacku. Prompty są buforowane po stronie klienta przez SDK, więc pobranie aktywnej wersji nie dodaje latencji do wywołań produkcyjnych. Chronione etykiety pozwalają adminom ograniczać role, które mogą modyfikować etykietęproduction, co ma znaczenie przy mieszance kontrybutorów z różnymi poziomami dostępu.LangSmith zarządza promptami przez Prompt i Context Hub z wersjonowaniem po hashach commitów do programistycznego przypinania dokładnych wersji. Prompt Hub zawiera bibliotekę społecznościową, której Langfuse nie replikuje. Testy A/B przez eksperymenty na zbiorach danych są dostępne na obu platformach.
W tej kategorii produkty są sobie bliższe niż w kwestiach hostingu, cen czy konfiguracji frameworków.
Langfuse vs LangSmith dla aplikacji agentowych
Agenci napędzili sporą część rozwoju funkcji na obu platformach w ostatnim roku. Tu liczy się, w czym agent jest zbudowany.
Langfuse pokazuje dostępne narzędzia, podświetla, które zostały wywołane, oraz prezentuje argumenty i identyfikatory wywołań. Rozszerzone typy obserwacji rozróżniają w widoku śladu wywołania narzędzi, embeddingi i wywołania zabezpieczeń (guardrails). Jak wspomniałem, Code Evaluators mogą też weryfikować argumenty narzędzi względem schematu. Serwer MCP rozszerzono w maju 2026 r. do 15 kategorii narzędzi, dzięki czemu agenci w Claude Code, Cursor czy OpenAI Codex mogą programistycznie odpytywać dane Langfuse.
Punkt o LangGraph z sekcji śledzenia wraca i tutaj. Wsparcie agentów w LangSmith obejmuje inspekcję stanu w każdym węźle, odtwarzanie śladu z alternatywnymi modelami i LangSmith Studio do wizualnego debugowania krok po kroku. Zespół inżynieryjny Monte Carlo, który utrzymuje produkcyjny system z setkami sub‑agentów, wskazał tę bezkonfiguracyjną integrację z LangGraph jako kluczowy powód wyboru.
Dla agentów zbudowanych w CrewAI, Pydantic AI lub innych frameworkach multi‑agentowych Langfuse ma szerszą natywną instrumentację i często wymaga mniej ręcznej konfiguracji.
Integracje frameworków i SDK
Langfuse oferuje szerokie integracje z dostawcami modeli, frameworkami, bramkami, narzędziami no‑code, analityką i narzędziami deweloperskimi. Frameworki obejmują LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex i inne. Platforma jest natywnie zgodna z OpenTelemetry na poziomie SDK.
Natywne SDK LangSmith obejmują Python, TypeScript, Go i Javę. Poza LangChain, LangGraph i Deep Agents działa z OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, własnymi implementacjami i OpenTelemetry. To znaczy, że nie jest to narzędzie śledzące wyłącznie dla LangChain.
Praktyczne pytanie nie brzmi tylko, czy dany framework jest wspierany — bo większość popularnych działa na obu platformach. Chodzi o to, ile instrumentacji musisz napisać.
Langfuse open source vs LangSmith Enterprise
Self‑hosting zmienia obraz operacyjny i zgodności bardziej niż większość kategorii funkcji.
Self‑hosting Langfuse jest darmowy w ramach MIT. Docker Compose sprawdzi się do developmentu lub ewaluacji; wdrożenia produkcyjne zwykle używają Kubernetes z Helm na GKE, EKS lub AKS. Stos obejmuje ClickHouse, PostgreSQL, Redis i magazyn S3‑kompatybilny, z zalecanym minimum VM 4 vCPU i 16 GiB RAM. Licencja oprogramowania nic nie kosztuje, ale infrastruktura i operacje są po twojej stronie. Płatna edycja Enterprise dla self‑hostingu dodaje dedykowane wsparcie, logi audytowe, SCIM i SLA.
W zakresie zgodności Langfuse Cloud ma certyfikacje SOC 2 Type II, ISO 27001, GDPR i HIPAA. LangSmith Cloud ma SOC 2 Type II, GDPR i HIPAA. ISO 27001 nie jest wymienione dla LangSmith. Jeśli twoje zakupy wymagają tego punktu, to konkretna różnica.
Self‑hosting LangSmith wymaga umowy Enterprise. Nie ma otwartego, darmowego wariantu self‑hostingu. Trzy modele wdrożenia (Cloud, Bring‑Your‑Own‑Cloud (BYOC) i Self‑hosted) wchodzą pod parasol Enterprise. SmithDB jest dostępna dla wszystkich metod hostingu.
Ceny Langfuse vs LangSmith
Nagłówkowe ceny nie mówią wszystkiego.
Cenniki w tej kategorii często się zmieniają. Poniższe liczby odzwierciedlają oficjalne strony sprawdzone w czerwcu 2026 r., ale przed budżetowaniem sprawdź bieżące strony cenowe obu platform.
Cennik Langfuse
Langfuse Cloud nalicza opłaty za jednostki: jedna jednostka to jeden ślad (trace), jedna obserwacja (observation) lub jeden wynik (score). Wzór to
Units = Traces + Observations + Scores, więc przebieg agenta z dużą liczbą narzędzi może kosztować więcej niż prosty ślad prompt‑odpowiedź. Darmowy plan Hobby obejmuje 50 000 jednostek miesięcznie, 30 dni retencji i dwóch użytkowników. Core kosztuje 29 USD/mies. ze 100 000 jednostek, nielimitowaną liczbą użytkowników i 90 dniami retencji. Pro to 199 USD/mies. z 3‑letnim dostępem do danych i certyfikatami zgodności. Enterprise od 2499 USD/mies. z niestandardową wyceną wolumenową. Nadwyżki zaczynają się od 8 USD za 100 000 dodatkowych jednostek.Jak wspomniałem, self‑hostowany Langfuse nie ma kosztów licencji. SCIM, logi audytowe i wsparcie korporacyjne wymagają licencji komercyjnej.
Cennik LangSmith
LangSmith nalicza opłaty za użytkownika i za ślad. Plan Developer jest darmowy z 5000 śladów miesięcznie, jednym miejscem i 14‑dniową retencją. Plus kosztuje 39 USD za miejsce/mies. z 10 000 bazowych śladów. Bazowe ślady mają 14‑dniową retencję; ślady z wydłużoną retencją przechowują dane 400 dni i kosztują więcej. Zespół pięciu osób na Plus płaci 195 USD/mies. za miejsca, przed nadwyżkami śladów. Enterprise — wycena niestandardowa.
Mechanika retencji danych
Jak wspomniałem, wydłużona retencja włącza się automatycznie, gdy ewaluatory dodają feedback do śladów. Przeczytaj dokumentację rozliczeń LangSmith o auto‑extended retention przed uruchomieniem potoków ewaluacji.
Te szczegóły mają znaczenie, bo drobne różnice w głębokości śladów, użyciu ewaluatorów i retencji mogą zmienić miesięczny rachunek.
Tabela porównawcza Langfuse vs LangSmith
Jak wspomniałem, główne różnice to własność, dopasowanie do frameworków, przepływy ewaluacji i ceny. Poniższa tabela zbiera te punkty przed końcowymi sekcjami decyzji.
Funkcja
Langfuse
LangSmith
Open source
Tak (MIT)
Nie (własnościowy)
Self‑hosting
Darmowy self‑hosting MIT; kontrolki korporacyjne płatne
Wymagana umowa Enterprise
Ewaluacja
LLM‑as‑judge (MIT), ewaluatory kodowe, adnotacje ludzkie, CI/CD
LLM‑as‑judge, adnotacje ludzkie, ewaluatory online, few‑shot correction
Zarządzanie promptami
Wdrażanie oparte na etykietach, cache w SDK, kompozycja promptów
Wersjonowanie po hashach commitów, społecznościowy Prompt Hub
Ekosystem
Szerokie integracje, natywny OTel, działa między frameworkami
Działa między frameworkami; wsparcie OTel
Wsparcie agentów
Agent Graphs, Trace Log View, Code Evaluators, serwer MCP
LangSmith Studio, natywne śledzenie LangGraph, inspekcja stanu
Zgodność
SOC 2 Type II, ISO 27001, GDPR, HIPAA
SOC 2 Type II, GDPR, HIPAA
Model cenowy
Opłata za jednostki; nielimitowani użytkownicy w planach płatnych
Za użytkownika + za ślad; dwie warstwy retencji
Dopasowanie
Suwerenność danych, stosy poza LangChain, ewaluacja CI/CD
Zespoły LangGraph, preferencja dla zarządzanego SaaS
Błędy przy wyborze platformy obserwowalności LLM
Po pierwsze: nie skupiaj się tylko na śledzeniu. Śledzenie mówi, co się stało, ale ewaluacja mówi, czy wynik jest dobry. Jeśli wybierasz na podstawie samej wizualizacji śladu, używasz złego kryterium.
Po drugie: obserwuj mechanikę cen. Jak wyżej, w Langfuse koszty rosną wraz z głębokością śladu, a w LangSmith wydłużona retencja może zmienić koszt automatycznej ewaluacji. Policz to przed produkcją.
Po trzecie, self‑hosting nie oznacza tego samego w obu produktach. Sekcja o self‑hostingu powyżej pokazuje dlaczego. Jeśli suwerenność danych jest twardym wymaganiem, ta różnica może zadecydować.
Na koniec, nie decyduj wyłącznie po kompatybilności z frameworkiem. Obie platformy wspierają wiele stosów aplikacyjnych, a stosy się zmieniają. Wymagania wdrożeniowe i przepływy ewaluacji trudniej później podmienić.
Kiedy wybrać Langfuse
Bazując na powyższych kompromisach, Langfuse lepiej pasuje, gdy:
Kiedy wybrać LangSmith
W oparciu o te same kompromisy, LangSmith lepiej pasuje, gdy:
Wnioski
Langfuse i LangSmith rozwiązują realny problem i obie mocno się zmieniły w ostatnim roku. Na tym etapie kompromis jest jasny.
Decyzja nie dotyczy tego, która platforma ma więcej funkcji. Chodzi o kompromis właśności i ekosystemu z wcześniejszej części. Czy potrzebujesz ścieżki open source z bezpośrednią kontrolą nad stosem danych, czy chcesz zarządzanej platformy zintegrowanej z obserwowalnością, ewaluacją i przepływami produkcyjnymi?
Jedno zastrzeżenie przed decyzją: obie platformy często się zmieniają. Sprawdź changelogi zanim się zobowiążesz.
Dla powiązanego tła o ekosystemie LangChain zobacz nasz tutorial LangChain vs LangGraph vs LangSmith vs LangFlow.