Langfuse vs. LangSmith: LLM Gözlemlenebilirlik Platformlarının Karşılaştırması

Bir sohbet botu kötü yanıtlar vermeye başladığında, ilk içgüdü prompt’u kontrol etmektir. Bu, tek bir LLM çağrısı için işe yarar. Uygulama araç çağrıları yapan bir ajan olduğunda işe yaramaz.

Eksik bağlamı sağlayan şey, LLM gözlemlenebilirlik platformlarıdır. Bunlar geleneksel uygulama izleme araçları değildir. Geleneksel bir araç, size gecikme ve hata oranlarından bahseder. Bir LLM gözlemlenebilirlik platformu ise hangi araç çağrısının kötü sonuç verdiğini ve bir prompt değişikliğinin çıktı kalitesini iyileştirip iyileştirmediğini gösterir.

Hem Langfuse hem de LangSmith izleme, değerlendirme ve prompt yönetimini kapsar ve her ikisi de 2026’nın başında büyük güncellemeler yayınladı. Ancak birbirlerinin yerine tam olarak geçemezler. Fark; dağıtım gereksinimleri, teknoloji yığını ve ekibinizin değerlendirmeleri nasıl yürüttüğü noktasında ortaya çıkar.

Kısa cevap: Langfuse; açık kaynak kendi altyapınızda barındırma, veri kontrolü veya LangChain dışındaki bir yığına ihtiyaç duyan ekipler için uygundur. LangSmith; LLM uygulamaları için çerçeve bağımsız, gözlemlenebilirlik, değerlendirme, hata ayıklama ve üretim iş akışlarını entegre sunan bir platform isteyen ekipler için uygundur. Bu iki koşul da sizin için geçerli değilse, fiyatlandırmaya bakardım.

Langfuse ve LangSmith Nedir?

Genel düzeyde, her iki ürün de LLM uygulamalarını gözlemlenebilir, test edilebilir ve hata ayıklanabilir hale getirir. Her biri kısaca şöyle:

Langfuse ve LangSmith platform konumlandırma genel bakışı. Görsel: Yazar.

Langfuse nedir?

Langfuse, 2023’te piyasaya çıkan açık kaynak bir LLM mühendislik platformudur. İzleme, prompt yönetimi, değerlendirme (hakem olarak LLM, insan anotasyonu ve kod tabanlı kontroller), veri kümesi deneyleri ile maliyet ve gecikme takibini kapsar. Çekirdek açık kaynak ürün MIT lisanslıdır.

Ocak 2026’da ClickHouse, 400 milyon dolarlık Seri D turunu açıkladı ve Langfuse’u satın aldı. Langfuse artık, Langfuse arka ucunu zaten güçlendiren sütunlu veritabanı ClickHouse’un bir parçası. MIT lisansı ve açık kaynak kimliği, o tarihte değişmeden korunduğu teyit edildi.

Langfuse; ABD, AB ve Japonya bölgeleriyle yönetilen bulut hizmeti olarak veya yazılım lisans maliyeti olmadan kendi altyapınızda açık kaynak kurulum olarak çalışır.

LangSmith nedir?

LangSmith, LangChain, LangGraph ve Deep Agents arkasındaki ekip LangChain Inc. tarafından geliştirilen, çerçeve bağımsız bir gözlemlenebilirlik ve değerlendirme platformudur. Platform tescillidir ve kapalı kaynaktır. LangChain, Ekim 2025’te 1,25 milyar dolar değerleme ile 125 milyon dolar topladı.

Başlıca yetenekleri; bir uygulama çalışması boyunca izleme, görsel hata ayıklama, otomatik değerlendirmeler, üretim izleme ve Prompt Hub ile Playground üzerinden prompt yönetimini içerir. Mayıs 2026’da LangChain, artık LangSmith’in ABD Bulutu alımlarının %100’ünü işleyen, Rust tabanlı bir veri katmanı olan SmithDB’yi kullanıma sundu. SmithDB, LLM uygulamalarının ürettiği benzersiz veri yükleri için tasarlanmıştır ve P50 iz ağaç yükleme süresini 92 milisaniyeye, tam metin aramayı 400 milisaniyeye düşürür.

LangSmith; yönetilen bulut hizmeti, verilerin müşterinin VPC’sinde bulunduğu kendi bulutunu getir (BYOC) dağıtımı veya kendi altyapınızda Kurumsal dağıtım olarak sunulur. LangChain ayrıca, kendi altyapınızda çalışan LangSmith’in, LLM uygulamalarındaki hataları bulup düzeltmek için platform içi ajanı olan Engine için kendi anahtarını getir (BYOK) desteği sunacağını duyurdu.

Açık Kaynak vs. Yönetilen SaaS

İki platform arasındaki temel fark “açık kaynak ve açık olmayan” değildir. Gerçek fark; bir yanda kontrol ve taşınabilirlik, diğer yanda yönetilen iş akışlarıdır. Langfuse, lisans maliyeti olmadan yığını kendi altyapınızda çalıştırmanıza olanak tanır. LangSmith; yönetilen bulut, BYOC ve kendi altyapınızda barındırma seçenekleri sunar; LangChain, LangGraph ve Deep Agents için derin yerel destek sunar, ancak bu çerçeveleri kullanma zorunluluğu yoktur.

Bu karşılaştırmanın çerçevesini değiştiren bir güncelleme var: LangSmith artık langsmith[otel] paketi ve LANGSMITH_OTEL_ENABLED=true ortam değişkeniyle OpenTelemetry izlemeyi destekliyor. Bu, ekiplerin LangSmith’i LangChain dışı uygulamalarla kullanabileceği yollardan sadece biri.

İki platformun yapısal olarak konumları şu şekilde:

Makalenin geri kalanında bu farkların pratikte ne anlama geldiğini açıyorum.

İzleme ve Gözlemlenebilirlik

Ürünler izleme tarafında ayrışmaya başlar. Her ikisi de LLM çağrılarını, araç çağrılarını ve ilgili metaveriyi yakalar, ancak ajan iş akışları, basit prompt-yanıt uygulamalarından daha hızlı şekilde farkları ortaya çıkarır.

İstek izleme

Langfuse, LLM çağrılarını, araç tetiklemelerini, gömlemeleri ve getirme adımlarını yakalayan hiyerarşik izler oluşturur. Kullanıcıya, oturuma, maliyete, gecikmeye veya özel metaveriye göre filtreleyebilirsiniz. Mayıs 2026’da Langfuse, ClickHouse’un yerel FTS motoruyla desteklenen tam metin aramayı ekledi; yaklaşıp 20 saniye süren aramaları yarım saniyenin altına indirdi.

LangSmith, her LLM çağrısını ve araç kullanımını incelenebilir bir çalışma ağacı olarak yakalar. ABD Bulutu alımlarının tamamını artık SmithDB işlediğinden, iz ağaçları P50’de 92 milisaniyede yüklenir. LangSmith ayrıca denetimsiz konu kümelendirmesi içerir; izleri tespit edilen temaya göre gruplar ve ekiplerin neyin yanlış gittiğine dair hiçbir fikri olmadığında bir başlangıç noktası sunar.

Ajan iş akışı görünürlüğü

Langfuse, Kasım 2025’te Agent Graphs’i ekledi; çok adımlı ajanlar için, gözlem zamanlamaları ve iç içe geçmelerden grafik yapısını çıkararak yürütme akışını görselleştirir. Herhangi bir enstrümante edilmiş çerçeveyle çalışır; yerel LangGraph desteği dahildir. Aynı dönemde, yoğun döngüleyen veya dallanan iş akışları için ajan adımlarının düz bir akışını sunan Trace Log View eklendi.

LangGraph yürütmesi için Langfuse ajan grafiği. Görsel: Yazar.

LangSmith’in LangGraph izlemesi, bir çalışmada her düğümü, kenarı ve durum geçişini, bir ortam değişkenini ayarlamak dışında sıfır yapılandırmayla yakalar. LangSmith Studio, ajan yürütmesini adım adım izlemenize, her düğümdeki durumu incelemenize ve bir izi farklı bir model veya prompt ile yeniden oynatmanıza olanak tanır. Bir LangGraph uygulamasında bu, genel bir iz ağacından daha fazla bağlam sunar.Eylül 2026’da LangSmith, izleri konu uzmanlarıyla geri bildirim döngülerine dahil etmeyi ve hata ayıklamayı kolaylaştıran Trajectories özelliğini yayınladı.

Ajan iş akışı için LangSmith iz ağacı. Görsel: Yazar.

Üretim izleme

Üretim izlemede her iki platform da gecikme, token kullanımı, maliyet ve hata oranlarını takip eder. LangSmith, üretim olayları için PagerDuty ve webhook uyarılarını, ayrıca izlere ve değerlendirmelere bağlı izleme iş akışlarını içerir. Langfuse, yapılandırılabilir eşiklerle harcama uyarıları içerir. Bu düzeyde, izleme özellikleri benzerdir.

Çevrimdışı ve Çevrimiçi Değerlendirme

İzleme size ne olduğunu söyler. Değerlendirme bunun iyi olup olmadığını söyler. Pratikte bu araçlar, değerlendirme iş akışının bir parçası olduğunda daha kullanışlıdır; lansman öncesi kontrol listesi olduğunda değil.

Hakem olarak LLM ve kod değerlendiriciler

Langfuse’un hakem olarak LLM özelliği, Haziran 2025’te tamamen MIT altında açık kaynak oldu. v3.65.0 veya üzeri kendi altyapısında kurulum kullanan herkes, ticari lisans olmadan bunu alır. Mayıs 2026’da Langfuse, Kod Değerlendiricileri’ni yayınladı: Langfuse arayüzünde doğrudan yazdığınız Python veya TypeScript evaluate fonksiyonları. Bunlar; JSON şema doğrulama, regex doğrulama veya araç argümanı doğrulama gibi belirleyici kontrolleri, token maliyeti veya hakem modeli çağrısı olmadan çalıştırır.

LangSmith; Mantıksal, Kategorik ve Sürekli geri bildirim türleriyle yapılandırılabilir hakem olarak LLM değerlendiricileri ve Güvenlik, Emniyet ve Kalite için yerleşik şablonlar sunar. Ayrıca, değerlendirici çıktılarındaki insan etiketli düzeltmelerin, zamanla değerlendiricinin kalibrasyonunu iyileştirmek için birkaç örnekli örnekler olarak geri beslendiği few-shot düzeltmeyi destekler.

Veri kümeleri, deneyler ve insan anotasyonu

Çevrimdışı değerlendirme, her iki platformda da veri kümeleri ve yan yana deney karşılaştırmasıyla çalışır. Langfuse, Kasım 2025’te değerlendirici hizalamasını kesinlik, duyarlılık, F1, maliyet ve doğruluk üzerinden ölçen Score Analytics’i ekledi. Yine Kasım 2025’te gelen temel karşılaştırma, belirli bir çalışmayı referans noktası olarak işaretlemenize ve buna göre gerilemeleri yüzeye çıkarmanıza olanak tanır.

Langfuse’un Mayıs 2026’da langfuse/experiment-action üzerinden yayınlanan GitHub Actions CI/CD entegrasyonu, deney puanları bir eşik altına düştüğünde bir iş akışını başarısız kılar. Bu, değerlendirmeyi yayın sonrası inceleme yerine bir dağıtım kapısına dönüştürür.

GitHub Actions ile Langfuse değerlendirme döngüsü. Görsel: Yazar.

LangSmith’in değerlendirme kurulumunda baştan not edilmesi gereken bir faturalama davranışı var: izlere geri bildirim ekleyen değerlendiriciler, bu izleri genişletilmiş saklamaya yükseltebilir. Fiyatlandırma bölümünde ele alacağım üzere, bu durum değerlendirme iş akışlarının maliyetini değiştirir.

Prompt Sürümleme, Dağıtım ve A/B Testi

Burada prompt yönetimi, sürüm geçmişinden fazlasıdır. İş akışı: kum havuzunda yineleme, bir veri kümesine karşı test, üretime terfi ve bir şeyler bozulduğunda temiz geri alma.

Langfuse, her prompt sürümüne bir sürüm kimliği atar ve production ve staging gibi etiketler, hangi sürümün canlı olduğunu kontrol etmek için kullanılır. Arayüzde bir etiketi değiştirmek, dağıtmanın veya geri almanın yoludur. Prompt’lar SDK tarafından istemci tarafında önbelleğe alınır; bu nedenle SDK etkin sürümü çekerken üretim çağrılarına gecikme eklenmez. Korumalı etiketler, production etiketini hangi rollerin değiştirebileceğini yöneticilerin kısıtlamasına izin verir; bu, farklı erişim düzeylerine sahip kişilerin katkıda bulunduğu durumlarda önemlidir.

LangSmith, Prompt ve Context Hub üzerinden prompt’ları yönetir ve tam sürümleri programatik olarak sabitlemek için commit-hash sürümlemesi sunar. Prompt Hub, Langfuse’un kopyalamadığı bir topluluk kütüphanesi içerir. Veri kümesi deneyleri üzerinden A/B testi her iki platformda da mevcuttur.

Bu kategoride, iki ürün barındırma, fiyatlandırma veya çerçeve kurulumuna kıyasla birbirine daha yakındır.

Ajan Uygulamaları için Langfuse vs. LangSmith

Geçen yıl, her iki platformdaki özellik çalışmalarının büyük kısmını ajanlar yönlendirdi. Ajanın nerede inşa edildiği burada önemlidir.

Langfuse, kullanılabilir araçları yüzeye çıkarır, hangi araçların çağrıldığını vurgular ve argümanları ile çağrı kimliklerini gösterir. Genişletilmiş gözlem türleri, iz görünümünde araç çağrılarını, gömlemeleri ve güvenlik bariyeri çağrılarını ayırt eder. Daha önce belirttiğim gibi, Kod Değerlendiricileri araç argümanlarını bir şemaya karşı da doğrulayabilir. MCP sunucusu Mayıs 2026’da 15 araç kategorisini kapsayacak şekilde genişledi; böylece Claude Code, Cursor veya OpenAI Codex’teki ajanlar Langfuse verilerini programatik olarak sorgulayabilir.

İzleme bölümündeki LangGraph noktası burada tekrar ortaya çıkıyor. LangSmith’in ajan desteği, her düğümde durum incelemesini, alternatif modellerle iz tekrar oynatmayı ve görsel adım adım hata ayıklama için LangSmith Studio’yu içerir. Yüzlerce alt ajanı içeren üretim sistemi çalıştıran Monte Carlo mühendislik ekibi, bu sıfır kurulumlu LangGraph entegrasyonunu seçim nedenlerinin başında gösterdi.

CrewAI, Pydantic AI veya diğer çok ajanlı çerçeveler ile oluşturulan ajanlar için, Langfuse daha geniş yerel enstrümantasyona sahiptir ve genellikle daha az manuel kurulum gerektirir.

Çerçeve ve SDK Entegrasyonları

Langfuse; model sağlayıcıları, çerçeveler, ağ geçitleri, kodsuz araçlar, analitik ve geliştirici araçları genelinde geniş entegrasyonlar listeler. Çerçeveler arasında LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex ve diğerleri bulunur. Platform, SDK düzeyinde OpenTelemetry yerelisidir.

LangSmith’in yerel SDK’ları Python, TypeScript, Go ve Java’yı kapsar. LangChain, LangGraph ve Deep Agents’in ötesinde; OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, özel uygulamalar ve OpenTelemetry ile çalışır. Bu da onun yalnızca LangChain için bir izleme aracı olmadığını gösterir.

Pratik soru yalnızca bir çerçevenin desteklenip desteklenmediği değildir; zira popüler çerçevelerin çoğu her iki platformla da çalışır. Soru, ne kadar enstrümantasyon yazmanız gerektiğidir.

Langfuse Açık Kaynak vs. LangSmith Kurumsal

Kendi altyapınızda barındırma, çoğu özellik kategorisinden daha fazla, operasyon ve uyumluluk resmini değiştirir.

Langfuse’un kendi altyapınızda barındırması MIT kapsamında ücretsizdir. Geliştirme veya değerlendirme için Docker Compose çalışır; üretim dağıtımları genelde GKE, EKS veya AKS üzerinde Helm ile Kubernetes kullanır. Yığın; ClickHouse, PostgreSQL, Redis ve S3 uyumlu depolamayı içerir; önerilen minimum sanal makine 4 çekirdek ve 16 GiB RAM’dir. Yazılım lisansı hiçbir şey tutmaz, ancak altyapı ve operasyonların sahibi ekibinizdir. Ücretli kendi altyapınızda Kurumsal Sürüm; özel destek, denetim günlükleri, SCIM ve SLA’lar ekler.

Uyumlulukta, Langfuse Cloud; SOC 2 Tip II, ISO 27001, GDPR ve HIPAA sertifikalarına sahiptir. LangSmith Cloud; SOC 2 Tip II, GDPR ve HIPAA’ya sahiptir. ISO 27001, LangSmith için listelenmemiştir. Satın alma süreciniz bu kutuyu işaretliyorsa, bu somut bir farktır.

LangSmith’in kendi altyapınızda barındırması Kurumsal sözleşme gerektirir. Açık kaynak, ücretsiz kendi altyapınızda barındırma yolu yoktur. Üç dağıtım modeli (Bulut, Kendi Bulutunu Getir (BYOC) ve Kendi Altyapında) Kurumsal şemsiyesi altındadır. SmithDB tüm barındırma yöntemlerinde kullanılabilir.

Langfuse vs. LangSmith Fiyatlandırma

Manşet fiyatlar tüm hikayeyi anlatmaz.

Bu kategoride fiyatlandırma da sık değişir. Aşağıdaki rakamlar, Haziran 2026’da kontrol ettiğim resmi sayfaları yansıtır; ancak bütçe yapmadan önce güncel fiyat sayfalarını kontrol edin.

Langfuse fiyatlandırması

Langfuse Cloud birim üzerinden ücretlendirir: bir birim, bir iz, bir gözlem veya bir puana eşittir. Formül Units = Traces + Observations + Scores’tur; dolayısıyla araç ağırlıklı bir ajan çalıştırması, basit bir prompt-yanıt izinden daha pahalı olabilir. Ücretsiz Hobby planı ayda 50.000 birim, 30 günlük saklama ve iki kullanıcı içerir. Core aylık 29 $’dır; 100.000 dahil birim, sınırsız kullanıcı ve 90 günlük saklama sunar. Pro 199 $/ay; 3 yıllık veri erişimi ve uyumluluk sertifikaları sağlar. Kurumsal 2.499 $/ay’dan başlar; özel hacim fiyatlandırması sunar. Aşım, her ek 100.000 birim için 8 $’dan başlar.

Daha önce belirttiğim gibi, kendi altyapınızda Langfuse’un yazılım lisans maliyeti yoktur. SCIM, denetim günlükleri ve kurumsal destek ticari lisans gerektirir.

LangSmith fiyatlandırması

LangSmith koltuk başına ve iz başına ücretlendirir. Geliştirici planı ücretsizdir; ayda 5.000 iz, bir koltuk ve 14 günlük saklama içerir. Plus, koltuk başına ayda 39 $’dır; 10.000 temel iz dahildir. Temel izlerde saklama 14 gündür; genişletilmiş izler veriyi 400 gün tutar ve daha pahalıdır. Plus planında beş kişilik bir ekip, iz aşımlarından önce koltuklar için aylık 195 $ öder. Kurumsal fiyatlandırma özeldir.

Veri saklama mekanikleri

Daha önce belirttiğim gibi, değerlendiriciler izlere geri bildirim eklediğinde genişletilmiş saklama otomatik olarak devreye girer. Değerlendirme hatlarını kurmadan önce LangSmith’in otomatik genişletilmiş saklama faturalama dokümantasyonunu okuyun.

Bu ayrıntılar önemlidir; çünkü iz derinliği, değerlendirici kullanımı ve saklamadaki küçük farklar aylık faturayı değiştirebilir.

Langfuse vs. LangSmith Karşılaştırma Tablosu

Daha önce belirttiğim gibi, temel farklar sahiplik, çerçeve uyumu, değerlendirme iş akışı ve fiyatlandırmadır. Aşağıdaki tablo, son karar bölümlerinden önce bu noktaları özetler.

Bir LLM Gözlemlenebilirlik Platformu Seçerken Yapılan Hatalar

Bana göre ilk şey: Yalnızca izlemeye odaklanmayın. İzleme size ne olduğunu söyler, ancak değerlendirme çıktının iyi olup olmadığını söyler. Yalnızca iz görselleştirmesine göre seçerseniz, yanlış ölçütü kullanıyorsunuz demektir.

İkinci şey: Fiyatlandırma mekaniklerine dikkat edin. Yukarıda ele alındığı gibi, Langfuse’un maliyeti iz derinliğiyle artarken, LangSmith’in genişletilmiş saklaması otomatik değerlendirme maliyetini değiştirebilir. Üretime geçmeden önce hesabı yapın.

Üçüncüsü, kendi altyapınızda barındırma iki üründe de aynı anlama gelmez. Yukarıdaki kendi altyapınızda barındırma bölümü nedenini gösteriyor. Veri egemenliği katı bir gereksinimse, bu fark karşılaştırmayı belirleyebilir.

Son olarak, yalnızca çerçeve uyumluluğuna göre karar vermeyin. Her iki platform da birden çok uygulama yığınını destekler ve yığınlar değişir. Dağıtım gereksinimleri ve değerlendirme iş akışları sonradan değiştirmesi daha zordur.

Ne Zaman Langfuse’u Seçmeli

Yukarıdaki ödünleşimlere göre, Langfuse şu durumlarda daha uygundur:

• Ekibiniz; CrewAI, Pydantic AI, LlamaIndex gibi çerçeveler veya OpenAI ya da Anthropic’e doğrudan API çağrıları için yerel entegrasyonlar istiyor.
• Veri egemenliği pazarlık konusu değil ve LLM girişleri, çıkışları ile izlerin kendi altyapınızda kalması gerekiyor.
• Ekibiniz, GitHub Actions üzerinden otomatik gerileme kapılarıyla CI/CD entegre değerlendirme istiyor.
• Büyüyen bir ekip için öngörülebilir maliyetlere ihtiyacınız var; çünkü ücretli Bulut planları sınırsız kullanıcı içerir.

Ne Zaman LangSmith’i Seçmeli

Aynı ödünleşimlere göre, LangSmith şu durumlarda daha uygundur:

• Özellikle LangChain çerçeveleri için derin destekle, LLM uygulamaları genelinde gözlemlenebilirlik, değerlendirme, hata ayıklama ve üretim izleme için model ve çerçeve bağımsız bir platform istiyorsunuz.
• Ekibiniz, tüm ajan iyileştirme döngüsünü destekleyen yönetilen bir platform istiyor.
• Tercih ettiğiniz altyapıya kurabileceğiniz, iz verileriniz için yüksek performanslı bir veritabanı istiyorsunuz.
• İhtiyaçlarınız, değerlendirme, üretim izleme, ajan sunucusu ve LLM Gateway dahil LangSmith’in daha geniş platformuna uzanıyor.
• İzlerin, veri kümelerinin, deneylerin, çevrimiçi değerlendirmelerin, insan geri bildirimlerinin ve üretim izlemenin tek bir iş akışında bağlı olmasını istiyorsunuz.

Sonuç

Langfuse ve LangSmith her ikisi de gerçek bir sorunu çözüyor ve her ikisi de geçen yıl içinde çok değişti. Bu noktada ödünleşim net.

Karar, hangi platformun daha fazla özelliğe sahip olduğu değildir. Daha önceki sahiplik ve ekosistem ödünleşimidir. Veri yığını üzerinde doğrudan kontrol sunan açık kaynak bir yol mu gerekiyor, yoksa entegre gözlemlenebilirlik, değerlendirme ve üretim iş akışlarıyla yönetilen bir platform mu istiyorsunuz?

Karar vermeden önce bir uyarı: her iki platform da sık değişir. Bağlanmadan önce değişiklik günlüklerini kontrol edin.

LangChain ekosistemiyle ilgili arka plan için şu LangChain vs. LangGraph vs. LangSmith vs. LangFlow eğitimimize bakın.