Langfuse vs. LangSmith: Perbandingan Platform Observabilitas LLM

Ketika chatbot mulai memberikan jawaban yang buruk, nalurinya adalah memeriksa prompt. Itu berfungsi baik untuk satu panggilan LLM. Ini berhenti bekerja ketika aplikasinya adalah agen yang melakukan pemanggilan alat.

Konteks yang hilang itulah yang coba disediakan oleh platform observabilitas LLM. Mereka bukan alat pemantauan aplikasi tradisional. Alat yang lebih tradisional memberi tahu Anda tentang latensi dan tingkat kesalahan. Platform observabilitas LLM memberi tahu Anda panggilan alat mana yang mengembalikan hasil buruk dan apakah perubahan prompt meningkatkan kualitas keluaran.

Baik Langfuse maupun LangSmith mencakup tracing, evaluasi, dan manajemen prompt, dan keduanya merilis pembaruan besar pada awal 2026. Namun, keduanya tidak dapat dipertukarkan. Perbedaannya bergantung pada kebutuhan deployment, tumpukan teknologi, dan bagaimana tim Anda menjalankan evaluasi.

Jawaban singkat: Langfuse cocok untuk tim yang membutuhkan self-hosting open-source, kontrol data, atau tumpukan di luar LangChain. LangSmith cocok untuk tim yang sudah membangun dengan LangChain atau LangGraph, namun kini tidak lagi terbatas pada ekosistem tersebut. Jika tidak ada kondisi tersebut, saya akan melihat harga.

Apa Itu Langfuse dan LangSmith?

Secara garis besar, kedua produk membuat aplikasi LLM menjadi dapat diobservasi, diuji, dan di-debug. Berikut masing-masing penjelasannya.

Gambaran posisi platform Langfuse versus LangSmith. Gambar oleh Penulis.

Apa itu Langfuse?

Langfuse adalah platform rekayasa LLM open-source yang diluncurkan pada 2023. Cakupannya meliputi tracing, manajemen prompt, evaluasi (LLM-as-judge, anotasi manusia, dan pemeriksaan berbasis kode), eksperimen dataset, serta pemantauan biaya dan latensi. Produk inti open-source berlisensi MIT.

Pada Januari 2026, ClickHouse mengumumkan pendanaan Seri D sebesar $400 juta dan mengakuisisi Langfuse. Langfuse kini menjadi bagian dari ClickHouse, database kolumnar yang sudah mendukung backend Langfuse. Lisensi MIT dan identitas open-source dikonfirmasi tidak berubah saat itu.

Langfuse tersedia sebagai layanan cloud terkelola dengan region AS, UE, dan Jepang, atau sebagai instance open-source self-hosted tanpa biaya lisensi perangkat lunak.

Apa itu LangSmith?

LangSmith adalah platform observabilitas dan evaluasi yang dibangun oleh LangChain Inc., tim di balik LangChain dan LangGraph. Platform ini bersifat proprietari dan tertutup. LangChain menggalang $125 juta dengan valuasi $1,25 miliar pada Oktober 2025.

Kemampuan utamanya mencakup tracing lintas satu run aplikasi, debug visual, evaluasi otomatis, pemantauan produksi, dan manajemen prompt melalui Prompt Hub dan Playground. Pada Mei 2026, LangChain meluncurkan SmithDB, lapisan data berbasis Rust yang kini menangani 100% ingestion LangSmith US Cloud. SmithDB menurunkan waktu muat pohon jejak P50 menjadi 92 milidetik dan pencarian teks penuh menjadi 400 milidetik.

LangSmith tersedia sebagai layanan cloud terkelola, deployment hibrida dengan data plane VPC pelanggan, atau deployment Enterprise self-hosted.

Open Source vs. SaaS Terkelola

Perbedaan inti antara kedua platform bukan "open source versus bukan open source." Perbedaan sebenarnya adalah kontrol dan portabilitas di satu sisi, serta kecocokan LangChain/LangGraph di sisi lain. Langfuse memungkinkan Anda menjalankan stack di infrastruktur Anda sendiri tanpa biaya lisensi. LangSmith memerlukan setup yang lebih sedikit ketika aplikasi Anda sudah berjalan di LangChain atau LangGraph.

Satu pembaruan mengubah cara perbandingan ini dibingkai: LangSmith kini mendukung tracing OpenTelemetry melalui paket langsmith[otel] dan variabel lingkungan LANGSMITH_OTEL_ENABLED=true. LangSmith tidak lagi terbatas pada aplikasi berbasis LangChain saja. Integrasi terdekatnya tetap dengan LangGraph, seperti yang akan saya bahas di bagian tracing.

Berikut posisi struktural kedua platform:

Sisa artikel akan mengurai apa arti perbedaan tersebut dalam praktik.

Tracing dan Observabilitas

Tracing adalah titik awal perbedaan produk. Keduanya menangkap panggilan LLM, panggilan alat, dan metadata terkait, tetapi alur kerja agen menampakkan perbedaan lebih cepat dibanding aplikasi prompt-respons sederhana.

Tracing permintaan

Langfuse membangun jejak hierarkis yang menangkap panggilan LLM, pemanggilan alat, embedding, dan langkah retrieval. Anda dapat memfilter berdasarkan pengguna, sesi, biaya, latensi, atau metadata kustom. Pada Mei 2026, Langfuse menambahkan pencarian teks penuh yang didukung oleh mesin FTS native ClickHouse, memangkas pencarian yang sebelumnya hampir 20 detik menjadi di bawah setengah detik.

LangSmith menangkap setiap panggilan LLM dan penggunaan alat sebagai run tree yang dapat diinspeksi. Dengan SmithDB kini menangani seluruh ingestion US Cloud, pohon jejak termuat pada P50 dalam 92 milidetik. LangSmith juga menyertakan pengelompokan topik tanpa supervisi, yang mengelompokkan jejak berdasarkan tema terdeteksi dan memberi tim titik awal saat mereka belum tahu apa yang salah.

Visibilitas alur kerja agen

Langfuse menambahkan Agent Graphs pada November 2025, memvisualisasikan alur eksekusi untuk agen multi-langkah dengan menyimpulkan struktur graf dari waktu observasi dan penjejangan. Ini bekerja dengan kerangka kerja terinstrumentasi apa pun, dengan dukungan native LangGraph yang disertakan. Trace Log View ditambahkan pada waktu yang sama, memberikan aliran datar langkah agen untuk alur kerja yang banyak loop atau bercabang.

Graf agen Langfuse untuk eksekusi LangGraph. Gambar oleh Penulis.

Tracing LangGraph di LangSmith menangkap setiap node, edge, dan transisi status dalam satu run tanpa konfigurasi selain menyetel variabel lingkungan. LangSmith Studio memungkinkan Anda melangkah melalui eksekusi agen, menginspeksi status di setiap node, dan memutar ulang jejak dengan model atau prompt berbeda. Dalam aplikasi LangGraph, ini memberi lebih banyak konteks daripada pohon jejak generik.

Pohon jejak LangSmith untuk alur kerja agen. Gambar oleh Penulis.

Pemantauan produksi

Untuk pemantauan produksi, kedua platform melacak latensi, penggunaan token, biaya, dan tingkat kesalahan. LangSmith menyertakan PagerDuty dan webhook alerting untuk insiden produksi. Langfuse menyertakan peringatan pengeluaran dengan ambang batas yang dapat dikonfigurasi. Pada level ini, fitur pemantauan serupa.

Evaluasi Offline dan Online

Tracing memberi tahu Anda apa yang terjadi. Evaluasi memberi tahu Anda apakah hasilnya baik. Dalam praktiknya, alat ini lebih berguna ketika evaluasi menjadi bagian dari alur kerja, bukan daftar centang pra-rilis.

LLM-as-a-judge dan evaluator kode

LLM-as-judge Langfuse menjadi sepenuhnya open-source di bawah MIT pada Juni 2025. Setiap pengguna self-hosted pada v3.65.0 atau lebih baru mendapatkannya tanpa lisensi komersial. Pada Mei 2026, Langfuse merilis Code Evaluators: fungsi evaluate Python atau TypeScript yang Anda tulis langsung di UI Langfuse. Ini menjalankan pemeriksaan deterministik, seperti validasi skema JSON, validasi regex, atau verifikasi argumen alat, tanpa biaya token atau panggilan model juri.

LangSmith menawarkan evaluator LLM-as-judge yang dapat dikonfigurasi dengan tipe umpan balik Boolean, Kategorikal, dan Kontinu, plus templat bawaan untuk Keamanan, Keselamatan, dan Kualitas. Ini juga mendukung few-shot correction, di mana koreksi berlabel manusia pada keluaran evaluator diberi umpan balik sebagai contoh few-shot untuk meningkatkan kalibrasi evaluator dari waktu ke waktu.

Dataset, eksperimen, dan anotasi manusia

Evaluasi offline berfungsi di kedua platform melalui dataset dan perbandingan eksperimen berdampingan. Langfuse menambahkan Score Analytics pada November 2025 untuk mengukur keselarasan evaluator di seluruh precision, recall, F1, biaya, dan akurasi. Perbandingan baseline, juga pada November 2025, memungkinkan Anda menandai satu run tertentu sebagai titik referensi dan menyoroti regresi terhadapnya.

Integrasi CI/CD GitHub Actions milik Langfuse, dirilis pada Mei 2026 melalui langfuse/experiment-action, menggagalkan workflow saat skor eksperimen turun di bawah ambang batas. Itu menjadikan evaluasi sebagai gerbang deployment, bukan tinjauan pasca-rilis.

Loop evaluasi Langfuse dengan GitHub Actions. Gambar oleh Penulis.

Pengaturan evaluasi LangSmith memiliki satu perilaku penagihan yang perlu dicatat sejak awal: evaluator yang menambahkan umpan balik ke jejak secara otomatis meningkatkan jejak tersebut ke retensi diperpanjang. Seperti yang akan saya bahas di bagian harga, itu mengubah biaya alur kerja evaluasi.

Versi Prompt, Deployment, dan A/B Testing

Manajemen prompt di sini lebih dari sekadar riwayat versi. Alurnya adalah: iterasi di sandbox, uji terhadap dataset, promosikan ke produksi, dan lakukan rollback dengan rapi saat sesuatu rusak.

Langfuse memberikan setiap versi prompt sebuah ID versi dan menggunakan label seperti production dan staging untuk mengontrol versi mana yang aktif. Mengubah label di UI adalah cara Anda melakukan deployment atau rollback. Prompt di-cache di sisi klien oleh SDK, sehingga tidak menambah latensi pada panggilan produksi saat SDK mengambil versi aktif. Protected labels memungkinkan admin membatasi peran mana yang dapat memodifikasi label production, yang penting ketika Anda memiliki campuran kontributor dengan tingkat akses berbeda.

LangSmith mengelola prompt melalui LangChain Hub dengan versioning commit-hash untuk memasang versi persis secara terprogram. Prompt Hub menyertakan pustaka komunitas yang tidak direplikasi oleh Langfuse. A/B testing melalui eksperimen dataset tersedia di kedua platform.

Dalam kategori ini, kedua produk lebih mendekati satu sama lain dibanding pada hosting, harga, atau setup kerangka kerja.

Langfuse vs. LangSmith untuk Aplikasi Agen

Agen mendorong banyak pengerjaan fitur di kedua platform selama setahun terakhir. Di sini, tempat agen dibangun menjadi penting.

Langfuse menampilkan alat yang tersedia, menyoroti alat mana yang dipanggil, dan menampilkan argumen serta ID panggilan. Jenis observasi yang diperluas membedakan panggilan alat, embedding, dan panggilan guardrail di tampilan jejak. Seperti yang saya sebutkan sebelumnya, Code Evaluators juga dapat memverifikasi argumen alat terhadap skema. Server MCP diperluas pada Mei 2026 untuk mencakup 15 kategori alat, sehingga agen di Claude Code, Cursor, atau OpenAI Codex dapat mengkueri data Langfuse secara terprogram.

Poin LangGraph dari bagian tracing muncul lagi di sini. Dukungan agen LangSmith mencakup inspeksi status di setiap node, pemutaran ulang jejak dengan model alternatif, dan LangSmith Studio untuk debugging langkah-demi-langkah secara visual. Tim rekayasa Monte Carlo, yang menjalankan sistem produksi yang melibatkan ratusan sub-agen, menyebut integrasi LangGraph tanpa konfigurasi ini sebagai alasan utama mereka memilihnya.

Untuk agen yang dibangun dengan CrewAI, Pydantic AI, atau kerangka multi-agen lainnya, Langfuse memiliki instrumentasi native yang lebih luas dan sering kali membutuhkan setup manual yang lebih sedikit.

Integrasi Kerangka dan SDK

Langfuse mencantumkan integrasi luas di seluruh penyedia model, kerangka kerja, gateway, alat tanpa kode, analitik, dan alat pengembang. Kerangka kerja mencakup LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex, dan lainnya. Platform ini native OpenTelemetry pada level SDK.

SDK native LangSmith mencakup Python, TypeScript, Go, dan Java. Di luar LangChain dan LangGraph, ini bekerja dengan OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, implementasi kustom, dan OpenTelemetry. Artinya, ini bukan alat tracing khusus LangChain saja, meskipun LangGraph tetap menjadi kecocokan terdekatnya.

Pertanyaan praktisnya bukan hanya apakah suatu kerangka kerja didukung, karena sebagian besar kerangka kerja populer bekerja dengan kedua platform. Ini adalah seberapa banyak instrumentasi yang perlu Anda tulis. LangGraph mendapatkan tracing tanpa konfigurasi di LangSmith. Kerangka lain mungkin membutuhkan setup lebih sedikit di Langfuse. Upaya setup bervariasi menurut stack.

Langfuse Open Source vs. LangSmith Enterprise

Self-hosting mengubah gambaran operasional dan kepatuhan lebih dari sebagian besar kategori fitur.

Self-hosting Langfuse gratis di bawah MIT. Docker Compose cocok untuk pengembangan atau evaluasi; deployment produksi biasanya menggunakan Kubernetes dengan Helm di GKE, EKS, atau AKS. Stack mencakup ClickHouse, PostgreSQL, Redis, dan penyimpanan kompatibel S3, dengan VM minimum yang direkomendasikan 4 core dan 16 GiB RAM. Biaya lisensi perangkat lunak nol, tetapi tim Anda memiliki infrastruktur dan operasionalnya. Edisi Enterprise self-hosted berbayar menambahkan dukungan khusus, audit log, SCIM, dan SLA.

Untuk kepatuhan, Langfuse Cloud memegang sertifikasi SOC 2 Tipe II, ISO 27001, GDPR, dan HIPAA. LangSmith Cloud memegang SOC 2 Tipe II, GDPR, dan HIPAA. ISO 27001 tidak tercantum untuk LangSmith. Jika proses pengadaan Anda mencentang kotak itu, itu perbedaan yang konkret.

Self-hosting LangSmith memerlukan kontrak Enterprise. Tidak ada jalur self-hosting gratis, open-source. Tiga model deployment (Cloud, Hibrida, dan Self-hosted) semuanya berada di bawah payung Enterprise. SmithDB untuk LangSmith self-hosted masih dalam early access per Mei 2026, belum tersedia secara umum.

Harga Langfuse vs. LangSmith

Harga utama tidak menceritakan keseluruhan cerita.

Harga juga sering berubah di kategori ini. Angka di bawah ini mencerminkan halaman resmi yang saya periksa pada Juni 2026, tetapi periksalah halaman harga terkini sebelum Anda membuat anggaran untuk salah satu platform.

Harga Langfuse

Langfuse Cloud menagih berdasarkan unit: satu unit sama dengan satu trace, satu observasi, atau satu skor. Rumusnya adalah Units = Traces + Observations + Scores, sehingga run agen yang banyak alat bisa berbiaya lebih tinggi daripada jejak prompt-respons sederhana. Paket Hobby gratis mencakup 50.000 unit per bulan, retensi 30 hari, dan dua pengguna. Core seharga $29/bulan dengan 100.000 unit termasuk, pengguna tak terbatas, dan retensi 90 hari. Pro seharga $199/bulan dengan akses data 3 tahun dan sertifikasi kepatuhan. Enterprise mulai $2.499/bulan dengan harga volume khusus. Kelebihan penggunaan mulai $8 per 100.000 unit tambahan.

Seperti yang saya sebutkan sebelumnya, Langfuse self-hosted tidak memiliki biaya lisensi perangkat lunak. SCIM, audit log, dan dukungan enterprise memerlukan lisensi komersial.

Harga LangSmith

LangSmith menagih per kursi dan per jejak. Paket Developer gratis dengan 5.000 jejak per bulan, satu kursi, dan retensi 14 hari. Plus seharga $39 per kursi per bulan dengan 10.000 jejak dasar termasuk. Jejak dasar memiliki retensi 14 hari; jejak diperpanjang menyimpan data selama 400 hari dan berbiaya lebih tinggi. Tim beranggotakan lima di paket Plus membayar $195/bulan untuk kursi sebelum kelebihan jejak. Harga Enterprise bersifat kustom.

Mekanisme retensi data

Seperti yang saya sebutkan sebelumnya, retensi diperpanjang aktif secara otomatis ketika evaluator menambahkan umpan balik ke jejak. Bacalah dokumentasi penagihan LangSmith tentang retensi otomatis diperpanjang sebelum menyiapkan pipeline evaluasi.

Detail tersebut penting karena perbedaan kecil pada kedalaman jejak, penggunaan evaluator, dan retensi dapat mengubah tagihan bulanan.

Tabel Perbandingan Langfuse vs. LangSmith

Seperti yang saya sebutkan sebelumnya, perbedaan utama adalah kepemilikan, kecocokan kerangka, alur kerja evaluasi, dan harga. Tabel di bawah merangkum poin-poin tersebut sebelum bagian keputusan akhir.

Kesalahan Saat Memilih Platform Observabilitas LLM

Pertama, menurut saya: Jangan hanya fokus pada tracing. Tracing memberi tahu apa yang terjadi, tetapi evaluasi memberi tahu apakah keluarannya baik. Jika Anda memilih berdasarkan visualisasi jejak saja, Anda menggunakan kriteria yang salah.

Kedua: Perhatikan mekanisme harga. Seperti dibahas di atas, biaya Langfuse bertambah seiring kedalaman jejak, sementara retensi diperpanjang LangSmith dapat mengubah biaya evaluasi otomatis. Hitung terlebih dahulu sebelum produksi.

Ketiga, self-hosting tidak berarti sama di kedua produk. Bagian self-hosting di atas menunjukkan alasannya. Jika kedaulatan data adalah persyaratan mutlak, perbedaan itu dapat menentukan pilihan.

Terakhir, jangan memutuskan hanya berdasarkan kompatibilitas kerangka. Stack bisa berubah. Kebutuhan deployment dan alur kerja evaluasi lebih sulit diubah nanti.

Kapan Memilih Langfuse

Berdasarkan trade-off di atas, Langfuse lebih cocok ketika:

• Tim Anda tidak terutama menggunakan LangChain atau LangGraph, dan Anda membangun dengan CrewAI, Pydantic AI, LlamaIndex, atau panggilan API langsung ke OpenAI atau Anthropic.
• Kedaulatan data tidak bisa dinegosiasikan, dan input, output, serta jejak LLM harus tetap berada di infrastruktur Anda sendiri.
• Daftar periksa kepatuhan Anda mengharuskan ISO 27001 selain SOC 2 dan HIPAA.
• Tim Anda menginginkan evaluasi terintegrasi CI/CD dengan gerbang regresi otomatis melalui GitHub Actions.
• Anda membutuhkan biaya yang terprediksi untuk tim yang berkembang, karena paket Cloud berbayar mencakup pengguna tak terbatas.

Kapan Memilih LangSmith

Berdasarkan trade-off yang sama, LangSmith lebih cocok ketika:

• Anda membangun dengan LangGraph dan menginginkan tracing tanpa konfigurasi, visualisasi graf native, dan debugging langkah-demi-langkah di LangSmith Studio.
• Tim Anda menginginkan platform terkelola tanpa infrastruktur yang harus dijalankan.
• Anda menghargai komunitas Prompt Hub untuk menemukan dan berbagi prompt lintas tim di luar organisasi Anda.
• Kebutuhan Anda melampaui observabilitas ke platform LangSmith yang lebih luas, yang kini mencakup deployment agen dan manajemen Fleet.

Kesimpulan

Langfuse dan LangSmith sama-sama menyelesaikan masalah nyata, dan keduanya banyak berubah selama setahun terakhir. Pada titik ini, trade-off-nya jelas.

Keputusan bukan tentang platform mana yang memiliki fitur lebih banyak. Ini adalah trade-off kepemilikan dan ekosistem seperti yang disebutkan sebelumnya. Apakah Anda perlu mengontrol tumpukan data Anda, atau Anda menginginkan setup yang lebih sedikit di dunia LangChain/LangGraph?

Satu catatan sebelum Anda memutuskan: kedua platform sering berubah. Periksa changelog sebelum Anda berkomitmen.

Untuk latar belakang terkait ekosistem LangChain, lihat tutorial LangChain vs. LangGraph vs. LangSmith vs. LangFlow kami.