Langfuse vs. LangSmith: Membandingkan Platform Observability LLM

Ketika chatbot mulai memberikan jawaban yang buruk, nalurinya adalah memeriksa prompt. Itu masih efektif untuk satu panggilan LLM. Namun tidak lagi memadai saat aplikasi adalah agen yang melakukan panggilan alat.

Konteks yang hilang inilah yang coba disediakan oleh platform observability LLM. Mereka bukan alat pemantauan aplikasi tradisional. Alat tradisional memberi tahu Anda tentang latensi dan tingkat error. Platform observability LLM memberi tahu Anda panggilan alat mana yang mengembalikan hasil buruk dan apakah perubahan prompt meningkatkan kualitas keluaran.

Baik Langfuse maupun LangSmith mencakup tracing, evaluasi, dan manajemen prompt, dan keduanya merilis pembaruan besar pada awal 2026. Namun, keduanya tidak dapat dipertukarkan. Perbedaannya bergantung pada kebutuhan deployment, tumpukan teknologi, dan cara tim Anda menjalankan evaluasi.

Jawaban singkat: Langfuse cocok untuk tim yang memerlukan self-hosting open-source, kontrol data, atau tumpukan di luar LangChain. LangSmith cocok untuk tim yang menginginkan platform netral kerangka kerja dengan observability, evaluasi, debugging, dan alur kerja produksi terintegrasi untuk aplikasi LLM. Jika tidak ada kondisi yang terpenuhi, saya akan melihat harga.

Apa Itu Langfuse dan LangSmith?

Secara garis besar, kedua produk membuat aplikasi LLM menjadi observable, dapat diuji, dan dapat di-debug. Berikut penjelasan masing-masing.

Gambaran posisi platform Langfuse versus LangSmith. Gambar oleh Penulis.

Apa itu Langfuse?

Langfuse adalah platform rekayasa LLM open-source yang diluncurkan pada 2023. Cakupannya meliputi tracing, manajemen prompt, evaluasi (LLM-as-judge, anotasi manusia, dan pemeriksaan berbasis kode), eksperimen dataset, serta pemantauan biaya dan latensi. Produk inti open-source berlisensi MIT.

Pada Januari 2026, ClickHouse mengumumkan pendanaan Seri D senilai $400 juta dan mengakuisisi Langfuse. Langfuse kini menjadi bagian dari ClickHouse, database kolumnar yang memang sudah mendukung backend Langfuse. Lisensi MIT dan identitas open-source dikonfirmasi tidak berubah pada saat itu.

Langfuse tersedia sebagai layanan cloud terkelola dengan region AS, UE, dan Jepang, atau sebagai instance open-source self-hosted tanpa biaya lisensi perangkat lunak.

Apa itu LangSmith?

LangSmith adalah platform observability dan evaluasi yang netral kerangka kerja, dibangun oleh LangChain Inc., tim di balik LangChain, LangGraph, dan Deep Agents. Platform ini bersifat proprietary dan tertutup. LangChain menggalang $125 juta dengan valuasi $1,25 miliar pada Oktober 2025.

Kemampuan utamanya mencakup tracing di seluruh satu run aplikasi, visual debugging, evaluasi otomatis, pemantauan produksi, dan manajemen prompt melalui Prompt Hub dan Playground. Pada Mei 2026, LangChain meluncurkan SmithDB, lapisan data berbasis Rust yang kini menangani 100% ingest LangSmith Cloud di AS. SmithDB dirancang untuk payload data unik yang dihasilkan aplikasi LLM dan menurunkan waktu muat P50 trace tree menjadi 92 milidetik serta pencarian teks penuh menjadi 400 milidetik.

LangSmith tersedia sebagai layanan cloud terkelola, deployment BYOC (bring your own cloud) dengan data di VPC pelanggan, atau deployment Enterprise self-hosted. LangChain juga mengumumkan bahwa LangSmith self-hosted akan mendukung bring-your-own-key (BYOK) untuk Engine, agen dalam platform untuk menemukan dan memperbaiki error di aplikasi LLM.

Open Source vs. SaaS Terkelola

Perbedaan inti antara kedua platform bukanlah "open source versus bukan open source." Perbedaannya yang nyata adalah kontrol dan portabilitas di satu sisi, serta alur kerja terkelola di sisi lain. Langfuse memungkinkan Anda menjalankan stack di infrastruktur sendiri tanpa biaya lisensi. LangSmith menawarkan cloud terkelola, BYOC, dan deployment self-hosted, dengan dukungan native yang dalam untuk LangChain, LangGraph, dan Deep Agents, namun tanpa kewajiban menggunakan kerangka kerja tersebut.

Satu pembaruan mengubah cara membingkai perbandingan ini: LangSmith kini mendukung tracing OpenTelemetry melalui paket langsmith[otel] dan variabel lingkungan LANGSMITH_OTEL_ENABLED=true. Ini adalah salah satu dari beberapa cara tim dapat menggunakan LangSmith dengan aplikasi non-LangChain. 

Berikut posisi kedua platform secara struktural:

Bagian selanjutnya membahas apa arti perbedaan tersebut dalam praktik.

Tracing dan Observability

Tracing adalah titik awal perbedaan produk. Keduanya menangkap panggilan LLM, panggilan alat, dan metadata terkait, tetapi alur kerja agen memperlihatkan perbedaan lebih cepat dibanding aplikasi prompt-respons sederhana.

Request tracing

Langfuse membangun trace hierarkis yang menangkap panggilan LLM, pemanggilan alat, embedding, dan langkah retrieval. Anda dapat memfilter berdasarkan pengguna, sesi, biaya, latensi, atau metadata kustom. Pada Mei 2026, Langfuse menambahkan pencarian teks penuh yang didukung oleh mesin FTS native ClickHouse, memangkas pencarian yang sebelumnya hampir 20 detik menjadi di bawah setengah detik.

LangSmith menangkap setiap panggilan LLM dan penggunaan alat sebagai run tree yang dapat diinspeksi. Dengan SmithDB yang kini menangani seluruh ingest Cloud AS, trace tree memuat pada P50 dalam 92 milidetik. LangSmith juga menyertakan pengelompokan topik tanpa supervisi, yang mengelompokkan trace berdasarkan tema terdeteksi dan memberi tim titik awal saat mereka belum tahu masalahnya apa.

Visibilitas alur kerja agen

Langfuse menambahkan Agent Graphs pada November 2025, memvisualisasikan aliran eksekusi untuk agen multi-langkah dengan menyimpulkan struktur grafik dari waktu observasi dan nested. Ini bekerja dengan kerangka kerja apa pun yang diinstrumentasi, dengan dukungan native LangGraph disertakan. Trace Log View ditambahkan pada saat yang sama, memberikan aliran datar langkah agen untuk alur kerja yang banyak loop atau bercabang.

Grafik agen Langfuse untuk eksekusi LangGraph. Gambar oleh Penulis.

Tracing LangGraph milik LangSmith menangkap setiap node, edge, dan transisi state dalam satu run tanpa konfigurasi apa pun selain mengatur variabel lingkungan. LangSmith Studio memungkinkan Anda menelusuri eksekusi agen langkah demi langkah, menginspeksi state di setiap node, dan memutar ulang trace dengan model atau prompt berbeda. Dalam aplikasi LangGraph, ini memberi konteks lebih kaya daripada trace tree generik.Pada September 2026, LangSmith merilis Trajectories, yang membuat trace lebih mudah di-debug dan dimasukkan ke dalam loop umpan balik dengan pakar materi.

Trace tree LangSmith untuk alur kerja agen. Gambar oleh Penulis.

Pemantauan produksi

Untuk pemantauan produksi, kedua platform melacak latensi, penggunaan token, biaya, dan tingkat error. LangSmith menyertakan PagerDuty dan webhook alerting untuk insiden produksi, bersama alur pemantauan yang terhubung ke trace dan evaluasi. Langfuse menyertakan peringatan pengeluaran dengan ambang batas yang dapat dikonfigurasi. Pada level ini, fitur pemantauan serupa.

Evaluasi Offline dan Online

Tracing memberi tahu apa yang terjadi. Evaluasi memberi tahu apakah hasilnya baik. Dalam praktiknya, alat ini lebih berguna ketika evaluasi menjadi bagian dari alur kerja, bukan daftar periksa pra-peluncuran.

LLM-as-a-judge dan evaluator kode

Fitur LLM-as-judge milik Langfuse menjadi sepenuhnya open-source di bawah MIT pada Juni 2025. Pengguna self-hosted pada v3.65.0 atau lebih baru mendapatkannya tanpa lisensi komersial. Pada Mei 2026, Langfuse merilis Code Evaluators: fungsi evaluate Python atau TypeScript yang Anda tulis langsung di UI Langfuse. Ini menjalankan pemeriksaan deterministik, seperti validasi skema JSON, validasi regex, atau verifikasi argumen alat, tanpa biaya token atau panggilan model juri.

LangSmith menawarkan evaluator LLM-as-judge yang dapat dikonfigurasi dengan tipe umpan balik Boolean, Kategorikal, dan Kontinu, plus template bawaan untuk Keamanan, Keselamatan, dan Kualitas. Ini juga mendukung few-shot correction, di mana koreksi berlabel manusia pada keluaran evaluator dimasukkan kembali sebagai contoh few-shot untuk meningkatkan kalibrasi evaluator dari waktu ke waktu.

Dataset, eksperimen, dan anotasi manusia

Evaluasi offline berfungsi di kedua platform melalui dataset dan perbandingan eksperimen berdampingan. Langfuse menambahkan Score Analytics pada November 2025 untuk mengukur keselarasan evaluator di seluruh precision, recall, F1, biaya, dan akurasi. Perbandingan baseline, juga November 2025, memungkinkan Anda menandai run tertentu sebagai titik referensi dan menampilkan regresi terhadapnya.

Integrasi CI/CD GitHub Actions milik Langfuse, dirilis pada Mei 2026 melalui langfuse/experiment-action, menggagalkan workflow ketika skor eksperimen turun di bawah ambang batas. Itu mengubah evaluasi menjadi gerbang deploy alih-alih tinjauan pasca-rilis.

Loop evaluasi Langfuse dengan GitHub Actions. Gambar oleh Penulis.

Pengaturan evaluasi LangSmith memiliki satu perilaku penagihan yang perlu diperhatikan sejak awal: evaluator yang menambahkan umpan balik ke trace dapat meningkatkan trace tersebut ke retensi diperpanjang. Seperti yang akan saya bahas di bagian harga, hal itu mengubah biaya alur kerja evaluasi.

Versioning Prompt, Deployment, dan A/B Testing

Manajemen prompt di sini lebih dari sekadar riwayat versi. Alurnya adalah: iterasi di sandbox, uji terhadap dataset, promosikan ke produksi, dan rollback dengan rapi ketika terjadi masalah.

Langfuse memberikan setiap versi prompt sebuah ID versi dan menggunakan label seperti production dan staging untuk mengontrol versi mana yang aktif. Mengubah label di UI adalah cara Anda melakukan deploy atau rollback. Prompt di-cache di sisi klien oleh SDK, sehingga tidak menambah latensi ke panggilan produksi saat SDK mengambil versi aktif. Label terlindungi memungkinkan admin membatasi peran yang dapat mengubah label production, yang penting saat Anda memiliki beragam kontributor dengan tingkat akses berbeda.

LangSmith mengelola prompt melalui Prompt dan Context Hub dengan versioning commit-hash untuk mem-pin versi persis secara terprogram. Prompt Hub menyertakan pustaka komunitas yang tidak direplikasi oleh Langfuse. A/B testing melalui eksperimen dataset tersedia di kedua platform.

Dalam kategori ini, kedua produk lebih mirip dibandingkan dalam hal hosting, harga, atau pengaturan kerangka kerja.

Langfuse vs. LangSmith untuk Aplikasi Agen

Agen mendorong banyak pekerjaan fitur di kedua platform selama setahun terakhir. Di sini, tempat agen dibangun menjadi penting.

Langfuse menampilkan alat yang tersedia, menyoroti alat mana yang dipanggil, dan menunjukkan argumen serta ID panggilan. Jenis observasi yang diperluas membedakan panggilan alat, embedding, dan panggilan guardrail dalam tampilan trace. Seperti disebutkan sebelumnya, Code Evaluators juga dapat memverifikasi argumen alat terhadap skema. Server MCP diperluas pada Mei 2026 untuk mencakup 15 kategori alat, sehingga agen di Claude Code, Cursor, atau OpenAI Codex dapat menanyakan data Langfuse secara terprogram.

Poin LangGraph dari bagian tracing muncul lagi di sini. Dukungan agen LangSmith mencakup inspeksi state di setiap node, pemutaran ulang trace dengan model alternatif, dan LangSmith Studio untuk debugging visual langkah demi langkah. Tim teknik Monte Carlo, yang menjalankan sistem produksi dengan ratusan sub-agen, menyebut integrasi LangGraph tanpa konfigurasi ini sebagai alasan utama mereka memilihnya.

Untuk agen yang dibangun dengan CrewAI, Pydantic AI, atau kerangka multi-agen lainnya, Langfuse memiliki instrumentasi native yang lebih luas dan sering kali membutuhkan pengaturan manual yang lebih sedikit.

Integrasi Kerangka Kerja dan SDK

Langfuse mencantumkan integrasi luas di seluruh penyedia model, kerangka kerja, gateway, alat no-code, analitik, dan alat pengembang. Kerangka kerja meliputi LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex, dan lainnya. Platform ini native OpenTelemetry pada level SDK.

SDK native LangSmith mencakup Python, TypeScript, Go, dan Java. Di luar LangChain, LangGraph, dan Deep Agents, produk ini bekerja dengan OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, implementasi kustom, dan OpenTelemetry. Artinya, ini bukan alat tracing khusus LangChain saja.

Pertanyaan praktisnya bukan hanya apakah sebuah kerangka kerja didukung, karena sebagian besar kerangka kerja populer bekerja dengan kedua platform. Melainkan seberapa banyak instrumentasi yang perlu Anda tulis.

Langfuse Open Source vs. LangSmith Enterprise

Self-hosting mengubah gambaran operasional dan kepatuhan lebih dari sebagian besar kategori fitur lainnya.

Self-hosting Langfuse gratis di bawah MIT. Docker Compose cocok untuk pengembangan atau evaluasi; deployment produksi biasanya menggunakan Kubernetes dengan Helm di GKE, EKS, atau AKS. Stack mencakup ClickHouse, PostgreSQL, Redis, dan penyimpanan kompatibel S3, dengan VM minimum yang direkomendasikan 4 core dan 16 GiB RAM. Biaya lisensi perangkat lunak nol, tetapi tim Anda yang memiliki infrastruktur dan operasionalnya. Edisi Enterprise self-hosted berbayar menambahkan dukungan khusus, audit log, SCIM, dan SLA.

Dalam hal kepatuhan, Langfuse Cloud memegang sertifikasi SOC 2 Type II, ISO 27001, GDPR, dan HIPAA. LangSmith Cloud memegang SOC 2 Type II, GDPR, dan HIPAA. ISO 27001 tidak tercantum untuk LangSmith. Jika proses pengadaan Anda mensyaratkan itu, ini perbedaan yang nyata.

Self-hosting LangSmith memerlukan kontrak Enterprise. Tidak ada jalur self-hosting open-source gratis yang tersedia. Tiga model deployment (Cloud, Bring-Your-Own-Cloud (BYOC), dan Self-hosted) semuanya berada di bawah payung Enterprise. SmithDB tersedia untuk semua metode hosting.

Harga Langfuse vs. LangSmith

Harga utama saja tidak menceritakan keseluruhan.

Harga juga sering berubah dalam kategori ini. Angka di bawah mencerminkan halaman resmi yang saya cek pada Juni 2026, tetapi periksa halaman harga terkini sebelum Anda menyusun anggaran dengan salah satu platform.

Harga Langfuse

Langfuse Cloud menagih berdasarkan unit: satu unit sama dengan satu trace, satu observasi, atau satu skor. Rumusnya adalah Units = Traces + Observations + Scores, sehingga run agen yang banyak alat dapat berbiaya lebih besar daripada trace prompt-respons sederhana. Paket gratis Hobby mencakup 50.000 unit per bulan, retensi 30 hari, dan dua pengguna. Core seharga $29/bulan dengan 100.000 unit termasuk, pengguna tak terbatas, dan retensi 90 hari. Pro seharga $199/bulan dengan akses data 3 tahun dan sertifikasi kepatuhan. Enterprise mulai dari $2.499/bulan dengan harga volume khusus. Overage mulai $8 per 100.000 unit tambahan.

Seperti disebutkan sebelumnya, Langfuse self-hosted tidak memiliki biaya lisensi perangkat lunak. SCIM, audit log, dan dukungan enterprise memerlukan lisensi komersial.

Harga LangSmith

LangSmith menagih per kursi dan per trace. Paket Developer gratis dengan 5.000 trace per bulan, satu kursi, dan retensi 14 hari. Plus seharga $39 per kursi per bulan dengan 10.000 trace dasar termasuk. Trace dasar memiliki retensi 14 hari; trace diperpanjang menyimpan data selama 400 hari dan berbiaya lebih tinggi. Tim beranggotakan lima orang pada paket Plus membayar $195/bulan untuk kursi sebelum overage trace. Harga Enterprise bersifat khusus.

Mekanisme retensi data

Seperti disebutkan sebelumnya, retensi diperpanjang aktif secara otomatis ketika evaluator menambahkan umpan balik ke trace. Baca dokumentasi penagihan LangSmith tentang retensi diperpanjang otomatis sebelum menyiapkan pipeline evaluasi.

Detail tersebut penting karena perbedaan kecil dalam kedalaman trace, penggunaan evaluator, dan retensi dapat mengubah tagihan bulanan.

Tabel Perbandingan Langfuse vs. LangSmith

Seperti disebutkan sebelumnya, perbedaan utama adalah pemilikan, kecocokan kerangka kerja, alur kerja evaluasi, dan harga. Tabel di bawah merangkum poin-poin tersebut sebelum bagian keputusan final.

Kesalahan Saat Memilih Platform Observability LLM

Menurut saya, pertama: Jangan hanya fokus pada tracing. Tracing memberi tahu apa yang terjadi, tetapi evaluasi memberi tahu apakah keluarannya baik. Jika Anda memilih berdasarkan visualisasi trace saja, Anda menggunakan kriteria yang keliru.

Kedua: Perhatikan mekanisme harga. Seperti dibahas di atas, biaya Langfuse bertambah seiring kedalaman trace, sementara retensi diperpanjang LangSmith dapat mengubah biaya evaluasi otomatis. Hitung dulu sebelum produksi.

Ketiga, self-hosting tidak berarti sama di kedua produk. Bagian self-hosting di atas menjelaskan alasannya. Jika kedaulatan data adalah persyaratan mutlak, perbedaan itu bisa menentukan perbandingan.

Terakhir, jangan memutuskan hanya berdasarkan kompatibilitas kerangka kerja. Kedua platform mendukung banyak stack aplikasi, dan stack dapat berubah. Persyaratan deployment dan alur kerja evaluasi lebih sulit diubah belakangan.

Kapan Memilih Langfuse

Berdasarkan trade-off di atas, Langfuse lebih cocok ketika:

• Tim Anda menginginkan integrasi native untuk kerangka kerja seperti CrewAI, Pydantic AI, LlamaIndex, atau panggilan API langsung ke OpenAI atau Anthropic.
• Kedaulatan data tidak dapat dinegosiasikan, dan input, output, serta trace LLM harus tetap berada di infrastruktur Anda sendiri.
• Tim Anda menginginkan evaluasi terintegrasi CI/CD dengan gerbang regresi otomatis melalui GitHub Actions.
• Anda memerlukan biaya yang dapat diprediksi untuk tim yang berkembang, karena paket Cloud berbayar menyertakan pengguna tak terbatas.

Kapan Memilih LangSmith

Berdasarkan trade-off yang sama, LangSmith lebih cocok ketika:

• Anda menginginkan platform yang agnostik model dan kerangka kerja untuk observability, evaluasi, debugging, dan pemantauan produksi di berbagai aplikasi LLM, dengan dukungan sangat mendalam untuk kerangka LangChain.
• Tim Anda menginginkan platform terkelola yang mendukung keseluruhan loop peningkatan agen.
• Anda menginginkan database berperforma tinggi untuk data trace Anda yang dapat dideploy di infrastruktur pilihan Anda
• Kebutuhan Anda melampaui observability ke platform LangSmith yang lebih luas, termasuk evaluasi, pemantauan produksi, agent server, dan LLM Gateway.
• Anda menginginkan trace, dataset, eksperimen, evaluasi online, umpan balik manusia, dan pemantauan produksi yang terhubung dalam satu alur kerja.

Kesimpulan

Langfuse dan LangSmith sama-sama menyelesaikan masalah nyata, dan keduanya banyak berubah selama setahun terakhir. Pada titik ini, trade-off-nya jelas.

Keputusan bukan tentang platform mana yang lebih banyak fiturnya. Ini adalah trade-off kepemilikan dan ekosistem seperti sebelumnya. Apakah Anda memerlukan jalur open-source dengan kontrol langsung atas stack data Anda, atau Anda menginginkan platform terkelola dengan observability, evaluasi, dan alur kerja produksi terintegrasi?

Satu catatan sebelum memutuskan: kedua platform sering berubah. Periksa changelog sebelum berkomitmen.

Untuk latar belakang terkait ekosistem LangChain, lihat tutorial LangChain vs. LangGraph vs. LangSmith vs. LangFlow kami.