Langfuse và LangSmith: So sánh các nền tảng khả quan sát LLM

Khi chatbot bắt đầu đưa ra câu trả lời kém, phản xạ thường là kiểm tra prompt. Cách đó ổn cho một cuộc gọi LLM đơn lẻ. Nó không còn hiệu quả khi ứng dụng là một agent thực hiện các cuộc gọi công cụ.

Phần ngữ cảnh bị thiếu đó là điều các nền tảng khả quan sát LLM cố gắng cung cấp. Chúng không phải là công cụ giám sát ứng dụng truyền thống. Công cụ truyền thống cho bạn biết độ trễ và tỷ lệ lỗi. Một nền tảng khả quan sát LLM cho bạn biết cuộc gọi công cụ nào trả về kết quả kém và liệu thay đổi prompt có cải thiện chất lượng đầu ra hay không.

Cả Langfuse và LangSmith đều hỗ trợ tracing, đánh giá và quản lý prompt, và cả hai đều ra mắt các bản cập nhật lớn đầu năm 2026. Tuy nhiên chúng không thể hoán đổi cho nhau. Khác biệt nằm ở yêu cầu triển khai, hệ công nghệ, và cách nhóm của bạn vận hành đánh giá.

Câu trả lời ngắn: Langfuse phù hợp với các nhóm cần mã nguồn mở tự triển khai, kiểm soát dữ liệu hoặc stack nằm ngoài LangChain. LangSmith phù hợp với các nhóm muốn một nền tảng độc lập khung làm việc với khả quan sát, đánh giá, gỡ lỗi và quy trình sản xuất tích hợp cho ứng dụng LLM. Nếu cả hai điều kiện đều không đúng, tôi sẽ xem xét giá.

Langfuse và LangSmith là gì?

Ở mức độ khái quát, cả hai sản phẩm đều giúp ứng dụng LLM có thể quan sát, kiểm thử và gỡ lỗi. Sau đây là mỗi sản phẩm.

Tổng quan vị trí nền tảng Langfuse so với LangSmith. Hình do Tác giả thực hiện.

Langfuse là gì?

Langfuse là nền tảng kỹ thuật LLM mã nguồn mở ra mắt năm 2023. Nó bao phủ tracing, quản lý prompt, đánh giá (LLM làm giám khảo, gán nhãn thủ công và kiểm tra dựa trên mã), thí nghiệm với tập dữ liệu, và giám sát chi phí lẫn độ trễ. Sản phẩm mã nguồn mở cốt lõi dùng giấy phép MIT.

Tháng 1/2026, ClickHouse công bố vòng Series D 400 triệu USD và mua lại Langfuse. Langfuse hiện là một phần của ClickHouse, cơ sở dữ liệu dạng cột vốn đã vận hành backend của Langfuse. Giấy phép MIT và định vị mã nguồn mở được xác nhận là không thay đổi tại thời điểm đó.

Langfuse vận hành dưới dạng dịch vụ đám mây quản lý với các vùng US, EU và Nhật Bản, hoặc tự triển khai mã nguồn mở mà không tốn phí giấy phép phần mềm.

LangSmith là gì?

LangSmith là nền tảng khả quan sát và đánh giá độc lập khung làm việc do LangChain Inc. xây dựng, đội ngũ đứng sau LangChain, LangGraph và Deep Agents. Nền tảng là sản phẩm độc quyền, đóng mã nguồn. LangChain huy động 125 triệu USD với định giá 1,25 tỷ USD vào tháng 10/2025.

Các năng lực chính gồm tracing trên toàn bộ một lần chạy ứng dụng, gỡ lỗi trực quan, đánh giá tự động, giám sát sản xuất và quản lý prompt qua Prompt Hub và Playground. Tháng 5/2026, LangChain ra mắt SmithDB, lớp dữ liệu viết bằng Rust hiện xử lý 100% ingestion của LangSmith US Cloud. SmithDB được thiết kế cho payload dữ liệu đặc thù do ứng dụng LLM tạo ra, giảm thời gian tải cây trace P50 xuống 92 mili giây và tìm kiếm toàn văn xuống 400 mili giây.

LangSmith khả dụng dưới dạng dịch vụ đám mây quản lý, triển khai mang đám mây riêng (BYOC) với dữ liệu trong VPC của khách hàng, hoặc tự triển khai Enterprise. LangChain cũng thông báo bản tự triển khai LangSmith sẽ hỗ trợ mang khóa riêng (BYOK) cho Engine, agent trong nền tảng để tìm và sửa lỗi trong ứng dụng LLM.

Mã nguồn mở và SaaS quản lý

Khác biệt cốt lõi giữa hai nền tảng không phải là "mã nguồn mở so với không mã nguồn mở." Sự khác biệt thực sự là quyền kiểm soát và khả năng di chuyển ở một bên, và các quy trình được quản lý ở bên còn lại. Langfuse cho phép bạn chạy stack trên hạ tầng riêng mà không tốn phí giấy phép. LangSmith cung cấp triển khai đám mây quản lý, BYOC và tự triển khai, với hỗ trợ gốc sâu cho LangChain, LangGraph và Deep Agents, nhưng không bắt buộc dùng các framework này.

Một cập nhật thay đổi cách đóng khung so sánh: LangSmith hiện hỗ trợ tracing OpenTelemetry thông qua gói langsmith[otel] và biến môi trường LANGSMITH_OTEL_ENABLED=true. Đây là một trong nhiều cách các nhóm có thể dùng LangSmith với ứng dụng không dùng LangChain. 

Vị trí cấu trúc của hai nền tảng như sau:

Phần còn lại của bài viết phân tích những khác biệt đó có ý nghĩa thế nào trong thực tế.

Tracing và khả quan sát

Tracing là nơi các sản phẩm bắt đầu khác nhau. Cả hai đều thu thập cuộc gọi LLM, cuộc gọi công cụ và siêu dữ liệu liên quan, nhưng các quy trình agent sẽ bộc lộ khác biệt nhanh hơn ứng dụng hỏi-đáp đơn giản.

Tracing yêu cầu

Langfuse xây dựng các trace phân cấp ghi nhận cuộc gọi LLM, gọi công cụ, embeddings và các bước truy xuất. Bạn có thể lọc theo người dùng, phiên, chi phí, độ trễ hoặc siêu dữ liệu tùy chỉnh. Tháng 5/2026, Langfuse bổ sung tìm kiếm toàn văn dựa trên FTS gốc của ClickHouse, rút ngắn các truy vấn trước đây gần 20 giây xuống dưới nửa giây.

LangSmith thu thập mọi cuộc gọi LLM và lần dùng công cụ như một cây chạy có thể kiểm tra. Với SmithDB hiện xử lý toàn bộ ingestion của US Cloud, cây trace tải ở P50 trong 92 mili giây. LangSmith còn có gom cụm chủ đề không giám sát, nhóm các trace theo chủ đề phát hiện để nhóm có điểm xuất phát khi chưa rõ vấn đề.

Hiển thị quy trình agent

Langfuse thêm Agent Graphs vào tháng 11/2025, trực quan hóa luồng thực thi cho agent nhiều bước bằng cách suy ra cấu trúc đồ thị từ thời điểm và lồng nhau của các quan sát. Hoạt động với mọi framework đã được gắn dụng cụ, có hỗ trợ gốc LangGraph. Cùng thời điểm, Trace Log View được bổ sung, cung cấp luồng phẳng các bước agent cho quy trình vòng lặp hoặc rẽ nhánh nhiều.

Đồ thị agent Langfuse cho thực thi LangGraph. Hình do Tác giả thực hiện.

Tracing LangGraph của LangSmith ghi nhận mọi nút, cạnh và chuyển trạng thái trong một lần chạy với cấu hình bằng không ngoài việc đặt biến môi trường. LangSmith Studio cho phép bạn bước qua quá trình thực thi agent, kiểm tra trạng thái tại mỗi nút và phát lại trace với mô hình hoặc prompt khác. Trong ứng dụng LangGraph, điều này cung cấp nhiều ngữ cảnh hơn so với cây trace chung.Tháng 9/2026, LangSmith phát hành Trajectories, giúp trace dễ gỡ lỗi hơn và đưa vào vòng lặp phản hồi với chuyên gia lĩnh vực.

Cây trace LangSmith cho quy trình agent. Hình do Tác giả thực hiện.

Giám sát sản xuất

Với giám sát sản xuất, cả hai nền tảng theo dõi độ trễ, số token, chi phí và tỷ lệ lỗi. LangSmith tích hợp cảnh báo PagerDuty và webhook cho sự cố sản xuất, cùng các quy trình giám sát gắn với trace và đánh giá. Langfuse có cảnh báo chi tiêu với ngưỡng cấu hình. Ở mức này, tính năng giám sát tương đồng.

Đánh giá offline và online

Tracing cho bạn biết điều gì đã xảy ra. Đánh giá cho bạn biết nó có tốt không. Trên thực tế, các công cụ này hữu ích hơn khi đánh giá là một phần của quy trình, không phải danh mục kiểm tra trước khi ra mắt.

LLM làm giám khảo và bộ đánh giá bằng mã

LLM-as-judge của Langfuse trở thành mã nguồn mở hoàn toàn theo MIT vào tháng 6/2025. Bất kỳ người dùng tự triển khai nào từ v3.65.0 trở lên đều có mà không cần giấy phép thương mại. Tháng 5/2026, Langfuse phát hành Code Evaluators: hàm evaluate bằng Python hoặc TypeScript bạn viết trực tiếp trong giao diện Langfuse. Chúng chạy các kiểm tra quyết định, như xác thực lược đồ JSON, xác thực regex hoặc xác minh tham số công cụ, không tốn token hay cuộc gọi mô hình giám khảo.

LangSmith cung cấp bộ đánh giá LLM-as-judge có thể cấu hình với kiểu phản hồi Boolean, Phân loại và Liên tục, cùng mẫu dựng sẵn cho Bảo mật, An toàn và Chất lượng. Nó cũng hỗ trợ few-shot correction, trong đó các chỉnh sửa do con người gán nhãn trên đầu ra của bộ đánh giá sẽ được đưa lại làm ví dụ few-shot để cải thiện hiệu chuẩn của bộ đánh giá theo thời gian.

Tập dữ liệu, thí nghiệm và gán nhãn thủ công

Đánh giá offline hoạt động trên cả hai nền tảng thông qua tập dữ liệu và so sánh thí nghiệm cạnh nhau. Langfuse thêm Score Analytics vào tháng 11/2025 để đo độ phù hợp của bộ đánh giá qua precision, recall, F1, chi phí và độ chính xác. So sánh baseline, cũng tháng 11/2025, cho phép gắn cờ một lần chạy cụ thể làm điểm tham chiếu và hiển thị thoái lui so với nó.

Tích hợp CI/CD GitHub Actions của Langfuse, phát hành tháng 5/2026 qua langfuse/experiment-action, sẽ khiến workflow thất bại khi điểm thí nghiệm thấp hơn ngưỡng. Điều đó biến đánh giá thành cổng triển khai thay vì rà soát sau phát hành.

Vòng lặp đánh giá Langfuse với GitHub Actions. Hình do Tác giả thực hiện.

Thiết lập đánh giá của LangSmith có một hành vi tính phí cần lưu ý sớm: các bộ đánh giá thêm phản hồi vào trace có thể nâng cấp trace đó lên tầng lưu trữ mở rộng. Như tôi sẽ đề cập ở phần giá, điều đó thay đổi chi phí của quy trình đánh giá.

Phiên bản hóa prompt, triển khai và A/B testing

Quản lý prompt ở đây không chỉ là lịch sử phiên bản. Quy trình là: lặp trong sandbox, kiểm thử với tập dữ liệu, đưa lên sản xuất và rollback gọn khi có sự cố.

Langfuse gán ID phiên bản cho mọi phiên bản prompt và dùng các nhãn như production và staging để kiểm soát phiên bản nào đang chạy. Đổi nhãn trong UI là cách bạn triển khai hoặc rollback. Prompt được cache phía client bởi SDK, nên không thêm độ trễ cho cuộc gọi sản xuất khi SDK lấy phiên bản đang hoạt động. Nhãn được bảo vệ cho phép quản trị viên hạn chế vai trò nào có thể chỉnh sửa nhãn production, điều này quan trọng khi bạn có nhiều cộng tác viên với mức truy cập khác nhau.

LangSmith quản lý prompt qua Prompt và Context Hub với phiên bản hóa theo hash commit để ghim chính xác phiên bản ở mức lập trình. Prompt Hub có thư viện cộng đồng mà Langfuse không có. A/B testing qua thí nghiệm trên tập dữ liệu có ở cả hai nền tảng.

Ở hạng mục này, hai sản phẩm gần nhau hơn so với phần hosting, giá hay thiết lập framework.

Langfuse và LangSmith cho ứng dụng agent

Agent đã thúc đẩy phần lớn tính năng trên cả hai nền tảng trong năm qua. Việc agent được xây dựng ở đâu là điều quan trọng ở đây.

Langfuse hiển thị các công cụ khả dụng, làm nổi bật công cụ đã được gọi, và hiển thị tham số cùng ID cuộc gọi. Các loại quan sát mở rộng phân biệt cuộc gọi công cụ, embeddings và cuộc gọi guardrail trong chế độ xem trace. Như đã đề cập, Code Evaluators cũng có thể xác minh tham số công cụ đối chiếu với lược đồ. Máy chủ MCP mở rộng tháng 5/2026 bao phủ 15 danh mục công cụ, nên các agent trong Claude Code, Cursor hoặc OpenAI Codex có thể truy vấn dữ liệu Langfuse bằng lập trình.

Điểm LangGraph từ phần tracing xuất hiện lại ở đây. Hỗ trợ agent của LangSmith gồm kiểm tra trạng thái tại mỗi nút, phát lại trace với mô hình thay thế và LangSmith Studio để gỡ lỗi theo từng bước trực quan. Đội ngũ kỹ thuật Monte Carlo, vận hành hệ thống sản xuất gồm hàng trăm sub-agent, đã nêu tích hợp LangGraph không cần thiết lập này là lý do then chốt họ chọn nền tảng.

Với các agent xây dựng bằng CrewAI, Pydantic AI hoặc các framework đa agent khác, Langfuse có gắn dụng cụ gốc rộng hơn và thường cần ít thiết lập thủ công hơn.

Tích hợp framework và SDK

Langfuse liệt kê tích hợp rộng khắp nhà cung cấp mô hình, framework, gateway, công cụ no-code, phân tích và công cụ nhà phát triển. Framework gồm LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex và các công cụ khác. Nền tảng hỗ trợ OpenTelemetry gốc ở cấp SDK.

SDK gốc của LangSmith bao phủ Python, TypeScript, Go và Java. Ngoài LangChain, LangGraph và Deep Agents, nó hoạt động với OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, triển khai tùy chỉnh và OpenTelemetry. Điều đó có nghĩa nó không chỉ là công cụ tracing dành riêng cho LangChain.

Câu hỏi thực tiễn không chỉ là framework có được hỗ trợ không, vì hầu hết framework phổ biến đều hoạt động với cả hai nền tảng. Mà là bạn cần viết bao nhiêu phần gắn dụng cụ.

Langfuse mã nguồn mở và LangSmith Enterprise

Tự triển khai thay đổi bức tranh vận hành và tuân thủ nhiều hơn hầu hết các hạng mục tính năng khác.

Tự triển khai của Langfuse miễn phí theo MIT. Docker Compose phù hợp cho phát triển hoặc đánh giá; triển khai sản xuất thường dùng Kubernetes với Helm trên GKE, EKS hoặc AKS. Stack gồm ClickHouse, PostgreSQL, Redis và lưu trữ tương thích S3, với khuyến nghị tối thiểu VM 4 nhân và 16 GiB RAM. Chi phí giấy phép phần mềm bằng không, nhưng nhóm của bạn sở hữu hạ tầng và vận hành. Bản Enterprise Edition tự triển khai có phí bổ sung hỗ trợ riêng, nhật ký kiểm toán, SCIM và SLA.

Về tuân thủ, Langfuse Cloud có chứng nhận SOC 2 Type II, ISO 27001, GDPR và HIPAA. LangSmith Cloud có SOC 2 Type II, GDPR và HIPAA. ISO 27001 không được liệt kê cho LangSmith. Nếu quy trình mua sắm của bạn yêu cầu mục đó, đây là khác biệt cụ thể.

Tự triển khai LangSmith yêu cầu hợp đồng Enterprise. Không có con đường tự triển khai miễn phí, mã nguồn mở. Ba mô hình triển khai (Cloud, Bring-Your-Own-Cloud (BYOC) và Tự triển khai) đều thuộc gói Enterprise. SmithDB khả dụng cho mọi phương thức hosting.

Giá Langfuse và LangSmith

Giá tiêu đề không nói hết câu chuyện.

Giá trong danh mục này cũng thay đổi thường xuyên. Các con số dưới đây phản ánh trang chính thức tôi kiểm tra vào tháng 6/2026, nhưng hãy kiểm tra trang giá hiện tại trước khi bạn lập ngân sách cho bất kỳ nền tảng nào.

Giá Langfuse

Langfuse Cloud tính theo đơn vị: một đơn vị bằng một trace, một observation hoặc một score. Công thức là Units = Traces + Observations + Scores, nên một lần chạy agent gọi nhiều công cụ có thể tốn hơn một trace hỏi-đáp đơn giản. Gói Hobby miễn phí gồm 50.000 đơn vị mỗi tháng, lưu trữ 30 ngày và hai người dùng. Gói Core giá 29 USD/tháng với 100.000 đơn vị bao gồm, người dùng không giới hạn và lưu trữ 90 ngày. Pro 199 USD/tháng với truy cập dữ liệu 3 năm và chứng nhận tuân thủ. Enterprise bắt đầu từ 2.499 USD/tháng với giá theo khối lượng tùy chỉnh. Vượt mức bắt đầu ở 8 USD cho mỗi 100.000 đơn vị bổ sung.

Như đã đề cập, Langfuse tự triển khai không có chi phí giấy phép phần mềm. SCIM, nhật ký kiểm toán và hỗ trợ doanh nghiệp yêu cầu giấy phép thương mại.

Giá LangSmith

LangSmith tính theo ghế và theo trace. Gói Developer miễn phí với 5.000 trace mỗi tháng, một ghế và lưu trữ 14 ngày. Gói Plus giá 39 USD mỗi ghế mỗi tháng với 10.000 trace cơ bản bao gồm. Trace cơ bản lưu 14 ngày; trace mở rộng giữ dữ liệu 400 ngày và tốn nhiều hơn. Một nhóm năm người dùng Plus trả 195 USD/tháng cho ghế trước khi vượt mức trace. Giá Enterprise là tùy chỉnh.

Cơ chế lưu trữ dữ liệu

Như đã đề cập, lưu trữ mở rộng được kích hoạt tự động khi bộ đánh giá thêm phản hồi vào trace. Đọc tài liệu tính phí của LangSmith về tự động lưu trữ mở rộng trước khi thiết lập pipeline đánh giá.

Những chi tiết đó quan trọng vì khác biệt nhỏ trong độ sâu trace, mức dùng bộ đánh giá và lưu trữ có thể làm thay đổi hóa đơn hàng tháng.

Bảng so sánh Langfuse và LangSmith

Như đã đề cập, khác biệt chính là quyền sở hữu hệ sinh thái, mức phù hợp framework, quy trình đánh giá và giá. Bảng dưới nén các điểm đó trước phần quyết định cuối.

Sai lầm khi chọn nền tảng khả quan sát LLM

Điều đầu tiên, theo tôi: Đừng chỉ tập trung vào tracing. Tracing cho biết điều gì đã xảy ra, nhưng đánh giá cho biết đầu ra có tốt không. Nếu bạn chọn dựa trên trực quan hóa trace đơn thuần, bạn đang dùng tiêu chí sai.

Điều thứ hai: Chú ý cơ chế tính giá. Như đã đề cập, chi phí Langfuse tăng theo độ sâu trace, trong khi lưu trữ mở rộng của LangSmith có thể thay đổi chi phí đánh giá tự động. Hãy tính toán trước khi đưa vào sản xuất.

Thứ ba, tự triển khai không có nghĩa giống nhau ở hai sản phẩm. Phần tự triển khai ở trên cho thấy lý do. Nếu chủ quyền dữ liệu là yêu cầu cứng, khác biệt đó có thể quyết định so sánh.

Cuối cùng, đừng quyết định chỉ dựa trên khả năng tương thích framework. Cả hai nền tảng hỗ trợ nhiều stack ứng dụng, và stack có thể thay đổi. Yêu cầu triển khai và quy trình đánh giá khó thay đổi về sau hơn.

Khi nào nên chọn Langfuse

Dựa trên các đánh đổi ở trên, Langfuse phù hợp hơn khi:

• Nhóm của bạn muốn tích hợp gốc cho các framework như CrewAI, Pydantic AI, LlamaIndex hoặc gọi API trực tiếp tới OpenAI hay Anthropic.
• Chủ quyền dữ liệu là bất khả thương lượng, và đầu vào, đầu ra LLM cùng trace cần ở lại trên hạ tầng của bạn.
• Nhóm của bạn muốn đánh giá tích hợp CI/CD với cổng hồi quy tự động qua GitHub Actions.
• Bạn cần chi phí dự đoán được cho một nhóm đang lớn, vì các gói Cloud trả phí bao gồm người dùng không giới hạn.

Khi nào nên chọn LangSmith

Cũng dựa trên các đánh đổi đó, LangSmith phù hợp hơn khi:

• Bạn muốn một nền tảng độc lập mô hình và framework cho khả quan sát, đánh giá, gỡ lỗi và giám sát sản xuất trên các ứng dụng LLM, với hỗ trợ đặc biệt sâu cho các framework LangChain.
• Nhóm của bạn muốn một nền tảng được quản lý hỗ trợ toàn bộ vòng lặp cải tiến agent.
• Bạn muốn một cơ sở dữ liệu hiệu năng cao cho dữ liệu trace có thể triển khai trên hạ tầng ưa thích.
• Nhu cầu của bạn vượt quá khả quan sát sang nền tảng rộng hơn của LangSmith, gồm đánh giá, giám sát sản xuất, agent server và LLM Gateway.
• Bạn muốn trace, tập dữ liệu, thí nghiệm, đánh giá online, phản hồi con người và giám sát sản xuất được kết nối trong một quy trình.

Kết luận

Langfuse và LangSmith đều giải quyết một vấn đề thực tế, và cả hai đã thay đổi nhiều trong năm qua. Ở thời điểm này, đánh đổi đã rõ ràng.

Quyết định không nằm ở việc nền tảng nào có nhiều tính năng hơn. Đó là đánh đổi về quyền sở hữu và hệ sinh thái như đã nói trước đó. Bạn cần một lộ trình mã nguồn mở với quyền kiểm soát trực tiếp stack dữ liệu, hay bạn muốn một nền tảng được quản lý với khả quan sát, đánh giá và quy trình sản xuất tích hợp?

Một lưu ý trước khi quyết định: cả hai nền tảng thay đổi thường xuyên. Hãy kiểm tra changelog trước khi cam kết.

Để có nền tảng liên quan về hệ sinh thái LangChain, xem hướng dẫn LangChain vs. LangGraph vs. LangSmith vs. LangFlow của chúng tôi.