Langfuse so với LangSmith: So sánh các nền tảng quan sát LLM

Khi chatbot bắt đầu đưa ra câu trả lời kém, phản xạ đầu tiên thường là kiểm tra prompt. Cách đó ổn với một lần gọi LLM đơn lẻ. Nhưng nó không còn hiệu quả khi ứng dụng là một agent thực hiện các lệnh gọi công cụ.

Phần ngữ cảnh bị thiếu đó là điều các nền tảng quan sát LLM cố gắng cung cấp. Chúng không phải là công cụ giám sát ứng dụng truyền thống. Công cụ truyền thống cho bạn biết về độ trễ và tỷ lệ lỗi. Nền tảng quan sát LLM cho bạn biết lệnh gọi công cụ nào trả về kết quả tệ và liệu thay đổi prompt có cải thiện chất lượng đầu ra hay không.

Cả Langfuse và LangSmith đều bao phủ truy vết, đánh giá và quản lý prompt, và cả hai đều phát hành các cập nhật lớn vào đầu năm 2026. Tuy nhiên, chúng không thể thay thế cho nhau. Sự khác biệt nằm ở yêu cầu triển khai, stack công nghệ và cách đội ngũ của bạn vận hành việc đánh giá.

Câu trả lời ngắn: Langfuse phù hợp với các đội cần mã nguồn mở tự lưu trữ, kiểm soát dữ liệu hoặc một stack ngoài LangChain. LangSmith phù hợp với các đội đã xây dựng bằng LangChain hoặc LangGraph, nhưng giờ không còn bị giới hạn trong hệ sinh thái đó. Nếu cả hai điều kiện đều không đúng, tôi sẽ xem xét giá.

Langfuse và LangSmith là gì?

Ở mức khái quát, cả hai sản phẩm đều giúp ứng dụng LLM có thể quan sát, kiểm thử và gỡ lỗi. Dưới đây là từng sản phẩm.

Tổng quan vị trí nền tảng Langfuse so với LangSmith. Hình do Tác giả cung cấp.

Langfuse là gì?

Langfuse là một nền tảng kỹ thuật LLM mã nguồn mở ra mắt năm 2023. Nó bao phủ truy vết, quản lý prompt, đánh giá (LLM làm giám khảo, gán nhãn thủ công và kiểm tra dựa trên mã), thí nghiệm trên tập dữ liệu, cùng giám sát chi phí và độ trễ. Sản phẩm lõi mã nguồn mở dùng giấy phép MIT.

Tháng 1/2026, ClickHouse công bố vòng Series D trị giá 400 triệu USD và mua lại Langfuse. Langfuse hiện thuộc ClickHouse, cơ sở dữ liệu dạng cột vốn đã vận hành backend của Langfuse. Giấy phép MIT và định vị mã nguồn mở được xác nhận là không thay đổi tại thời điểm đó.

Langfuse có bản dịch vụ đám mây quản lý với các khu vực Mỹ, EU và Nhật Bản, hoặc bản tự lưu trữ mã nguồn mở không tốn phí giấy phép phần mềm.

LangSmith là gì?

LangSmith là nền tảng quan sát và đánh giá do LangChain Inc. xây dựng, đội ngũ đứng sau LangChain và LangGraph. Nền tảng là sở hữu độc quyền và đóng mã nguồn. LangChain huy động 125 triệu USD với định giá 1,25 tỷ USD vào tháng 10/2025.

Các khả năng chính gồm truy vết trên toàn bộ một lần chạy ứng dụng, gỡ lỗi trực quan, đánh giá tự động, giám sát vận hành và quản lý prompt qua Prompt Hub và Playground. Tháng 5/2026, LangChain ra mắt SmithDB, lớp dữ liệu viết bằng Rust hiện xử lý 100% việc ingest của LangSmith US Cloud. SmithDB giảm thời gian tải cây truy vết P50 xuống 92 mili giây và tìm kiếm toàn văn xuống 400 mili giây.

LangSmith khả dụng dưới dạng dịch vụ đám mây quản lý, triển khai lai với mặt phẳng dữ liệu trong VPC của khách hàng, hoặc tự lưu trữ cho khách hàng Enterprise.

Mã nguồn mở so với SaaS quản lý

Khác biệt cốt lõi giữa hai nền tảng không phải là "mã nguồn mở hay không." Khác biệt thực sự là quyền kiểm soát và khả năng di chuyển ở một bên, và mức độ phù hợp với LangChain/LangGraph ở bên kia. Langfuse cho phép bạn chạy stack trên hạ tầng của chính mình mà không tốn phí giấy phép. LangSmith cần ít thiết lập hơn khi ứng dụng của bạn vốn đã chạy trên LangChain hoặc LangGraph.

Một cập nhật làm thay đổi cách đóng khung so sánh này: LangSmith hiện hỗ trợ truy vết OpenTelemetry thông qua gói langsmith[otel] và biến môi trường LANGSMITH_OTEL_ENABLED=true. LangSmith không còn bị giới hạn ở các ứng dụng chỉ dùng LangChain. Tích hợp gần nhất vẫn là với LangGraph, như tôi sẽ đề cập ở phần truy vết.

Vị trí cấu trúc của hai nền tảng như sau:

Phần còn lại của bài viết sẽ phân tích những khác biệt đó có ý nghĩa gì trong thực tế.

Truy vết và khả năng quan sát

Truy vết là nơi hai sản phẩm bắt đầu khác nhau. Cả hai đều ghi nhận các lần gọi LLM, lệnh gọi công cụ và siêu dữ liệu liên quan, nhưng quy trình làm việc của agent sẽ làm lộ khác biệt nhanh hơn các ứng dụng hỏi-đáp đơn giản.

Truy vết yêu cầu

Langfuse xây dựng truy vết phân cấp ghi nhận các lần gọi LLM, kích hoạt công cụ, embeddings và các bước truy xuất. Bạn có thể lọc theo người dùng, phiên, chi phí, độ trễ hoặc siêu dữ liệu tùy chỉnh. Tháng 5/2026, Langfuse bổ sung tìm kiếm toàn văn dựa trên FTS gốc của ClickHouse, rút ngắn các truy vấn vốn gần 20 giây xuống dưới nửa giây.

LangSmith ghi nhận mọi lần gọi LLM và sử dụng công cụ dưới dạng cây chạy có thể kiểm tra. Với SmithDB hiện xử lý toàn bộ ingest trên US Cloud, cây truy vết tải ở P50 trong 92 mili giây. LangSmith cũng có gom cụm chủ đề không giám sát, nhóm các truy vết theo chủ đề phát hiện và cung cấp điểm khởi đầu khi đội ngũ chưa biết vấn đề nằm ở đâu.

Hiển thị quy trình agent

Langfuse bổ sung Agent Graphs vào tháng 11/2025, trực quan hóa luồng thực thi cho các agent nhiều bước bằng cách suy luận cấu trúc đồ thị từ thời điểm và mức lồng ghép quan sát. Nó hoạt động với bất kỳ framework có gắn nhãn nào, kèm hỗ trợ gốc cho LangGraph. Cùng lúc, Trace Log View được thêm vào, cung cấp luồng phẳng các bước agent cho quy trình thường xuyên lặp hoặc rẽ nhánh.

Đồ thị agent Langfuse cho thực thi LangGraph. Hình do Tác giả cung cấp.

Truy vết LangGraph của LangSmith ghi nhận mọi nút, cạnh và chuyển trạng thái trong một lần chạy mà không cần cấu hình gì ngoài việc đặt biến môi trường. LangSmith Studio cho phép bạn bước qua quá trình thực thi agent, kiểm tra trạng thái tại từng nút và phát lại một truy vết với mô hình hoặc prompt khác. Trong một ứng dụng LangGraph, điều này cung cấp nhiều ngữ cảnh hơn so với cây truy vết chung.

Cây truy vết LangSmith cho quy trình agent. Hình do Tác giả cung cấp.

Giám sát vận hành

Với giám sát vận hành, cả hai nền tảng đều theo dõi độ trễ, số token, chi phí và tỷ lệ lỗi. LangSmith tích hợp cảnh báo PagerDuty và webhook cho sự cố vận hành. Langfuse có cảnh báo chi tiêu với ngưỡng cấu hình được. Ở mức này, tính năng giám sát khá tương đồng.

Đánh giá offline và online

Truy vết cho bạn biết điều gì đã xảy ra. Đánh giá cho bạn biết nó có tốt hay không. Thực tế, các công cụ này hữu ích hơn khi đánh giá là một phần của quy trình, không phải một danh sách kiểm tra trước khi ra mắt.

LLM làm giám khảo và bộ đánh giá bằng mã

Tính năng LLM làm giám khảo của Langfuse trở thành mã nguồn mở hoàn toàn theo MIT vào tháng 6/2025. Bất kỳ người dùng tự lưu trữ nào từ v3.65.0 trở lên đều có được mà không cần giấy phép thương mại. Tháng 5/2026, Langfuse phát hành Code Evaluators: các hàm evaluate bằng Python hoặc TypeScript do bạn viết trực tiếp trong UI của Langfuse. Chúng chạy các kiểm tra xác định, như xác thực schema JSON, xác thực regex hoặc xác minh tham số công cụ, mà không tốn token hay cần gọi mô hình giám khảo.

LangSmith cung cấp các bộ đánh giá LLM làm giám khảo có thể cấu hình với các loại phản hồi Boolean, Phân loại và Liên tục, cùng mẫu dựng sẵn cho Bảo mật, An toàn và Chất lượng. Nó cũng hỗ trợ hiệu chỉnh few-shot, nơi các chỉnh sửa do con người gán nhãn trên đầu ra của bộ đánh giá được đưa lại làm ví dụ few-shot để cải thiện hiệu chuẩn theo thời gian.

Tập dữ liệu, thí nghiệm và gán nhãn thủ công

Đánh giá offline hoạt động trên cả hai nền tảng thông qua tập dữ liệu và so sánh thí nghiệm song song. Langfuse bổ sung Score Analytics vào tháng 11/2025 để đo mức độ tương thích của bộ đánh giá qua precision, recall, F1, chi phí và độ chính xác. So sánh baseline, cũng vào tháng 11/2025, cho phép bạn đánh dấu một lần chạy cụ thể làm điểm tham chiếu và hiển thị các hồi quy so với nó.

Tích hợp CI/CD GitHub Actions của Langfuse, phát hành tháng 5/2026 qua langfuse/experiment-action, sẽ làm fail workflow khi điểm thí nghiệm giảm dưới ngưỡng. Điều đó biến đánh giá thành cổng triển khai thay vì rà soát sau phát hành.

Vòng lặp đánh giá Langfuse với GitHub Actions. Hình do Tác giả cung cấp.

Thiết lập đánh giá của LangSmith có một hành vi tính phí cần lưu ý sớm: các bộ đánh giá thêm phản hồi vào truy vết sẽ tự động nâng các truy vết đó lên mức lưu giữ mở rộng. Như tôi sẽ đề cập ở phần giá, điều đó thay đổi chi phí của quy trình đánh giá.

Phiên bản hóa prompt, triển khai và thử nghiệm A/B

Quản lý prompt ở đây không chỉ là lịch sử phiên bản. Quy trình là: lặp trong sandbox, kiểm thử với tập dữ liệu, đưa lên sản xuất và hoàn nguyên gọn gàng khi có sự cố.

Langfuse gán ID phiên bản cho mỗi prompt và dùng các nhãn như production và staging để kiểm soát phiên bản nào đang chạy. Thay đổi nhãn trong UI là cách bạn triển khai hoặc hoàn nguyên. Prompt được cache phía client bởi SDK, nên không thêm độ trễ vào các cuộc gọi sản xuất khi SDK lấy phiên bản đang hoạt động. Nhãn được bảo vệ cho phép admin giới hạn vai trò có thể sửa nhãn production, hữu ích khi bạn có nhiều cộng tác viên với các mức truy cập khác nhau.

LangSmith quản lý prompt qua LangChain Hub với phiên bản hóa theo hash commit để ghim chính xác phiên bản bằng lập trình. Prompt Hub có thư viện cộng đồng mà Langfuse không có. Thử nghiệm A/B qua thí nghiệm trên tập dữ liệu có ở cả hai nền tảng.

Ở hạng mục này, hai sản phẩm gần nhau hơn so với lưu trữ, giá và thiết lập framework.

Langfuse và LangSmith cho ứng dụng agent

Agent đã thúc đẩy phần lớn tính năng trên cả hai nền tảng trong năm qua. Ở đây, agent được xây dựng bằng gì là điều quan trọng.

Langfuse hiển thị các công cụ sẵn có, làm nổi bật công cụ nào đã được gọi, và cho thấy tham số cùng ID cuộc gọi. Các loại quan sát mở rộng phân biệt lệnh gọi công cụ, embeddings và lệnh guardrail trong chế độ xem truy vết. Như tôi đã đề cập, Code Evaluators cũng có thể xác minh tham số công cụ theo schema. Máy chủ MCP được mở rộng vào tháng 5/2026 để bao phủ 15 danh mục công cụ, nên các agent trong Claude Code, Cursor hoặc OpenAI Codex có thể truy vấn dữ liệu Langfuse bằng lập trình.

Điểm LangGraph từ phần truy vết xuất hiện lại ở đây. Hỗ trợ agent của LangSmith gồm kiểm tra trạng thái tại mọi nút, phát lại truy vết với mô hình thay thế, và LangSmith Studio để gỡ lỗi từng bước trực quan. Đội ngũ kỹ thuật của Monte Carlo, vận hành một hệ thống sản xuất gồm hàng trăm sub-agent, đã coi tích hợp LangGraph không cần cấu hình này là lý do then chốt để họ lựa chọn.

Với các agent xây dựng bằng CrewAI, Pydantic AI, hoặc các framework multi-agent khác, Langfuse có gắn nhãn gốc rộng hơn và thường cần ít thiết lập thủ công hơn.

Tích hợp framework và SDK

Langfuse liệt kê các tích hợp rộng khắp nhà cung cấp mô hình, framework, gateway, công cụ no-code, phân tích và công cụ nhà phát triển. Framework gồm LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex và các công cụ khác. Nền tảng gốc OpenTelemetry ở cấp độ SDK.

SDK gốc của LangSmith bao phủ Python, TypeScript, Go và Java. Ngoài LangChain và LangGraph, nó hoạt động với OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, triển khai tùy chỉnh và OpenTelemetry. Điều đó có nghĩa đây không chỉ là công cụ truy vết cho LangChain, dù LangGraph vẫn là mức phù hợp nhất.

Câu hỏi thực tế không chỉ là liệu một framework có được hỗ trợ, vì hầu hết framework phổ biến đều hoạt động với cả hai nền tảng. Mà là bạn phải viết bao nhiêu phần gắn nhãn. LangGraph có truy vết không cần cấu hình trong LangSmith. Các framework khác có thể cần ít thiết lập hơn trong Langfuse. Nỗ lực thiết lập khác nhau theo stack.

Langfuse mã nguồn mở so với LangSmith Enterprise

Tự lưu trữ làm thay đổi bức tranh vận hành và tuân thủ nhiều hơn đa số hạng mục tính năng khác.

Tự lưu trữ Langfuse miễn phí theo MIT. Docker Compose phù hợp cho phát triển hoặc đánh giá; triển khai sản xuất thường dùng Kubernetes với Helm trên GKE, EKS hoặc AKS. Stack gồm ClickHouse, PostgreSQL, Redis và lưu trữ tương thích S3, với máy ảo tối thiểu khuyến nghị 4 nhân và 16 GiB RAM. Phí giấy phép phần mềm bằng 0, nhưng đội ngũ của bạn sở hữu hạ tầng và vận hành. Bản Enterprise tự lưu trữ tính phí thêm hỗ trợ chuyên dụng, nhật ký kiểm toán, SCIM và SLA.

Về tuân thủ, Langfuse Cloud có chứng chỉ SOC 2 Type II, ISO 27001, GDPR và HIPAA. LangSmith Cloud có SOC 2 Type II, GDPR và HIPAA. ISO 27001 không được liệt kê cho LangSmith. Nếu quy trình mua sắm của bạn yêu cầu mục này, đó là khác biệt cụ thể.

Tự lưu trữ LangSmith cần hợp đồng Enterprise. Không có con đường mã nguồn mở, tự lưu trữ miễn phí. Ba mô hình triển khai (Cloud, Hybrid và Self-hosted) đều thuộc gói Enterprise. SmithDB cho LangSmith tự lưu trữ đang ở giai đoạn early access tính đến tháng 5/2026, chưa GA.

Giá Langfuse và LangSmith

Giá niêm yết không nói lên toàn bộ câu chuyện.

Giá trong lĩnh vực này cũng thay đổi thường xuyên. Các con số dưới đây phản ánh trang chính thức tôi kiểm tra vào tháng 6/2026, nhưng hãy kiểm tra trang giá hiện tại trước khi lập ngân sách cho bất kỳ nền tảng nào.

Giá Langfuse

Langfuse Cloud tính theo đơn vị: một đơn vị bằng một trace, một observation hoặc một score. Công thức là Units = Traces + Observations + Scores, nên một lần chạy agent dùng nhiều công cụ có thể tốn hơn một truy vết hỏi-đáp đơn giản. Gói Hobby miễn phí gồm 50.000 đơn vị mỗi tháng, lưu giữ 30 ngày và hai người dùng. Gói Core giá 29 USD/tháng với 100.000 đơn vị kèm, người dùng không giới hạn và lưu giữ 90 ngày. Pro là 199 USD/tháng với truy cập dữ liệu 3 năm và chứng chỉ tuân thủ. Enterprise bắt đầu từ 2.499 USD/tháng với giá theo dung lượng tùy chỉnh. Vượt mức bắt đầu từ 8 USD cho mỗi 100.000 đơn vị bổ sung.

Như đã đề cập, Langfuse tự lưu trữ không tốn phí giấy phép phần mềm. SCIM, nhật ký kiểm toán và hỗ trợ doanh nghiệp cần giấy phép thương mại.

Giá LangSmith

LangSmith tính phí theo số ghế và theo truy vết. Gói Developer miễn phí với 5.000 truy vết mỗi tháng, một ghế và lưu giữ 14 ngày. Gói Plus giá 39 USD mỗi ghế mỗi tháng với 10.000 truy vết cơ bản kèm theo. Truy vết cơ bản có lưu giữ 14 ngày; truy vết mở rộng giữ dữ liệu 400 ngày và tốn phí cao hơn. Một đội 5 người dùng gói Plus trả 195 USD/tháng tiền ghế trước khi vượt mức truy vết. Giá Enterprise tùy chỉnh.

Cơ chế lưu giữ dữ liệu

Như đã đề cập, lưu giữ mở rộng kích hoạt tự động khi bộ đánh giá thêm phản hồi vào truy vết. Hãy đọc tài liệu tính phí của LangSmith về tự động lưu giữ mở rộng trước khi thiết lập pipeline đánh giá.

Những chi tiết đó quan trọng vì khác biệt nhỏ ở độ sâu truy vết, mức dùng bộ đánh giá và lưu giữ có thể thay đổi chi phí hàng tháng.

Bảng so sánh Langfuse và LangSmith

Như đã đề cập, khác biệt chính là quyền sở hữu, mức phù hợp framework, quy trình đánh giá và giá. Bảng dưới đây tóm lược các điểm đó trước phần quyết định cuối.

Sai lầm khi chọn nền tảng quan sát LLM

Theo tôi, đầu tiên: Đừng chỉ tập trung vào truy vết. Truy vết cho biết điều gì đã xảy ra, nhưng đánh giá cho biết đầu ra có tốt không. Nếu bạn chọn dựa trên biểu đồ truy vết đơn thuần, bạn đang dùng tiêu chí sai.

Thứ hai: Hãy để ý cơ chế tính phí. Như đã trình bày, chi phí Langfuse tăng theo độ sâu truy vết, còn lưu giữ mở rộng của LangSmith có thể thay đổi chi phí đánh giá tự động. Hãy tính toán trước khi đưa vào sản xuất.

Thứ ba, tự lưu trữ không có nghĩa giống nhau ở cả hai sản phẩm. Phần tự lưu trữ bên trên cho thấy lý do. Nếu chủ quyền dữ liệu là yêu cầu bắt buộc, khác biệt đó có thể quyết định lựa chọn.

Cuối cùng, đừng quyết định chỉ dựa trên khả năng tương thích framework. Stack có thể thay đổi. Yêu cầu triển khai và quy trình đánh giá khó thay thế hơn về sau.

Khi nào nên chọn Langfuse

Dựa trên các đánh đổi ở trên, Langfuse phù hợp hơn khi:

• Đội ngũ của bạn không chủ yếu dùng LangChain hoặc LangGraph, và bạn xây dựng với CrewAI, Pydantic AI, LlamaIndex hoặc gọi API trực tiếp tới OpenAI hay Anthropic.
• Chủ quyền dữ liệu là không thể thương lượng, và đầu vào, đầu ra LLM cùng truy vết cần ở lại trên hạ tầng của riêng bạn.
• Danh mục tuân thủ của bạn yêu cầu ISO 27001 ngoài SOC 2 và HIPAA.
• Đội ngũ muốn đánh giá tích hợp CI/CD với cổng hồi quy tự động qua GitHub Actions.
• Bạn cần chi phí dễ dự đoán cho đội ngũ đang tăng trưởng, vì các gói Cloud trả phí bao gồm người dùng không giới hạn.

Khi nào nên chọn LangSmith

Cũng dựa trên các đánh đổi đó, LangSmith phù hợp hơn khi:

• Bạn xây dựng bằng LangGraph và muốn truy vết không cần cấu hình, trực quan hóa đồ thị gốc và gỡ lỗi từng bước trong LangSmith Studio.
• Đội ngũ muốn một nền tảng quản lý không cần vận hành hạ tầng.
• Bạn coi trọng Prompt Hub cộng đồng để khám phá và chia sẻ prompt giữa các đội ngoài tổ chức.
• Nhu cầu của bạn vượt ra ngoài khả năng quan sát sang nền tảng rộng hơn của LangSmith, hiện bao gồm triển khai agent và quản lý Fleet.

Kết luận

Cả Langfuse và LangSmith đều giải quyết một vấn đề thực tế, và cả hai đã thay đổi rất nhiều trong năm qua. Tại thời điểm này, đánh đổi đã rõ.

Quyết định không nằm ở nền tảng nào có nhiều tính năng hơn. Đó là đánh đổi về quyền sở hữu và hệ sinh thái như đã nêu. Bạn cần kiểm soát stack dữ liệu, hay bạn muốn ít thiết lập hơn trong thế giới LangChain/LangGraph?

Một lưu ý trước khi quyết định: cả hai nền tảng thay đổi thường xuyên. Hãy kiểm tra changelog trước khi cam kết.

Để biết thêm bối cảnh về hệ sinh thái LangChain, xem hướng dẫn LangChain so với LangGraph so với LangSmith so với LangFlow của chúng tôi.