Langfuse vs. LangSmith: LLM 관측 플랫폼 비교

챗봇이 엉뚱한 대답을 하기 시작하면 본능적으로 프롬프트를 확인합니다. 단일 LLM 호출에서는 통합니다. 애플리케이션이 도구 호출을 수행하는 에이전트가 되면 그 접근은 더 이상 통하지 않습니다.

이 빠진 맥락을 제공하려는 것이 LLM 관측 플랫폼입니다. 전통적 애플리케이션 모니터링 도구와는 다릅니다. 전통적 도구는 지연 시간과 오류율을 알려줍니다. LLM 관측 플랫폼은 어떤 도구 호출이 잘못된 결과를 반환했는지, 프롬프트 변경이 출력 품질을 개선했는지 알려줍니다.

Langfuse와 LangSmith 는 모두 추적, 평가, 프롬프트 관리를 다루며, 2026년 초에 주요 업데이트를 발표했습니다. 하지만 서로 대체 가능하지는 않습니다. 차이점은 배포 요건, 기술 스택, 그리고 팀의 평가 운영 방식으로 좁혀집니다.

짧은 답: Langfuse는 오픈 소스 자체 호스팅, 데이터 통제, 또는 LangChain 외 스택이 필요한 팀에 적합합니다. LangSmith는 이미 LangChain이나 LangGraph로 구축 중인 팀에 잘 맞지만, 이제 그 생태계로 제한되지는 않습니다. 두 조건 모두 해당하지 않는다면 가격을 비교해 보겠습니다.

Langfuse와 LangSmith란?

큰 틀에서 두 제품 모두 LLM 애플리케이션을 관측 가능하고, 테스트 가능하며, 디버깅 가능하게 만듭니다. 각 제품을 간단히 소개합니다.

Langfuse와 LangSmith 플랫폼 포지셔닝 개요. 이미지: 작성자.

Langfuse란?

Langfuse는 2023년에 출시된 오픈 소스 LLM 엔지니어링 플랫폼입니다. 추적, 프롬프트 관리, 평가(판사 역할 LLM, 휴먼 어노테이션, 코드 기반 점검), 데이터셋 실험, 비용 및 지연 모니터링을 포괄합니다. 핵심 오픈 소스 제품은 MIT 라이선스입니다.

2026년 1월, ClickHouse가 4억 달러 규모의 시리즈 D를 발표하며 Langfuse를 인수했습니다. Langfuse는 이제 이미 Langfuse 백엔드를 구동하던 컬럼 지향 데이터베이스 ClickHouse의 일부가 되었습니다. 당시 MIT 라이선스와 오픈 소스 정체성은 변함없다고 확인되었습니다.

Langfuse는 미국, EU, 일본 리전이 있는 매니지드 클라우드 서비스로, 또는 소프트웨어 라이선스 비용이 없는 자체 호스팅 오픈 소스 인스턴스로 운영할 수 있습니다.

LangSmith란?

LangSmith는 LangChain과 LangGraph를 만든 LangChain Inc.가 구축한 관측 및 평가 플랫폼입니다. 이 플랫폼은 독점적이며 클로즈드 소스입니다. LangChain은 2025년 10월 12억 5천만 달러 가치로 1억 2천 5백만 달러를 조달했습니다.

주요 기능은 애플리케이션 실행 전반의 추적, 시각적 디버깅, 자동 평가, 프로덕션 모니터링, Prompt Hub와 Playground를 통한 프롬프트 관리입니다. 2026년 5월, LangChain은 러스트 기반 데이터 레이어 SmithDB를 출시했고, 현재 LangSmith 미국 클라우드 수집의 100%를 처리합니다. SmithDB로 P50 트레이스 트리 로드는 92ms, 전체 텍스트 검색은 400ms로 단축되었습니다.

LangSmith는 매니지드 클라우드 서비스, 고객 VPC 데이터 플레인이 있는 하이브리드 배포, 자체 호스팅 엔터프라이즈 배포로 제공됩니다.

오픈 소스 vs. 매니지드 SaaS

두 플랫폼의 핵심 차이는 "오픈 소스 대 비오픈 소스"가 아닙니다. 실제 차이는 한쪽의 통제와 이식성, 다른 쪽의 LangChain/LangGraph 적합성입니다. Langfuse는 라이선스 비용 없이 자체 인프라에서 스택을 실행할 수 있게 합니다. LangSmith는 애플리케이션이 이미 LangChain 또는 LangGraph에서 구동 중이면 설정이 더 간단합니다.

이 비교의 관점을 바꾸는 업데이트가 하나 있습니다: LangSmith는 langsmith[otel] 패키지와 LANGSMITH_OTEL_ENABLED=true 환경 변수를 통해 OpenTelemetry 추적을 지원합니다. LangSmith는 더 이상 LangChain 전용 애플리케이션으로 제한되지 않습니다. 가장 긴밀한 통합은 LangGraph와의 통합이며, 이는 추적 섹션에서 다루겠습니다.

두 플랫폼의 구조적 위치는 다음과 같습니다.

나머지 글에서는 이러한 차이가 실제로 무엇을 의미하는지 살펴봅니다.

추적과 관측

추적은 두 제품이 갈리기 시작하는 지점입니다. 둘 다 LLM 호출, 도구 호출, 관련 메타데이터를 수집하지만, 에이전트 워크플로우에서는 단순 프롬프트-응답 앱보다 차이가 더 빨리 드러납니다.

요청 추적

Langfuse는 LLM 호출, 도구 호출, 임베딩, 검색 단계를 포착하는 계층적 트레이스를 구축합니다. 사용자, 세션, 비용, 지연, 사용자 지정 메타데이터로 필터링할 수 있습니다. 2026년 5월, ClickHouse의 기본 FTS 엔진을 기반으로 한 전체 텍스트 검색을 추가해, 이전에 거의 20초 걸리던 검색을 0.5초 미만으로 단축했습니다.

LangSmith는 모든 LLM 호출과 도구 사용을 검사 가능한 실행 트리로 캡처합니다. 미국 클라우드 수집을 SmithDB가 전량 처리하면서, 트레이스 트리는 P50 기준 92ms에 로드됩니다. 또한 감독되지 않은 토픽 클러스터링을 포함해, 탐지된 주제별로 트레이스를 묶어 문제의 출발점을 잡기 어렵거나 감이 없을 때 출발점을 제공합니다.

에이전트 워크플로우 가시성

Langfuse는 2025년 11월 Agent Graphs를 도입해, 관측 타이밍과 중첩을 기반으로 그래프 구조를 추정하여 다단계 에이전트의 실행 흐름을 시각화했습니다. 어떤 계측 프레임워크와도 작동하며, LangGraph 네이티브 지원이 포함됩니다. 같은 시기에 트레이스 로그 뷰가 추가되어, 루프나 분기가 많은 워크플로우에 대해 에이전트 단계를 평면 스트림으로 제공합니다.

LangGraph 실행을 위한 Langfuse 에이전트 그래프. 이미지: 작성자.

LangSmith의 LangGraph 추적은 환경 변수 설정 외의 추가 설정 없이 실행 내 모든 노드, 엣지, 상태 전이를 캡처합니다. LangSmith Studio에서는 에이전트 실행을 단계별로 따라가고, 각 노드의 상태를 검사하며, 다른 모델이나 프롬프트로 트레이스를 재실행할 수 있습니다. LangGraph 애플리케이션에서는 일반 트레이스 트리보다 더 많은 맥락을 제공합니다.

에이전트 워크플로우를 위한 LangSmith 트레이스 트리. 이미지: 작성자.

프로덕션 모니터링

프로덕션 모니터링에서는 두 플랫폼 모두 지연, 토큰 사용량, 비용, 오류율을 추적합니다. LangSmith는 프로덕션 사고에 대해 PagerDuty 및 웹후크 알림을 제공합니다. Langfuse는 구성 가능한 임계값을 가진 지출 알림을 제공합니다. 이 수준에서는 모니터링 기능이 유사합니다.

오프라인 및 온라인 평가

추적은 무엇이 일어났는지 알려줍니다. 평가는 그것이 좋았는지 알려줍니다. 실제로는 출시 전 체크리스트가 아니라 워크플로우의 일부로 평가가 포함될 때 이러한 도구가 더 유용합니다.

판사 역할 LLM과 코드 평가자

Langfuse의 판사 역할 LLM은 2025년 6월 MIT 하에 완전 오픈 소스로 전환되었습니다. v3.65.0 이상 자체 호스팅 사용자라면 상용 라이선스 없이 사용할 수 있습니다. 2026년 5월, Langfuse는 코드 평가자를 출시했습니다. Langfuse UI에서 직접 작성하는 Python 또는 TypeScript의 evaluate 함수로, JSON 스키마 검증, 정규식 검증, 도구 인자 검증 같은 결정적 점검을 토큰 비용이나 판사 모델 호출 없이 수행합니다.

LangSmith는 불리언, 범주형, 연속형 피드백 유형을 갖춘 구성 가능한 판사 역할 LLM 평가자를 제공하며, 보안, 안전, 품질에 대한 기본 템플릿을 포함합니다. 또한 평가자 출력에 대한 사람이 레이블링한 교정을 소수 샷 예시로 되먹임하여 시간이 지남에 따라 평가자의 보정을 개선하는 소수 샷 보정도 지원합니다.

데이터셋, 실험, 휴먼 어노테이션

오프라인 평가는 두 플랫폼 모두 데이터셋과 나란히 비교하는 실험을 통해 동작합니다. Langfuse는 2025년 11월 점수 분석을 추가해, 정밀도, 재현율, F1, 비용, 정확도 전반에서 평가자 정렬을 측정합니다. 같은 달의 기준선 비교는 특정 실행을 기준점으로 지정하고 이에 대한 회귀를 표면화합니다.

Langfuse의 GitHub Actions CI/CD 통합은 2026년 5월 langfuse/experiment-action을 통해 출시되었으며, 실험 점수가 임계값 아래로 떨어지면 워크플로우를 실패시킵니다. 이를 통해 평가는 출시 후 검토가 아닌 배포 게이트가 됩니다.

GitHub Actions와 함께하는 Langfuse 평가 루프. 이미지: 작성자.

LangSmith의 평가 설정에는 초기에 알아둘 결제 동작이 하나 있습니다. 평가자가 트레이스에 피드백을 추가하면 해당 트레이스는 자동으로 확장 보존으로 승격됩니다. 가격 섹션에서 다루겠지만, 이는 평가 워크플로우의 비용을 바꿉니다.

프롬프트 버전 관리, 배포, A/B 테스트

여기서의 프롬프트 관리는 단순한 버전 기록을 넘어섭니다. 워크플로우는 다음과 같습니다: 샌드박스에서 반복, 데이터셋으로 테스트, 프로덕션 승격, 문제가 생기면 깔끔하게 롤백.

Langfuse는 각 프롬프트 버전에 버전 ID를 부여하고 production 과 staging 같은 라벨로 어떤 버전이 라이브인지 제어합니다. UI에서 라벨을 바꾸는 것이 배포 또는 롤백 방식입니다. 프롬프트는 SDK에서 클라이언트 측 캐시를 사용하므로, SDK가 활성 버전을 가져올 때 프로덕션 호출에 지연이 추가되지 않습니다. 보호된 라벨을 통해 관리자는 production 라벨을 수정할 수 있는 역할을 제한할 수 있으며, 이는 다양한 접근 권한을 가진 기여자가 섞여 있을 때 중요합니다.

LangSmith는 LangChain Hub를 통해 커밋 해시 버전 관리로, 코드에서 정확한 버전을 고정할 수 있습니다. Prompt Hub에는 Langfuse에 없는 커뮤니티 라이브러리가 포함됩니다. 데이터셋 실험을 통한 A/B 테스트는 두 플랫폼 모두에서 가능합니다.

이 범주에서는 두 제품이 호스팅, 가격, 프레임워크 설정만큼 차이나지 않습니다.

에이전트 애플리케이션에서 Langfuse vs. LangSmith

지난 1년간 두 플랫폼의 많은 기능 개발은 에이전트에 의해 주도되었습니다. 여기서는 에이전트가 어디에서 구축되었는지가 중요합니다.

Langfuse는 사용 가능한 도구를 노출하고, 호출된 도구를 강조 표시하며, 인자와 호출 ID를 보여줍니다. 확장된 관측 유형을 통해 트레이스 뷰에서 도구 호출, 임베딩, 가드레일 호출을 구분합니다. 앞서 언급했듯 코드 평가자는 스키마에 맞춰 도구 인자를 검증할 수도 있습니다. 2026년 5월 MCP 서버는 15개 도구 범주로 확장되어, Claude Code, Cursor, OpenAI Codex의 에이전트가 Langfuse 데이터를 프로그램적으로 조회할 수 있습니다.

추적 섹션의 LangGraph 포인트가 여기서 다시 등장합니다. LangSmith의 에이전트 지원에는 모든 노드에서의 상태 검사, 대체 모델로의 트레이스 재실행, LangSmith Studio의 시각적 단계별 디버깅이 포함됩니다. 수백 개의 서브 에이전트를 포함한 프로덕션 시스템을 운영하는 Monte Carlo 엔지니어링 팀은 이 제로 설정 LangGraph 통합을 선택의 핵심 이유로 꼽았습니다.

CrewAI, Pydantic AI, 기타 멀티 에이전트 프레임워크로 구축된 에이전트의 경우, Langfuse는 더 넓은 네이티브 계측을 제공하며 수동 설정이 덜 필요한 경우가 많습니다.

프레임워크 및 SDK 통합

Langfuse는 모델 제공자, 프레임워크, 게이트웨이, 노코드 도구, 분석, 개발자 도구 전반에 걸친 폭넓은 통합을 제공합니다. 프레임워크에는 LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex 등이 포함됩니다. 플랫폼은 SDK 수준에서 OpenTelemetry를 기본 지원합니다.

LangSmith의 네이티브 SDK는 Python, TypeScript, Go, Java를 지원합니다. LangChain과 LangGraph를 넘어 OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, 커스텀 구현, OpenTelemetry와도 작동합니다. 즉, LangGraph가 여전히 가장 잘 맞더라도 LangSmith는 LangChain 전용 추적 도구가 아닙니다.

실무적으로는 프레임워크 지원 여부뿐 아니라 계측을 얼마나 작성해야 하는지가 중요합니다. LangGraph는 LangSmith에서 제로 설정 추적을 제공합니다. 다른 프레임워크는 Langfuse에서 설정이 더 적게 들 수 있습니다. 설정 노력은 스택에 따라 달라집니다.

Langfuse 오픈 소스 vs. LangSmith 엔터프라이즈

자체 호스팅은 대부분의 기능 범주보다 운영 및 컴플라이언스 지형을 더 크게 바꿉니다.

Langfuse의 자체 호스팅은 MIT 하에 무료입니다. 개발 또는 평가에는 Docker Compose가 적합하며, 프로덕션 배포는 보통 GKE, EKS, AKS의 Helm을 사용하는 Kubernetes를 권장합니다. 스택에는 ClickHouse, PostgreSQL, Redis, S3 호환 스토리지가 포함되며, 최소 권장 VM은 4코어, 16GiB RAM입니다. 소프트웨어 라이선스 비용은 없지만, 인프라와 운영은 팀의 몫입니다. 유료 자체 호스팅 엔터프라이즈 에디션은 전담 지원, 감사 로그, SCIM, SLA를 추가합니다.

컴플라이언스 측면에서, Langfuse Cloud는 SOC 2 Type II, ISO 27001, GDPR, HIPAA 인증을 보유합니다. LangSmith Cloud는 SOC 2 Type II, GDPR, HIPAA를 보유합니다. LangSmith에는 ISO 27001이 기재되어 있지 않습니다. 조달 절차에서 해당 항목을 확인한다면 이는 구체적 차이입니다.

LangSmith의 자체 호스팅은 엔터프라이즈 계약이 필요합니다. 오픈 소스의 무료 자체 호스팅 경로는 없습니다. 세 가지 배포 모델(클라우드, 하이브리드, 자체 호스팅)은 모두 엔터프라이즈 범주에 속합니다. 자체 호스팅 LangSmith용 SmithDB는 2026년 5월 기준 초기 액세스 단계이며, 아직 GA가 아닙니다.

Langfuse vs. LangSmith 가격

헤드라인 가격만으로는 충분하지 않습니다.

이 영역의 가격은 자주 변합니다. 아래 수치는 2026년 6월 공식 페이지를 확인한 결과를 반영하지만, 예산을 확정하기 전에 최신 가격 페이지를 확인하세요.

Langfuse 가격

Langfuse Cloud는 유닛 기준으로 과금합니다. 유닛 1개는 트레이스 1개, 오브저베이션 1개, 또는 점수 1개와 동일합니다. 공식식은 Units = Traces + Observations + Scores로, 도구 호출이 많은 에이전트 실행은 단순 프롬프트-응답 트레이스보다 비용이 더 들 수 있습니다. 무료 Hobby 요금제는 월 5만 유닛, 30일 보존, 사용자 2명을 포함합니다. Core는 월 $29로 10만 유닛 포함, 사용자 무제한, 90일 보존입니다. Pro는 월 $199로 3년 데이터 액세스와 컴플라이언스 인증을 제공합니다. Enterprise는 월 $2,499부터 시작하며 볼륨 맞춤 가격을 제공합니다. 초과분은 10만 유닛당 $8부터 시작합니다.

앞서 언급했듯 자체 호스팅 Langfuse에는 소프트웨어 라이선스 비용이 없습니다. SCIM, 감사 로그, 엔터프라이즈 지원은 상용 라이선스가 필요합니다.

LangSmith 가격

LangSmith는 시트와 트레이스 기준으로 과금합니다. Developer 플랜은 월 5,000 트레이스, 시트 1개, 14일 보존으로 무료입니다. Plus는 시트당 월 $39로 기본 트레이스 10,000개를 포함합니다. 기본 트레이스는 14일 보존이며, 확장 트레이스는 데이터를 400일 보존하며 더 비쌉니다. Plus의 5인 팀은 트레이스 초과 전 시트 비용으로 월 $195를 지불합니다. 엔터프라이즈 가격은 맞춤형입니다.

데이터 보존 메커니즘

앞서 언급했듯, 평가자가 트레이스에 피드백을 추가하면 확장 보존이 자동으로 적용됩니다. 평가 파이프라인을 구성하기 전에 LangSmith 결제 문서의 자동 확장 보존 내용을 확인하세요.

이러한 세부사항은 트레이스 깊이, 평가자 사용, 보존의 작은 차이가 월별 비용을 바꿀 수 있기 때문에 중요합니다.

Langfuse vs. LangSmith 비교 표

앞서 언급했듯 주요 차이는 소유권, 프레임워크 적합성, 평가 워크플로우, 가격입니다. 아래 표는 최종 결론 전에 이러한 포인트를 압축 정리합니다.

LLM 관측 플랫폼을 선택할 때의 실수

제 관점에서 첫 번째: 추적에만 집중하지 마세요. 추적은 무슨 일이 있었는지 알려주지만, 평가는 출력이 좋았는지 알려줍니다. 트레이스 시각화만으로 선택하면 잘못된 기준을 사용하는 것입니다.

두 번째: 가격 메커니즘을 주의하세요. 앞서 설명한 대로 Langfuse는 트레이스 깊이에 따라 비용이 늘고, LangSmith의 확장 보존은 자동 평가 비용을 바꿀 수 있습니다. 프로덕션 전에 계산해 보세요.

세 번째, 자체 호스팅은 두 제품에서 같은 의미가 아닙니다. 위의 자체 호스팅 섹션을 참고하세요. 데이터 주권이 절대적 요구 사항이라면, 그 차이가 비교를 결정지을 수 있습니다.

마지막으로, 프레임워크 호환성만으로 결정하지 마세요. 스택은 바뀝니다. 배포 요건과 평가 워크플로우는 나중에 바꾸기 훨씬 어렵습니다.

Langfuse를 선택할 때

위의 트레이드오프를 바탕으로 Langfuse가 더 잘 맞는 경우:

• 팀이 주로 LangChain이나 LangGraph를 사용하지 않고, CrewAI, Pydantic AI, LlamaIndex, 또는 OpenAI나 Anthropic의 직접 API 호출로 구축 중인 경우.
• 데이터 주권이 절대적이며, LLM 입력, 출력, 트레이스가 자체 인프라에 머물러야 하는 경우.
• 컴플라이언스 체크리스트에 SOC 2와 HIPAA 외에 ISO 27001도 필요한 경우.
• GitHub Actions를 통한 자동 회귀 게이트가 포함된 CI/CD 통합 평가를 원하는 경우.
• 유료 클라우드 요금제가 사용자 수 무제한이므로 성장하는 팀의 비용을 예측 가능하게 유지해야 하는 경우.

LangSmith를 선택할 때

같은 트레이드오프를 바탕으로 LangSmith가 더 잘 맞는 경우:

• LangGraph로 구축 중이며, 제로 설정 추적, 네이티브 그래프 시각화, LangSmith Studio의 단계별 디버깅이 필요한 경우.
• 운영할 인프라가 없는 매니지드 플랫폼을 원하는 경우.
• 조직 외 팀과 프롬프트를 발견하고 공유하기 위한 커뮤니티 Prompt Hub를 가치 있게 여기는 경우.
• 관측을 넘어, 이제 에이전트 배포와 플릿 관리까지 포함하는 LangSmith의 더 넓은 플랫폼 능력이 필요한 경우.

결론

Langfuse와 LangSmith는 모두 실제 문제를 해결하며, 지난 1년간 많은 변화가 있었습니다. 현시점의 트레이드오프는 분명합니다.

결정은 어느 플랫폼이 기능이 더 많은가가 아닙니다. 앞서 말한 소유권과 생태계의 트레이드오프입니다. 데이터 스택을 통제해야 합니까, 아니면 LangChain/LangGraph 세계 안에서 설정을 최소화하길 원합니까?

단, 결정 전에 주의할 점이 하나 있습니다. 두 플랫폼 모두 자주 바뀝니다. 커밋하기 전에 변경 로그를 확인하세요.

LangChain 생태계에 대한 배경을 더 보려면 LangChain vs. LangGraph vs. LangSmith vs. LangFlow 튜토리얼을 참고하세요.