Langfuse vs. LangSmith: LLM 가시성 플랫폼 비교

챗봇이 엉뚱한 답을 내기 시작하면 본능적으로 프롬프트를 점검하게 됩니다. 단일 LLM 호출에서는 그게 통합니다. 하지만 애플리케이션이 도구 호출을 수행하는 에이전트라면 이야기가 달라집니다.

빠진 맥락을 채워 주는 것이 바로 LLM 가시성 플랫폼입니다. 이들은 전통적인 애플리케이션 모니터링 도구가 아닙니다. 전통적인 도구는 지연 시간과 오류율을 알려 줍니다. LLM 가시성 플랫폼은 어떤 도구 호출이 잘못된 결과를 반환했는지, 프롬프트 변경이 출력 품질을 개선했는지를 알려 줍니다.

Langfuse와 LangSmith 는 모두 추적, 평가, 프롬프트 관리를 제공하며, 2026년 초에 주요 업데이트를 발표했습니다. 하지만 서로 대체 가능하지는 않습니다. 차이는 배포 요구사항, 기술 스택, 그리고 팀이 평가를 운영하는 방식에 달려 있습니다.

요약: Langfuse는 오픈 소스 셀프 호스팅, 데이터 통제, LangChain 외 스택이 필요한 팀에 적합합니다. LangSmith는 프레임워크에 구애받지 않는 플랫폼으로, LLM 애플리케이션을 위한 가시성, 평가, 디버깅, 프로덕션 워크플로를 통합해 제공하길 원하는 팀에 적합합니다. 두 조건 모두 해당하지 않는다면 가격을 비교해 보시길 권합니다.

Langfuse와 LangSmith란?

큰 틀에서 두 제품 모두 LLM 애플리케이션을 관측 가능하고, 테스트 가능하며, 디버깅 가능하게 만듭니다. 각 제품을 간단히 소개합니다.

Langfuse 대 LangSmith 플랫폼 포지셔닝 개요. 이미지: 필자.

Langfuse란?

Langfuse는 2023년에 출시된 오픈 소스 LLM 엔지니어링 플랫폼입니다. 추적, 프롬프트 관리, 평가(LLM 심판, 휴먼 어노테이션, 코드 기반 점검), 데이터셋 실험, 비용 및 지연 시간 모니터링을 포괄합니다. 핵심 오픈 소스 제품은 MIT 라이선스입니다.

2026년 1월, ClickHouse가 4억 달러 규모의 시리즈 D를 발표하며 Langfuse를 인수했습니다. Langfuse는 이제 Langfuse 백엔드를 이미 구동하던 컬럼형 데이터베이스 ClickHouse의 일부가 되었습니다. 당시 MIT 라이선스와 오픈 소스 정체성은 변경되지 않는다고 확인됐습니다.

Langfuse는 미국, EU, 일본 리전에 걸친 매니지드 클라우드 서비스 또는 소프트웨어 라이선스 비용이 없는 셀프 호스팅 오픈 소스 인스턴스로 사용할 수 있습니다.

LangSmith란?

LangSmith는 LangChain, Inc.에서 구축한 프레임워크 독립적인 가시성 및 평가 플랫폼입니다. 이 팀은 LangChain, LangGraph, Deep Agents의 개발팀이기도 합니다. 이 플랫폼은 독점적이며 소스가 공개되지 않습니다. LangChain은 2025년 10월 12억 5천만 달러 가치평가로 1억 2천5백만 달러를 조달했습니다.

주요 기능에는 애플리케이션 실행 전반의 추적, 시각적 디버깅, 자동 평가, 프로덕션 모니터링, Prompt Hub 및 Playground를 통한 프롬프트 관리가 있습니다. 2026년 5월, LangChain은 러스트 기반 데이터 레이어 SmithDB를 출시하여 현재 LangSmith US Cloud 수집의 100%를 처리하고 있습니다. SmithDB는 LLM 애플리케이션이 생성하는 고유한 데이터 페이로드를 위해 설계되어 P50 트레이스 트리 로드를 92ms, 전체 텍스트 검색을 400ms로 낮춥니다.

LangSmith는 매니지드 클라우드 서비스, 고객 VPC 내 데이터 보관을 위한 BYOC(클라우드 지참) 배포, 또는 엔터프라이즈 셀프 호스팅으로 제공됩니다. 또한 LangChain은 셀프 호스팅 LangSmith에서 BYOK(고객 키 지참)를 지원해, 플랫폼 내 에이전트인 Engine이 LLM 애플리케이션의 오류를 찾고 수정하도록 할 것이라 발표했습니다.

오픈 소스 vs. 매니지드 SaaS

두 플랫폼의 핵심 차이는 "오픈 소스냐 아니냐"가 아닙니다. 실제 차이는 한쪽의 통제와 이식성, 다른 쪽의 관리형 워크플로입니다. Langfuse는 라이선스 비용 없이 자체 인프라에서 스택을 운영할 수 있게 해줍니다. LangSmith는 매니지드 클라우드, BYOC, 셀프 호스팅 배포를 제공하며 LangChain, LangGraph, Deep Agents에 깊이 통합되어 있지만, 이 프레임워크들을 반드시 사용할 필요는 없습니다.

이 비교의 관점을 바꾸는 업데이트가 하나 있습니다: LangSmith는 langsmith[otel] 패키지와 LANGSMITH_OTEL_ENABLED=true 환경 변수를 통해 OpenTelemetry 추적을 지원합니다. 이는 LangChain이 아닌 애플리케이션에서도 LangSmith를 사용할 수 있는 여러 방법 중 하나입니다. 

두 플랫폼의 구조적 위치는 다음과 같습니다.

이후 내용에서는 이러한 차이가 실제로 무엇을 의미하는지 살펴봅니다.

추적과 가시성

추적부터 두 제품은 갈라지기 시작합니다. 둘 다 LLM 호출, 도구 호출, 관련 메타데이터를 캡처하지만, 단순 프롬프트-응답 앱보다 에이전트 워크플로에서 차이가 더 빨리 드러납니다.

요청 추적

Langfuse는 LLM 호출, 도구 호출, 임베딩, 검색 단계를 포착하는 계층형 트레이스를 구성합니다. 사용자, 세션, 비용, 지연 시간, 사용자 정의 메타데이터로 필터링할 수 있습니다. 2026년 5월, ClickHouse의 기본 FTS 엔진을 기반으로 한 전체 텍스트 검색을 추가하여, 기존에 20초 가까이 걸리던 검색을 0.5초 미만으로 단축했습니다.

LangSmith는 모든 LLM 호출과 도구 사용을 검사 가능한 실행 트리(run tree)로 캡처합니다. US Cloud 수집을 SmithDB가 전담한 이후, 트레이스 트리는 P50 기준 92ms에 로드됩니다. 또한 비지도 주제 클러스터링이 포함되어 감지된 주제별로 트레이스를 묶어, 문제가 무엇인지 감을 잡기 어려울 때 출발점을 제공합니다.

에이전트 워크플로 가시성

Langfuse는 2025년 11월 Agent Graphs를 추가하여, 관측 시점과 중첩으로부터 그래프 구조를 추정해 다단계 에이전트의 실행 흐름을 시각화합니다. 계측된 모든 프레임워크에서 작동하며, LangGraph 네이티브 지원이 포함됩니다. 동시에 Trace Log View도 추가되어, 반복이나 분기가 많은 워크플로에 대해 평탄한 스트림 형태로 에이전트 단계를 제공합니다.

LangGraph 실행을 위한 Langfuse 에이전트 그래프. 이미지: 필자.

LangSmith의 LangGraph 추적은 환경 변수 설정 외의 추가 구성 없이 실행 내 모든 노드, 엣지, 상태 전이를 캡처합니다. LangSmith Studio에서는 에이전트 실행을 단계별로 따라가고, 각 노드의 상태를 검사하며, 다른 모델이나 프롬프트로 트레이스를 재생할 수 있습니다. LangGraph 애플리케이션에서는 일반 트레이스 트리보다 더 많은 맥락을 제공합니다.2026년 9월, LangSmith는 Trajectories를 출시해, 트레이스 디버깅과 주제 전문가와의 피드백 루프 통합을 더 쉽게 만들었습니다.

에이전트 워크플로를 위한 LangSmith 트레이스 트리. 이미지: 필자.

프로덕션 모니터링

프로덕션 모니터링 측면에서, 두 플랫폼 모두 지연 시간, 토큰 사용량, 비용, 오류율을 추적합니다. LangSmith는 프로덕션 인시던트를 위한 PagerDuty 및 웹훅 알림과, 트레이스와 평가에 연결된 모니터링 워크플로를 포함합니다. Langfuse는 임계값을 구성할 수 있는 비용 알림을 포함합니다. 이 수준에서는 모니터링 기능이 유사합니다.

오프라인 및 온라인 평가

추적은 무엇이 발생했는지를 알려 줍니다. 평가는 그것이 좋았는지 알려 줍니다. 실제로는, 평가가 사전 점검표가 아니라 워크플로의 일부일 때 이 도구들이 더 유용합니다.

LLM 심판과 코드 평가자

Langfuse의 LLM 심판은 2025년 6월 MIT 하에 완전 오픈 소스로 전환되었습니다. v3.65.0 이상 셀프 호스팅 사용자는 상용 라이선스 없이 사용할 수 있습니다. 2026년 5월, Langfuse는 Code Evaluators를 출시했습니다. Langfuse UI에서 직접 작성하는 Python 또는 TypeScript evaluate 함수로, JSON 스키마 검증, 정규식 검증, 도구 인자 검증 등 결정론적 점검을 토큰 비용이나 심판 모델 호출 없이 수행합니다.

LangSmith는 불리언, 범주형, 연속형 피드백 타입을 갖춘 구성 가능한 LLM 심판 평가자를 제공하며, 보안, 안전, 품질에 대한 내장 템플릿도 제공합니다. 또한 평가자 출력에 대한 사람의 교정 라벨을 몇 샷 예시로 반영해 시간이 지남에 따라 평가자 보정을 개선하는 few-shot 교정도 지원합니다.

데이터셋, 실험, 휴먼 어노테이션

오프라인 평가는 두 플랫폼 모두에서 데이터셋과 나란히 비교(SxS) 실험으로 동작합니다. Langfuse는 2025년 11월 Score Analytics를 추가해, 정밀도, 재현율, F1, 비용, 정확도 전반에서 평가자 정렬을 측정합니다. 같은 달 도입된 Baseline 비교는 특정 실행을 기준점으로 지정하고 그 대비 회귀를 표면화합니다.

Langfuse의 GitHub Actions CI/CD 통합은 2026년 5월 langfuse/experiment-action을 통해 출시되어, 실험 점수가 임계값 아래로 떨어지면 워크플로를 실패 처리합니다. 이를 통해 평가가 배포 후 검토가 아닌 배포 게이트가 됩니다.

GitHub Actions와 함께하는 Langfuse 평가 루프. 이미지: 필자.

LangSmith의 평가 설정에는 초기에 알아둘 과금 동작이 하나 있습니다: 트레이스에 피드백을 추가하는 평가자는 해당 트레이스를 확장 보존으로 승격할 수 있습니다. 이는 가격 섹션에서 다루듯, 평가 워크플로의 비용을 변화시킵니다.

프롬프트 버저닝, 배포, A/B 테스트

여기서 프롬프트 관리는 단순한 버전 히스토리를 넘어섭니다. 워크플로는 다음과 같습니다: 샌드박스에서 반복, 데이터셋으로 테스트, 프로덕션으로 승격, 문제가 생기면 깔끔하게 롤백.

Langfuse는 각 프롬프트 버전에 버전 ID를 부여하고, production 및 staging 같은 라벨로 어떤 버전이 라이브인지 제어합니다. UI에서 라벨을 바꾸는 것이 배포 또는 롤백 방법입니다. 프롬프트는 SDK가 클라이언트 측에서 캐시하므로, SDK가 활성 버전을 가져와도 프로덕션 호출에 지연이 추가되지 않습니다. 보호된 라벨을 통해 관리자가 어떤 역할이 production 라벨을 수정할 수 있는지 제한할 수 있어, 접근 수준이 다른 기여자가 혼재할 때 중요합니다.

LangSmith는 Prompt 및 Context Hub를 통해 커밋 해시 버저닝으로 정확한 버전을 프로그램적으로 고정합니다. Prompt Hub에는 Langfuse에는 없는 커뮤니티 라이브러리가 포함됩니다. 데이터셋 실험을 통한 A/B 테스트는 두 플랫폼 모두에서 가능합니다.

이 범주에서는, 호스팅, 가격, 프레임워크 설정만큼 큰 차이는 없습니다.

에이전트 애플리케이션에서의 Langfuse vs. LangSmith

지난 1년간 두 플랫폼의 많은 기능 작업은 에이전트에 의해 주도되었습니다. 여기서는 에이전트가 어디에서 구축되었는지가 중요합니다.

Langfuse는 사용 가능한 도구를 표면화하고, 호출된 도구를 강조 표시하며, 인자와 호출 ID를 보여 줍니다. 확장된 관측 타입을 통해 트레이스 뷰에서 도구 호출, 임베딩, 가드레일 호출을 구분합니다. 앞서 언급했듯, Code Evaluators는 도구 인자를 스키마에 맞춰 검증할 수도 있습니다. MCP 서버는 2026년 5월 15개 도구 카테고리로 확장되어, Claude Code, Cursor, OpenAI Codex의 에이전트가 Langfuse 데이터를 프로그래밍적으로 조회할 수 있습니다.

추적 섹션의 LangGraph 포인트가 여기에서도 다시 나타납니다. LangSmith의 에이전트 지원에는 각 노드에서의 상태 검사, 대체 모델로의 트레이스 재생, 단계별 시각적 디버깅을 위한 LangSmith Studio가 포함됩니다. 수백 개의 하위 에이전트를 포함하는 프로덕션 시스템을 운영하는 Monte Carlo 엔지니어링 팀은, 설정이 필요 없는 LangGraph 통합을 채택 이유로 꼽았습니다.

CrewAI, Pydantic AI, 기타 멀티 에이전트 프레임워크로 구축된 에이전트의 경우, Langfuse가 더 넓은 네이티브 계측을 제공하며 수동 설정이 덜 필요한 경우가 많습니다.

프레임워크 및 SDK 통합

Langfuse는 모델 제공자, 프레임워크, 게이트웨이, 노코드 도구, 분석, 개발 도구 전반에 걸친 폭넓은 통합을 제공합니다. 프레임워크에는 LangChain, LangGraph, OpenAI Agents SDK, Pydantic AI, CrewAI, AutoGen, DSPy, Haystack, LlamaIndex 등이 포함됩니다. 플랫폼은 SDK 수준에서 OpenTelemetry 네이티브입니다.

LangSmith의 네이티브 SDK는 Python, TypeScript, Go, Java를 지원합니다. LangChain, LangGraph, Deep Agents 외에도 OpenAI SDK, Anthropic SDK, Vercel AI SDK, LlamaIndex, 커스텀 구현, OpenTelemetry와 함께 동작합니다. 즉, LangChain 전용 추적 도구가 아닙니다.

실무적으로 중요한 질문은 프레임워크 지원 여부뿐 아니라, 얼마나 많은 계측 코드를 직접 작성해야 하는가입니다.

Langfuse 오픈 소스 vs. LangSmith 엔터프라이즈

셀프 호스팅은 대부분의 기능 범주보다 운영과 컴플라이언스를 더 크게 바꿉니다.

Langfuse의 셀프 호스팅은 MIT 하에서 무료입니다. 개발 또는 평가에는 Docker Compose가, 프로덕션 배포에는 보통 GKE, EKS, AKS에서 Helm과 함께 Kubernetes가 사용됩니다. 스택에는 ClickHouse, PostgreSQL, Redis, S3 호환 스토리지가 포함되며, 권장 최소 VM 사양은 4코어, 16 GiB RAM입니다. 소프트웨어 라이선스 비용은 없지만, 인프라와 운영은 팀이 책임져야 합니다. 유료 셀프 호스팅 Enterprise Edition은 전담 지원, 감사 로그, SCIM, SLA를 추가합니다.

컴플라이언스 측면에서, Langfuse Cloud는 SOC 2 Type II, ISO 27001, GDPR, HIPAA 인증을 보유합니다. LangSmith Cloud는 SOC 2 Type II, GDPR, HIPAA를 보유합니다. LangSmith에는 ISO 27001이 기재되어 있지 않습니다. 조달 과정에서 해당 항목을 확인한다면, 이는 구체적인 차이입니다.

LangSmith의 셀프 호스팅은 엔터프라이즈 계약이 필요합니다. 오픈 소스로 무료 셀프 호스팅할 수 있는 경로는 없습니다. 세 가지 배포 모델(클라우드, BYOC, 셀프 호스팅)은 모두 엔터프라이즈 범주에 속합니다. SmithDB는 모든 호스팅 방식에서 제공됩니다.

Langfuse vs. LangSmith 가격

표면적인 가격만으로는 충분하지 않습니다.

이 분야의 가격은 자주 변경됩니다. 아래 수치는 2026년 6월 공식 페이지를 확인해 반영했으나, 예산을 수립하기 전에 최신 가격 페이지를 반드시 확인하세요.

Langfuse 가격

Langfuse Cloud는 유닛 기반으로 과금합니다. 유닛 1개는 트레이스 1개, observation 1개, 점수 1개 중 하나에 해당합니다. 공식식은 Units = Traces + Observations + Scores로, 도구 호출이 많은 에이전트 실행은 단순 프롬프트-응답 트레이스보다 비용이 더 들 수 있습니다. 무료 Hobby 플랜은 월 50,000 유닛, 30일 보존, 사용자 2명을 제공합니다. Core는 월 $29로 100,000 포함 유닛, 무제한 사용자, 90일 보존을 제공합니다. Pro는 월 $199로 3년 데이터 액세스 및 컴플라이언스 인증을 제공합니다. Enterprise는 월 $2,499부터 시작하며 볼륨 가격은 맞춤형입니다. 초과는 추가 100,000 유닛당 $8부터 시작합니다.

앞서 언급했듯, 셀프 호스팅 Langfuse는 소프트웨어 라이선스 비용이 없습니다. SCIM, 감사 로그, 엔터프라이즈 지원은 상용 라이선스가 필요합니다.

LangSmith 가격

LangSmith는 시트와 트레이스 기준으로 과금합니다. Developer 플랜은 무료로 월 5,000 트레이스, 1시트, 14일 보존을 제공합니다. Plus는 시트당 월 $39로 기본 10,000 트레이스를 포함합니다. 기본 트레이스는 14일 보존이며, 확장 트레이스는 400일 데이터를 보존하고 추가 비용이 듭니다. Plus의 5인 팀은 트레이스 초과 전 시트 비용으로 월 $195를 지불합니다. 엔터프라이즈 가격은 맞춤형입니다.

데이터 보존 메커니즘

앞서 언급했듯, 평가자가 트레이스에 피드백을 추가하면 확장 보존이 자동으로 적용됩니다. 평가 파이프라인을 설정하기 전에 LangSmith의 자동 확장 보존 과금 문서를 확인하세요.

이러한 세부사항은 트레이스 깊이, 평가자 사용, 보존 차이의 작은 변화가 월별 비용을 바꿀 수 있기 때문에 중요합니다.

Langfuse vs. LangSmith 비교 표

앞서 언급했듯, 주요 차이는 소유권, 프레임워크 적합성, 평가 워크플로, 가격입니다. 아래 표는 최종 결정 섹션 전에 이러한 포인트를 압축한 것입니다.

LLM 가시성 플랫폼 선택 시 실수

제 생각에 첫 번째로, 추적에만 집중하지 마세요. 추적은 무엇이 일어났는지 알려 주지만, 평가는 출력이 좋았는지를 알려 줍니다. 트레이스 시각화만 보고 선택한다면, 잘못된 기준을 사용하는 것입니다.

둘째, 가격 메커니즘을 주의하세요. 위에서 다룬 대로 Langfuse는 트레이스 깊이에 따라 비용이 증가하고, LangSmith의 확장 보존은 자동 평가 비용을 바꿀 수 있습니다. 프로덕션 전에 계산을 해 보세요.

셋째, 셀프 호스팅은 두 제품에서 같은 의미가 아닙니다. 위 셀프 호스팅 섹션을 보면 이유를 알 수 있습니다. 데이터 주권이 절대 조건이라면, 그 차이가 선택을 좌우할 수 있습니다.

마지막으로, 프레임워크 호환성만으로 결정하지 마세요. 두 플랫폼 모두 여러 애플리케이션 스택을 지원하고, 스택은 변합니다. 배포 요구사항과 평가 워크플로는 나중에 바꾸기 더 어렵습니다.

Langfuse를 선택할 때

위 트레이드오프를 바탕으로, Langfuse가 더 잘 맞는 경우는 다음과 같습니다.

• 팀이 CrewAI, Pydantic AI, LlamaIndex 같은 프레임워크나 OpenAI/Anthropic 직접 API 호출에 대한 네이티브 통합을 원합니다.
• 데이터 주권이 양보 불가이며, LLM 입력, 출력, 트레이스가 자체 인프라에 머물러야 합니다.
• GitHub Actions를 통한 자동 회귀 게이트로 CI/CD에 통합된 평가가 필요합니다.
• 유료 클라우드 플랜이 사용자 무제한이므로, 성장하는 팀에 예측 가능한 비용이 필요합니다.

LangSmith를 선택할 때

같은 트레이드오프를 기준으로, LangSmith가 더 잘 맞는 경우는 다음과 같습니다.

• LLM 애플리케이션 전반에서 가시성, 평가, 디버깅, 프로덕션 모니터링을 제공하는 모델·프레임워크 독립 플랫폼을 원하며, LangChain 계열에 특히 깊은 지원을 원합니다.
• 에이전트 개선 루프 전체를 지원하는 관리형 플랫폼을 원합니다.
• 선호하는 인프라에 배포할 수 있는 고성능 트레이스 데이터베이스를 원합니다
• 가시성을 넘어 LangSmith의 더 넓은 플랫폼(평가, 프로덕션 모니터링, 에이전트 서버, LLM Gateway)이 필요합니다.
• 트레이스, 데이터셋, 실험, 온라인 평가, 사람 피드백, 프로덕션 모니터링이 하나의 워크플로로 연결되길 원합니다.

결론

Langfuse와 LangSmith는 모두 실제 문제를 해결하며, 지난 1년 사이 많은 변화가 있었습니다. 이제 트레이드오프는 분명합니다.

결정은 기능이 더 많은 플랫폼을 고르는 문제가 아닙니다. 앞서 언급한 소유권과 에코시스템 간의 트레이드오프입니다. 데이터 스택을 직접 통제하는 오픈 소스 경로가 필요한가요, 아니면 가시성, 평가, 프로덕션 워크플로가 통합된 관리형 플랫폼이 필요한가요?

하나 주의할 점: 두 플랫폼 모두 자주 바뀝니다. 결정하기 전에 변경 이력을 확인하세요.

LangChain 에코시스템 관련 배경은 LangChain vs. LangGraph vs. LangSmith vs. LangFlow 튜토리얼을 참고하세요.