DeepSWE 완전 해부: AI 코딩 벤치마크의 작동 방식

몇 달에 한 번씩 새로운 코딩 벤치마크가 같은 약속과 함께 등장합니다. 원본, 오염 없음, 지금까지 AI 엔지니어링을 가장 정확하게 측정한다는 약속 말이죠.

DeepSWE는 다릅니다. 그 주장들이 틀렸기 때문이 아니라, 이를 뒷받침하는 실제 증거가 있고, 벤치마크의 한계에 대해서도 Datacurve가 이례적으로 솔직했기 때문입니다. 함께 살펴보겠습니다.

DeepSWE란 무엇인가요?

DeepSWE는 Datacurve가 만든 오염 없는 코딩 벤치마크로, TypeScript, Go, Python, JavaScript, Rust 등 5개 언어에 걸친 91개 리포지토리에서 113개의 원본 장기(long-horizon) 소프트웨어 엔지니어링 과제에 대해 최전선 LLM을 테스트합니다. 지난 5월 Datacurve의 첫 공개 제품으로 출시되었습니다.

명확히 하자면, DeepSWE는 벤치마크이지 AI 모델이나 코딩 에이전트가 아닙니다. 코드를 작성하지 않고, 코드를 작성하는 에이전트를 평가합니다. 그 목표는 이전에 병합된 GitHub 풀 리퀘스트에서 가져온 문제가 아닌, 벤치마크를 위해 특별히 작성된 원본 문제를 사용하여 대규모 언어 모델이 실제 복잡한 소프트웨어 엔지니어링 과제를 해결할 수 있는지 측정하는 것입니다.

이를 위해 DeepSWE는 코드 생성과 에이전틱 코딩을 명확히 구분합니다. 코드 생성은 텍스트 상자에 함수를 만들어내는 것입니다. 에이전틱 코딩은 리포지토리를 읽고, 구성 요소가 어떻게 맞물리는지 이해하며, 기존 시스템과 상호작용하는 코드를 작성하고, 테스트를 실행하고, 반복하는 것을 의미합니다.

DeepSWE의 작동 방식

DeepSWE에서 평가받는 에이전트는 단지 프롬프트를 받고 허공에 코드를 쓰는 것이 아닙니다. 실제 소프트웨어 개발 환경 안에서 동작합니다.

1. 에이전트는 작업 설명을 받습니다(평균 약 2,158자, 일반적인 SWE-bench Pro 프롬프트의 절반 정도 길이).
2. 리포지토리를 검사하며 파일을 탐색하고 코드베이스를 이해합니다.
3. 코드를 수정하고 관련 명령을 실행하며 테스트를 수행합니다.
4. 구현 결과를 제출합니다.
5. DeepSWE는 요청된 기능이 실제로 구현되었는지 확인하는 작업별 검증기(verifier)로 결과를 평가합니다.
6. 해당 결과는 벤치마크에서의 모델 전체 통과율에 반영됩니다.

DeepSWE는 SWE-bench와 SWE-agent를 만든 프린스턴·스탠퍼드 팀이 구축한 하네스인 mini-swe-agent를 모든 모델에 동일하게 사용합니다. 주목할 점: 모델의 DeepSWE 점수는 추상적인 코딩 능력이 아니라 특정 구성에서의 성능을 반영합니다.

DeepSWE의 차별점은 무엇인가요?

코딩 벤치마크는 많고, 대부분이 비슷비슷해 보이기 시작했습니다. DeepSWE를 실제로 돋보이게 하는 점은 다음과 같습니다.

원본 소프트웨어 엔지니어링 과제

DeepSWE가 SWE-bench 및 변형과 구별되는 핵심은 오염 통제입니다. 모든 과제는 기존 GitHub 커밋이나 풀 리퀘스트에서 가져온 것이 아니라 Datacurve의 엔지니어가 처음부터 직접 작성했습니다. 오염 우려는 간단합니다. 모델이 GitHub 이슈와 최종 수정 내용을 모두 포함한 데이터로 학습되었다면, 문제를 해결하는 것이 아니라 해답을 회상하는 것입니다. DeepSWE는 기본 커밋을 얕게(shallow) 클론하여 읽을 수 있는 병합된 수정 해시를 없애, SWE-bench Pro에서 악용될 수 있었던 허점을 막습니다.

장기적 엔지니어링 문제

SWE-bench Pro 과제는 평균 다섯 파일에 걸쳐 120줄의 코드를 요구합니다. DeepSWE의 기준 해답은 평균 일곱 파일에 668줄을 추가하며, 대략 5.5배 더 큽니다. 단일 함수 수정이 아닙니다. 여러 파일에 걸쳐 조정된 변경으로, 코드베이스가 어떻게 맞물리는지 실제로 이해해야 합니다. 프롬프트는 더 짧고, 해답은 더 큽니다.

맞춤형 검증

각 과제는 요청된 기능을 확인하고 이를 제공하는 어떤 구현도 받아들이는 수기 검증기로 채점됩니다. 이는 특정 테스트 케이스 통과를 기준으로 하는 테스트 기반 채점과 다릅니다. DeepSWE의 검증기는 구현이 아닌 동작을 확인합니다. 독립 LLM이 채점된 실행을 재검토하면, SWE-bench Pro의 상속된 테스트 대비 DeepSWE 검증기와의 불일치가 한 자릿수 배율만큼 적습니다(1.4% 대 32.4%).

재현 가능한 평가

DeepSWE v1.1 개정판은 이를 더 강화하여, 메인에 보다 자연스러운 git 작업 공간을 제공하고, 깨끗한 격리 검증기 컨테이너에서 커밋된 패치만 채점합니다. 공개된 평가 트래젝토리는 점수뿐 아니라 그 근거가 된 실제 추론도 누구나 확인할 수 있게 합니다. 모든 롤아웃은 DeepSWE GitHub 리포지토리에서 열람할 수 있습니다.

DeepSWE 리더보드는 어떻게 작동하나요?

deepswe.datacurve.ai의 리더보드는 단순한 순위표가 아닙니다. 구성표이며, 이를 이해하면 읽는 방식이 달라집니다.

통과율

핵심 지표는 pass@1입니다. 첫 시도에서 모델이 해결한 과제의 비율입니다. 많은 공개 리더보드에서는 상위 모델들이 좁은 구간에 몰립니다. DeepSWE는 개발자가 일상에서 에이전트를 실제로 경험하는 방식을 반영하도록 설계되어, 최고와 최저 성능 사이의 격차가 훨씬 더 큽니다.

추론 노력

같은 모델이라도 추론 노력(reasoning effort) 설정( high, xhigh, max )이 다르면 의미 있게 다른 점수가 나옵니다. 추론 노력이 높을수록 대체로 토큰 소비가 많아지고 과제당 비용이 증가합니다. 그 트레이드오프의 가치 여부는 사용 사례에 달려 있습니다.

과제당 비용

벤치마크는 토큰 효율과 비용을 추적합니다. 과제당 $4에 70%를 기록한 모델과 과제당 $1.50에 68%를 기록한 모델은, 프로덕션 도입을 고민하는 팀에 전혀 다른 이야기를 들려줍니다.

토큰과 에이전트 스텝

토큰 소비량과 도구 사용 스텝 수는 효율성에 대한 창을 제공합니다. 일부 구성은 자체 테스트를 활발히 작성·실행합니다. DeepSWE에서 상위 모델들은 최대 85%의 실행에서 이런 자기 검증 행동을 보였습니다. 이 자기 검증은 강한 에이전트와 약한 에이전트를 가르는 가장 뚜렷한 지표 중 하나입니다.

평가 구성

리더보드 점수는 구성에 종속됩니다. 모델, 에이전트 하네스, 사용 가능한 도구, 실행 설정이 모두 성능에 영향을 줍니다. 같은 모델이라도 하네스가 다르면 다른 결과를 낼 수 있습니다. 

어떤 AI 모델이 DeepSWE에서 가장 잘하나요?

아래 표는 2026년 9월 22일 기준 공식 DeepSWE v1.1 리더보드를 반영합니다. 이는 절대 순위가 아닌 구성별 결과입니다. 113개 과제 벤치마크에서 모든 점수는 대략 ±3~4%p의 95% 신뢰구간을 가집니다.

세 모델이 74%라면 3자 동률처럼 들립니다. 하지만 신뢰구간과 구성 차이는 그런 해석을 불안정하게 만듭니다. 연구실들은 공식 보드의 마지막 업데이트 이후에도 GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon 등 다양한 모델의 DeepSWE 1.1 수치를 계속 공개해왔기에, 경쟁 구도는 공식 리더보드가 포착하는 속도보다 더 빠르게 변하고 있습니다. 상위권 사이의 1~2%p 격차는 113개 과제 벤치마크 특성상, 그리고 아래에 서술된 채점 이슈를 고려할 때 의미 있는 신호가 아닙니다.

DeepSWE와 다른 AI 코딩 벤치마크 비교

DeepSWE vs. SWE-bench

SWE-bench는 병합된 풀 리퀘스트에서 추출한 2,294개 작업 인스턴스를 기반으로 실제 GitHub 이슈 해결을 평가의 틀로 제시했습니다. 과제는 실제이지만, 그 출처는 오염 문제를 유발합니다. 해답이 모델 학습에 사용된 동일한 리포지토리에 공개되어 있기 때문입니다. DeepSWE의 원본 과제는 이를 피하도록 특별히 작성되었습니다. 대가로 규모가 줄어듭니다. 수천 개가 아닌 113개 과제입니다.

DeepSWE vs. SWE-bench Pro

SWE-bench Pro는 원본 SWE-bench보다 더 나아갔지만, 결과적으로 상당한 채점 문제가 있었습니다. Datacurve의 감사에 따르면 SWE-bench Pro의 자동 채점기는 올바른 해답을 24%에서 거부하고, 틀린 해답을 8.5%에서 수용하여, 통과/실패 결정의 약 3분의 1이 의심스럽습니다. 또한 Claude Opus는 SWE-bench Pro 실험의 12% 이상에서 git 히스토리에서 정답을 복원하는 경향을 보였는데, 이는 DeepSWE의 얕은 클론 방식이 방지합니다. SWE-bench Pro의 더 큰 과제 수는 통계적 신뢰도를 높이는 장점이고, DeepSWE의 더 깔끔한 채점은 결과 타당성의 장점입니다. 여기서 뚜렷한 우열은 없습니다.

DeepSWE vs. Terminal-Bench

Terminal-Bench 4.0은 터미널 환경에서 소프트웨어, 과학, 머신러닝, 운영, 하드웨어, 보안, 미디어 등 7개 도메인에 걸친 66개 과제를 평가하는 벤치마크입니다. DeepSWE가 리포지토리 수준의 소프트웨어 엔지니어링을 평가하는 반면, Terminal-Bench는 터미널에서의 엔드 투 엔드 기술 업무를 평가하며, 그중 소프트웨어 과제는 18개뿐입니다. Terminal-Bench 점수는 모델과 하네스 쌍에 귀속되어 부분적으로 도구 비교의 성격을 띱니다. DeepSWE는 하네스를 고정하여 모델에 대한 정보를 제공합니다. 둘 다 Epoch AI에서 Flawed 등급을 받았고, Terminal-Bench 4.0은 66개 과제 중 30개에 결함이 보고되었습니다.

DeepSWE는 얼마나 신뢰할 수 있나요?

강점부터 보면: 원본 과제는 오염 위험을 크게 줄이고, 행태 기반 검증기는 SWE-bench Pro보다 더 정확하며, 공개된 트래젝토리는 결과를 검증 가능하게 만듭니다. 독립 벤치마크 기관인 Artificial Analysis는 인텔리전스 및 코딩 에이전트 지수에서 SWE-bench Pro를 DeepSWE로 대체했습니다( Datacurve 성공과 이해관계가 없는 기관의 의미 있는 지지입니다).

문제점으로는: 독립 리뷰에서 최소 113개 중 23개 과제에 채점 결함이 확인되어, 벤치마크를 Flawed로 표시하기 위한 임계치를 넘었습니다. 해당 리뷰는 Epoch AI가 독립 벤치마크 리뷰 프로그램의 일환으로 2026년 9월 7일에 발표했습니다. 채점 결함의 대부분은 숨겨진 테스트가 에이전트가 작성한 테스트와 충돌하는 이슈였는데, DeepSWE의 검증기가 제출물을 적용하고, 테스트 패치에 나열된 파일을 복원한 뒤, 제출된 리포지토리의 테스트 스위트를 실행하고 그 리포트를 채점하는 구조적 문제에서 비롯됩니다. 그 결과 일부 테스트 인프라가 제출물의 통제를 받게 됩니다.

이것이 DeepSWE를 쓸모없게 만들지는 않습니다. 다만 정밀한 순위는 신뢰하기 어렵게 만듭니다. 모델의 대략적인 순서는 의미가 있을 가능성이 높지만, 구성 간 1~2%p 차이는 아닙니다.

DeepSWE가 AI 코딩 에이전트에 대해 알려주는 것

DeepSWE에서 성과가 좋은 모델은 단지 더 나은 함수를 쓰는 것이 아닙니다. 낯선 코드베이스를 탐색하고, 다단계 변경을 계획하며, 테스트를 통해 스스로 검증합니다. 각 AI 모델 패밀리는 저마다 고유한 방식으로 실패하기도 합니다. Datacurve에 따르면 DeepSWE에서 Claude의 실패 중 상당수는 "한 브랜치만 출하" 패턴을 따릅니다. 일부 요구 사항만 충족하는 부분 구현입니다. 이는 GPT의 실패 양상과도, 다시 Gemini의 양상과도 다릅니다.

추론 노력, 비용, 성능은 단순화하기 어려운 방식으로 상호작용합니다. 스텝 제한은 드물게 걸립니다. 7,174건의 채점된 롤아웃 중 제한에 도달한 경우는 67건뿐입니다. 더 많은 토큰과 더 많은 스텝이 일관되게 더 많은 과제를 해결해주지는 않습니다. 이는 프로덕션용 에이전트를 구성하기 전에 알아둘 가치가 있습니다.

더 어려운 진실은, 벤치마크의 진전이 아무리 실재하더라도 에이전트가 복잡한 프로덕션 시스템을 독립적으로 유지보수할 수 있음을 입증하지는 않는다는 점입니다. 113개 정교한 과제에서 74% 통과율은 상대적 모델 역량에 대해 의미 있는 메시지를 줍니다. 그러나 에이전트를 프로덕션 코드베이스에서 감독 없이 신뢰할 수 있다거나, 모호한 요구 사항을 처리하거나, 실제 엔지니어링 팀의 사회적 역학을 헤쳐 나갈 수 있다는 뜻은 아닙니다. 이런 간극은 현재 존재하는 어떤 벤치마크도 측정하지 못합니다.

결론

DeepSWE는 대체를 염두에 둔 기존 벤치마크들에 비해 분명한 개선입니다. 원본 과제, 행태 기반 검증, 공개 트래젝토리는, 고난도의 엔지니어링 작업에서 최전선 모델을 비교할 때 SWE-bench Pro보다 신뢰할 수 있게 만듭니다. DeepSWE 통과율은 최저에서 최고까지 약 70%p 범위를 보이며, 공개 SWE-bench Pro 점수의 약 30%p 대비 더 넓습니다. 이 더 넓은 분리는 실제이며 유의미합니다.tive.

하지만 리더보드 결과는 주의 깊게 읽어야 합니다. 구성의 영향이 매우 큽니다. 추론 노력, 비용, 하네스 선택이 모두 점수를 바꿉니다. 또한 독립적인 채점 리뷰에서 20%가 넘는 과제에 결함이 발견되어, 정밀 순위는 확정적이라기보다 방향성으로 받아들여야 합니다. 벤치마크 설계는 여전히 어려운 과제이고, DeepSWE는 아직 깔끔한 해답이 없는 문제에 대한 정직한 시도입니다.

DeepSWE 같은 벤치마크가 측정하려는 역량을 기르고 싶다면, 저희 AI-Assisted Coding for Developers 코스에서 프롬프트 엔지니어링, 디버깅, AI 코딩 어시스턴트를 활용한 테스트 워크플로를 다룹니다. 후속 코스인 Advanced AI-Assisted Coding for Developers는 코드베이스 분석, 성능 최적화, 보안 등, 오늘날 상위권 에이전트도 여전히 어려워하는 다단계 엔지니어링 작업으로 더 나아갑니다.