数か月おきに、新しいコーディングベンチマークが登場し、同じ約束を掲げます。オリジナルで、汚染なしで、これまでで最も正確にAIエンジニアリングを測れると。
DeepSWEは違います。主張が誤っているからではなく、その裏付けとなる実証があること、そしてベンチマークの未完成な部分についてDatacurveが異例の率直さで明らかにしているからです。詳しく見ていきましょう。
DeepSWEとは？
DeepSWEはDatacurveが提供する汚染のないコーディングベンチマークで、91のリポジトリ・5言語（TypeScript、Go、Python、JavaScript、Rust）にまたがる113のオリジナルな長期的ソフトウェア工学タスクで最前線のLLMをテストします。昨年5月にDatacurve初のパブリック製品として公開されました。
明確にしておくと、DeepSWEはベンチマークであり、AIモデルやコーディングエージェントではありません。コードは書きません。コードを書くエージェントを評価します。目的は、既存のGitHubのマージ済みプルリクエストから引っ張ってきたのではなく、ベンチマーク用に特別に作成されたオリジナルの問題を用いて、大規模言語モデルが実世界の複雑なソフトウェア工学タスクに取り組めるかどうかを測ることです。
そのために、DeepSWEはコード生成とエージェント的コーディングを明確に区別します。コード生成はテキストボックスに関数を出力すること。エージェント的コーディングは、リポジトリを読み、構成要素のつながりを理解し、既存システムと連携するコードを書き、テストを実行し、反復することを意味します。
DeepSWEの仕組み
DeepSWEで評価されるエージェントは、単にプロンプトを受け取って真空中にコードを書くわけではありません。ライブなソフトウェア開発環境の中で動作します。
- エージェントはタスクの説明を受け取ります（平均約2,158文字。SWE-bench Proの典型的なプロンプトの約半分）。
- リポジトリを精査し、ファイルをナビゲートしてコードベースを理解します。
- コードを修正し、関連コマンドを実行し、テストを走らせます。
- 実装を提出します。
- DeepSWEは、要求された機能が実際に備わっているかを確認するタスク固有のバリファイアで結果を評価します。
- その結果が、ベンチマークにおけるモデルの総合パス率に反映されます。
DeepSWEは、PrincetonとStanfordのチームが手がけたSWE-benchおよびSWE-agentのハーネスであるmini-swe-agentを、すべてのモデルで固定して使用します。留意点として、DeepSWEのスコアは、抽象的なコーディング能力ではなく、特定の設定下でのパフォーマンスを反映するものです。
DeepSWEの特長
コーディングベンチマークは数多くあり、多くが似通ってきています。DeepSWEを本当に際立たせている点は次のとおりです。
オリジナルのソフトウェア工学タスク
SWE-benchおよびその派生とDeepSWEの主な違いは、汚染管理にあります。すべてのタスクは、既存のGitHubのコミットやプルリクエストからの転用ではなく、Datacurveのエンジニアがゼロから作成しています。汚染リスクは単純です。モデルがGitHubのIssueと最終的な修正の両方を含むデータで学習している場合、問題を解いているのではなく、解法を想起しているにすぎません。DeepSWEはベースコミットをshallow cloneするため、マージ済みの修正ハッシュを読めず、SWE-bench Proで悪用可能だった抜け穴を塞いでいます。
長期的なエンジニアリング課題
SWE-bench Proのタスクは、平均で5ファイルにわたり120行のコードを要します。DeepSWEの参照解は、平均で7ファイルにわたり668行を追加しており、約5.5倍の規模です。単一関数の修正ではありません。複数ファイルにまたがる調整された変更で、コードベースの成り立ちを本当に理解する必要があります。プロンプトは短く、解は大きいのです。
カスタム検証
各タスクは、要求された機能を確認し、それを満たす任意の実装を受け入れる手書きのバリファイアで採点されます。これは、特定のテストケースの合格を基準とするテストベースの採点とは異なります。DeepSWEのバリファイアは実装ではなく挙動を確認します。独立したLLMが採点済みの実行を再審査したところ、SWE-bench Pro由来のテストに比べ、DeepSWEのバリファイアとの不一致は桁違いに少ない（1.4%対32.4%）という結果でした。
再現可能な評価
DeepSWEのv1.1改訂ではこれをさらに強化し、クリーンで分離されたバリファイアコンテナ内でコミット済みパッチのみを採点し、main上ではより自然なgitワークスペースを提示します。公開された評価トラジェクトリにより、スコアだけでなく、その背後の実際の推論過程まで誰でも検証できます。DeepSWEのGitHubリポジトリで全ロールアウトを閲覧できます。
DeepSWEのリーダーボードの見方
deepswe.datacurve.aiのリーダーボードは単なる順位表ではありません。構成表でもあり、その理解が読み解き方を変えます。
パス率
中核の指標はpass@1、つまりモデルが最初の試行で解けたタスクの割合です。多くの公開リーダーボードでは、上位モデルが狭い帯域に固まります。DeepSWEは、開発者が日々エージェントを体験する現実を反映するよう設計されており、最良と最悪の間の開きがはるかに大きくなります。
推論負荷
同一モデルでも、推論負荷設定（high、xhigh、max）が異なると複数回掲載され、意味のあるスコア差が出ます。推論負荷が高いほど、一般に消費トークン数は増え、タスク当たりのコストも上がります。そのトレードオフに見合うかは用途次第です。
タスク当たりコスト
このベンチマークはトークン効率とコストを追跡します。タスク当たり$4で70%を記録するモデルと、$1.50で68%のモデルでは、本番導入を検討するチームにとって意味合いが大きく異なります。
トークンとエージェントのステップ
トークン消費量とツール使用ステップ数は効率の手がかりになります。ある構成では、自前のテストを書いて実行する頻度が高くなります。DeepSWEでは、上位モデルが最大85%の実行でこの自己検証を行っていました。自己検証は、強いエージェントと弱いエージェントを分ける最も明瞭な指標の一つです。
評価構成
リーダーボードのスコアは構成依存です。モデル、エージェントハーネス、利用可能なツール、実行設定がすべて性能に影響します。同一モデルでも、異なるハーネスでは結果が変わり得ます。
DeepSWEで最も良い成績のAIモデルは？
以下の表は、2026年9月22日現在の公式DeepSWE v1.1リーダーボードを反映しています。これらは構成固有の結果であり、普遍的な順位ではありません。113タスクのベンチマークにおいて、すべてのスコアには約±3〜4ポイントの95%信頼区間があります。
|
モデル
|
DeepSWE v1.1 pass@1
|
|
GPT-6 Astra（xhigh）
|
74%
|
|
Gemini 3.8 Flash（high）
|
74%
|
|
Claude Opus 5（max）
|
74%
|
|
GPT-5.6 Sol（max）
|
73%
|
|
Claude Fable 5（xhigh）
|
70%
|
|
GLM-5.3（max）
|
69%
|
3つのモデルが74%というのは三つ巴に見えます。しかし、信頼区間や構成の違いを考えると、その読みは心もとないものです。ラボ各社は、公式ボードの最終更新以降もGPT-6.1 Sol、Claude Opus 5.5、Sonnet 5.5、Gemini 4 ArgonなどのモデルでDeepSWE 1.1の数値を発表し続けており、競争状況は公式リーダーボードが捉えるより速いペースで変化しています。上位同士の1〜2ポイント差は、113タスクのベンチマークにおいて有意なシグナルとは言えませんし、後述の採点問題を踏まえてもなお、そうです。
DeepSWEと他のAIコーディングベンチマークの比較
DeepSWE vs. SWE-bench
SWE-benchは、マージ済みプルリクエストから抽出した2,294のタスクインスタンスに対し、実際のGitHubのIssueを解決するという形でソフトウェア工学の評価を位置づけました。タスクは実在しますが、その出自ゆえに汚染の問題が生じます。解法が、モデルの学習に使われたのと同じリポジトリで公開されているからです。DeepSWEのオリジナルタスクは、これを回避するために作成されています。トレードオフは規模で、113タスクと数千タスクの差があります。
DeepSWE vs. SWE-bench Pro
SWE-bench Proは元のSWE-benchより踏み込みましたが、結果的に重大な採点問題を抱えていました。Datacurveの監査によれば、SWE-bench Proの自動採点機は、正しい解を24%の確率で不合格とし、誤った解を8.5%で合格としており、合否判断の約3分の1が疑わしいことになります。さらにClaude Opusは、SWE-bench Proの試行の12%以上でgit履歴から金解（正解）を再現する傾向を示しましたが、DeepSWEのshallow clone手法はこれを防ぎます。SWE-bench Proのタスク数の多さは統計的信頼性にとって真の利点であり、DeepSWEのよりクリーンな採点は結果の妥当性にとっての利点です。ここはどちらか一方の明確な勝ちとは言えません。
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0は、ソフトウェア、科学、機械学習、オペレーション、ハードウェア、セキュリティ、メディアの7領域にわたり、ターミナル環境での66タスクを扱うベンチマークです。DeepSWEがリポジトリ単位のソフトウェア工学を評価するのに対し、Terminal-Benchはターミナルでのエンドツーエンドの技術作業を評価し、そのうちソフトウェアタスクは18だけです。Terminal-Benchのスコアはモデルとハーネスの組み合わせに属するため、一部はツール比較でもあります。DeepSWEはハーネスを固定し、モデルの能力を示します。両者はEpoch AIによりFlawed（欠陥あり）と評価され、Terminal-Bench 4.0では66タスク中30に欠陥があるとされました。
| | Terminal-Bench 4.0 |
|---|
| タスクの出所 | コミュニティ投稿、メンテナー審査済み |
| タスク数 | 66 |
| 主な焦点 | 7領域のエンドツーエンドなターミナルタスク |
| 採点 | バリファイアが最終的なシステム状態を確認 |
| 汚染リスク | 低〜中程度 |
DeepSWEの信頼性
強みとしては、オリジナルのタスクにより汚染リスクが大幅に減り、挙動ベースのバリファイアはSWE-bench Proのものより正確で、公開されたトラジェクトリにより結果の検証が可能な点が挙げられます。独立系のベンチマーク企業Artificial Analysisは、同社のIntelligenceおよびCoding Agent指数においてSWE-bench ProをDeepSWEに置き換えました（Datacurveの成功に利害関係のない組織からの意味ある支持です）。
一方の課題としては、独立レビューにより、113タスク中少なくとも23に採点欠陥が見つかり、ベンチマークをFlawedと判定する基準を超えたことがあります。このレビューは2026年9月7日にEpoch AIが独立ベンチマークレビュー・プログラムの一環として公開しました。採点欠陥の多くは、隠れテストがエージェントの作成したテストと衝突するもので、DeepSWEのバリファイアが提出物を適用し、テストパッチに列挙されたファイルを復元し、提出リポジトリのスイートを実行してそのレポートで採点するという構造に起因します。これにより、一部のテスト基盤が提出物の制御下に置かれてしまいます。
これはDeepSWEを無意味にするものではありません。正確な順位付けが信頼しにくいということです。モデルの大まかな序列はおそらく意味がありますが、構成間で1〜2ポイントの差は意味のあるシグナルではありません。
DeepSWEが示すAIコーディングエージェントの実像
DeepSWEで好成績のモデルは、より良い関数を書いているだけではありません。未知のコードベースをナビゲートし、複数ステップの変更を計画し、テストによって自己検証しています。さらに、各AIモデルファミリーは独自の特徴的な失敗パターンを示します。Datacurveの報告によると、ClaudeのDeepSWEにおける失敗の多くは「一枝だけ出荷」パターンに従います。すなわち、要件の一部は満たすが全部は満たさない部分的実装です。これはGPTの失敗パターンとも、さらにGeminiのそれとも異なります。
推論負荷、コスト、パフォーマンスの関係は単純には整理できません。ステップ上限に達することはまれで、7,174件の採点済みロールアウトのうち上限に達したのは67件だけでした。トークンやステップを増やしても、タスク解決数が一貫して増えるわけではありません。本番向けにエージェントを設定する前に知っておくべき事実です。
より厳しい現実は、ベンチマークの進歩がいかに本物であっても、エージェントが複雑な本番システムを独立して保守できることを証明するわけではないという点です。精選された113タスクで74%のパス率は、モデル間の相対的な能力について意味のあることを示します。しかし、それはエージェントがプロダクションのコードベースで無監督で信頼できるとか、曖昧な要件に対処できるとか、実際のエンジニアリングチームの社会的ダイナミクスを乗り切れるとかを示すものではありません。そうしたギャップを測る既存のベンチマークはありません。
結論
DeepSWEは、置き換えを意図したベンチマークに対する真の前進です。オリジナルのタスク、挙動ベースの検証、公開トラジェクトリにより、難易度の高いエンジニアリング作業で最前線のモデルを比較する際、SWE-bench Proより信頼しやすくなっています。DeepSWEのパス率は、最悪から最良までおよそ70ポイントの幅があり、公開されているSWE-bench Proスコアのおよそ30ポイントと比べても、その広い分散は実在し、示唆に富んでいます。
ただし、リーダーボードの結果は慎重に読む必要があります。構成の影響は非常に大きく、推論負荷、コスト、ハーネスの選択でスコアは変動します。さらに独立の採点レビューでは、2割超のタスクに欠陥が見つかり、厳密な順位は決定的というより方向性を示す程度と見なすべきだとされました。ベンチマーク設計は依然として本当に難しく、DeepSWEはまだ解のない問題に対する誠実な試みです。
DeepSWEのようなベンチマークが測ろうとしているスキルを磨きたい場合は、AI-Assisted Coding for Developersコースで、AIコーディングアシスタントによるプロンプト設計、デバッグ、テストのワークフローを学べます。続編のAdvanced AI-Assisted Coding for Developersでは、コードベース解析、パフォーマンス最適化、セキュリティなど、現在のトップスコアのエージェントでも苦戦するマルチステップのエンジニアリング作業をさらに掘り下げます。
数か月おきに、新しいコーディングベンチマークが登場し、同じ約束を掲げます。オリジナルで、汚染なしで、これまでで最も正確にAIエンジニアリングを測れると。
DeepSWEは違います。主張が誤っているからではなく、その裏付けとなる実証があること、そしてベンチマークの未完成な部分についてDatacurveが異例の率直さで明らかにしているからです。詳しく見ていきましょう。
DeepSWEとは？
DeepSWEはDatacurveが提供する汚染のないコーディングベンチマークで、91のリポジトリ・5言語（TypeScript、Go、Python、JavaScript、Rust）にまたがる113のオリジナルな長期的ソフトウェア工学タスクで最前線のLLMをテストします。昨年5月にDatacurve初のパブリック製品として公開されました。
明確にしておくと、DeepSWEはベンチマークであり、AIモデルやコーディングエージェントではありません。コードは書きません。コードを書くエージェントを評価します。目的は、既存のGitHubのマージ済みプルリクエストから引っ張ってきたのではなく、ベンチマーク用に特別に作成されたオリジナルの問題を用いて、大規模言語モデルが実世界の複雑なソフトウェア工学タスクに取り組めるかどうかを測ることです。
そのために、DeepSWEはコード生成とエージェント的コーディングを明確に区別します。コード生成はテキストボックスに関数を出力すること。エージェント的コーディングは、リポジトリを読み、構成要素のつながりを理解し、既存システムと連携するコードを書き、テストを実行し、反復することを意味します。
DeepSWEの仕組み
DeepSWEで評価されるエージェントは、単にプロンプトを受け取って真空中にコードを書くわけではありません。ライブなソフトウェア開発環境の中で動作します。
DeepSWEは、PrincetonとStanfordのチームが手がけたSWE-benchおよびSWE-agentのハーネスであるmini-swe-agentを、すべてのモデルで固定して使用します。留意点として、DeepSWEのスコアは、抽象的なコーディング能力ではなく、特定の設定下でのパフォーマンスを反映するものです。
DeepSWEの特長
コーディングベンチマークは数多くあり、多くが似通ってきています。DeepSWEを本当に際立たせている点は次のとおりです。
オリジナルのソフトウェア工学タスク
SWE-benchおよびその派生とDeepSWEの主な違いは、汚染管理にあります。すべてのタスクは、既存のGitHubのコミットやプルリクエストからの転用ではなく、Datacurveのエンジニアがゼロから作成しています。汚染リスクは単純です。モデルがGitHubのIssueと最終的な修正の両方を含むデータで学習している場合、問題を解いているのではなく、解法を想起しているにすぎません。DeepSWEはベースコミットをshallow cloneするため、マージ済みの修正ハッシュを読めず、SWE-bench Proで悪用可能だった抜け穴を塞いでいます。
長期的なエンジニアリング課題
SWE-bench Proのタスクは、平均で5ファイルにわたり120行のコードを要します。DeepSWEの参照解は、平均で7ファイルにわたり668行を追加しており、約5.5倍の規模です。単一関数の修正ではありません。複数ファイルにまたがる調整された変更で、コードベースの成り立ちを本当に理解する必要があります。プロンプトは短く、解は大きいのです。
カスタム検証
各タスクは、要求された機能を確認し、それを満たす任意の実装を受け入れる手書きのバリファイアで採点されます。これは、特定のテストケースの合格を基準とするテストベースの採点とは異なります。DeepSWEのバリファイアは実装ではなく挙動を確認します。独立したLLMが採点済みの実行を再審査したところ、SWE-bench Pro由来のテストに比べ、DeepSWEのバリファイアとの不一致は桁違いに少ない（1.4%対32.4%）という結果でした。
再現可能な評価
DeepSWEのv1.1改訂ではこれをさらに強化し、クリーンで分離されたバリファイアコンテナ内でコミット済みパッチのみを採点し、main上ではより自然なgitワークスペースを提示します。公開された評価トラジェクトリにより、スコアだけでなく、その背後の実際の推論過程まで誰でも検証できます。DeepSWEのGitHubリポジトリで全ロールアウトを閲覧できます。
DeepSWEのリーダーボードの見方
deepswe.datacurve.aiのリーダーボードは単なる順位表ではありません。構成表でもあり、その理解が読み解き方を変えます。
パス率
中核の指標はpass@1、つまりモデルが最初の試行で解けたタスクの割合です。多くの公開リーダーボードでは、上位モデルが狭い帯域に固まります。DeepSWEは、開発者が日々エージェントを体験する現実を反映するよう設計されており、最良と最悪の間の開きがはるかに大きくなります。
推論負荷
同一モデルでも、推論負荷設定（high、xhigh、max）が異なると複数回掲載され、意味のあるスコア差が出ます。推論負荷が高いほど、一般に消費トークン数は増え、タスク当たりのコストも上がります。そのトレードオフに見合うかは用途次第です。
タスク当たりコスト
このベンチマークはトークン効率とコストを追跡します。タスク当たり$4で70%を記録するモデルと、$1.50で68%のモデルでは、本番導入を検討するチームにとって意味合いが大きく異なります。
トークンとエージェントのステップ
トークン消費量とツール使用ステップ数は効率の手がかりになります。ある構成では、自前のテストを書いて実行する頻度が高くなります。DeepSWEでは、上位モデルが最大85%の実行でこの自己検証を行っていました。自己検証は、強いエージェントと弱いエージェントを分ける最も明瞭な指標の一つです。
評価構成
リーダーボードのスコアは構成依存です。モデル、エージェントハーネス、利用可能なツール、実行設定がすべて性能に影響します。同一モデルでも、異なるハーネスでは結果が変わり得ます。
DeepSWEで最も良い成績のAIモデルは？
以下の表は、2026年9月22日現在の公式DeepSWE v1.1リーダーボードを反映しています。これらは構成固有の結果であり、普遍的な順位ではありません。113タスクのベンチマークにおいて、すべてのスコアには約±3〜4ポイントの95%信頼区間があります。
モデル
DeepSWE v1.1 pass@1
GPT-6 Astra（xhigh）
74%
Gemini 3.8 Flash（high）
74%
Claude Opus 5（max）
74%
GPT-5.6 Sol（max）
73%
Claude Fable 5（xhigh）
70%
GLM-5.3（max）
69%
3つのモデルが74%というのは三つ巴に見えます。しかし、信頼区間や構成の違いを考えると、その読みは心もとないものです。ラボ各社は、公式ボードの最終更新以降もGPT-6.1 Sol、Claude Opus 5.5、Sonnet 5.5、Gemini 4 ArgonなどのモデルでDeepSWE 1.1の数値を発表し続けており、競争状況は公式リーダーボードが捉えるより速いペースで変化しています。上位同士の1〜2ポイント差は、113タスクのベンチマークにおいて有意なシグナルとは言えませんし、後述の採点問題を踏まえてもなお、そうです。
DeepSWEと他のAIコーディングベンチマークの比較
DeepSWE vs. SWE-bench
SWE-benchは、マージ済みプルリクエストから抽出した2,294のタスクインスタンスに対し、実際のGitHubのIssueを解決するという形でソフトウェア工学の評価を位置づけました。タスクは実在しますが、その出自ゆえに汚染の問題が生じます。解法が、モデルの学習に使われたのと同じリポジトリで公開されているからです。DeepSWEのオリジナルタスクは、これを回避するために作成されています。トレードオフは規模で、113タスクと数千タスクの差があります。
DeepSWE vs. SWE-bench Pro
SWE-bench Proは元のSWE-benchより踏み込みましたが、結果的に重大な採点問題を抱えていました。Datacurveの監査によれば、SWE-bench Proの自動採点機は、正しい解を24%の確率で不合格とし、誤った解を8.5%で合格としており、合否判断の約3分の1が疑わしいことになります。さらにClaude Opusは、SWE-bench Proの試行の12%以上でgit履歴から金解（正解）を再現する傾向を示しましたが、DeepSWEのshallow clone手法はこれを防ぎます。SWE-bench Proのタスク数の多さは統計的信頼性にとって真の利点であり、DeepSWEのよりクリーンな採点は結果の妥当性にとっての利点です。ここはどちらか一方の明確な勝ちとは言えません。
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0は、ソフトウェア、科学、機械学習、オペレーション、ハードウェア、セキュリティ、メディアの7領域にわたり、ターミナル環境での66タスクを扱うベンチマークです。DeepSWEがリポジトリ単位のソフトウェア工学を評価するのに対し、Terminal-Benchはターミナルでのエンドツーエンドの技術作業を評価し、そのうちソフトウェアタスクは18だけです。Terminal-Benchのスコアはモデルとハーネスの組み合わせに属するため、一部はツール比較でもあります。DeepSWEはハーネスを固定し、モデルの能力を示します。両者はEpoch AIによりFlawed（欠陥あり）と評価され、Terminal-Bench 4.0では66タスク中30に欠陥があるとされました。
DeepSWEの信頼性
強みとしては、オリジナルのタスクにより汚染リスクが大幅に減り、挙動ベースのバリファイアはSWE-bench Proのものより正確で、公開されたトラジェクトリにより結果の検証が可能な点が挙げられます。独立系のベンチマーク企業Artificial Analysisは、同社のIntelligenceおよびCoding Agent指数においてSWE-bench ProをDeepSWEに置き換えました（Datacurveの成功に利害関係のない組織からの意味ある支持です）。
一方の課題としては、独立レビューにより、113タスク中少なくとも23に採点欠陥が見つかり、ベンチマークをFlawedと判定する基準を超えたことがあります。このレビューは2026年9月7日にEpoch AIが独立ベンチマークレビュー・プログラムの一環として公開しました。採点欠陥の多くは、隠れテストがエージェントの作成したテストと衝突するもので、DeepSWEのバリファイアが提出物を適用し、テストパッチに列挙されたファイルを復元し、提出リポジトリのスイートを実行してそのレポートで採点するという構造に起因します。これにより、一部のテスト基盤が提出物の制御下に置かれてしまいます。
これはDeepSWEを無意味にするものではありません。正確な順位付けが信頼しにくいということです。モデルの大まかな序列はおそらく意味がありますが、構成間で1〜2ポイントの差は意味のあるシグナルではありません。
DeepSWEが示すAIコーディングエージェントの実像
DeepSWEで好成績のモデルは、より良い関数を書いているだけではありません。未知のコードベースをナビゲートし、複数ステップの変更を計画し、テストによって自己検証しています。さらに、各AIモデルファミリーは独自の特徴的な失敗パターンを示します。Datacurveの報告によると、ClaudeのDeepSWEにおける失敗の多くは「一枝だけ出荷」パターンに従います。すなわち、要件の一部は満たすが全部は満たさない部分的実装です。これはGPTの失敗パターンとも、さらにGeminiのそれとも異なります。
推論負荷、コスト、パフォーマンスの関係は単純には整理できません。ステップ上限に達することはまれで、7,174件の採点済みロールアウトのうち上限に達したのは67件だけでした。トークンやステップを増やしても、タスク解決数が一貫して増えるわけではありません。本番向けにエージェントを設定する前に知っておくべき事実です。
より厳しい現実は、ベンチマークの進歩がいかに本物であっても、エージェントが複雑な本番システムを独立して保守できることを証明するわけではないという点です。精選された113タスクで74%のパス率は、モデル間の相対的な能力について意味のあることを示します。しかし、それはエージェントがプロダクションのコードベースで無監督で信頼できるとか、曖昧な要件に対処できるとか、実際のエンジニアリングチームの社会的ダイナミクスを乗り切れるとかを示すものではありません。そうしたギャップを測る既存のベンチマークはありません。
結論
DeepSWEは、置き換えを意図したベンチマークに対する真の前進です。オリジナルのタスク、挙動ベースの検証、公開トラジェクトリにより、難易度の高いエンジニアリング作業で最前線のモデルを比較する際、SWE-bench Proより信頼しやすくなっています。DeepSWEのパス率は、最悪から最良までおよそ70ポイントの幅があり、公開されているSWE-bench Proスコアのおよそ30ポイントと比べても、その広い分散は実在し、示唆に富んでいます。
ただし、リーダーボードの結果は慎重に読む必要があります。構成の影響は非常に大きく、推論負荷、コスト、ハーネスの選択でスコアは変動します。さらに独立の採点レビューでは、2割超のタスクに欠陥が見つかり、厳密な順位は決定的というより方向性を示す程度と見なすべきだとされました。ベンチマーク設計は依然として本当に難しく、DeepSWEはまだ解のない問題に対する誠実な試みです。
DeepSWEのようなベンチマークが測ろうとしているスキルを磨きたい場合は、AI-Assisted Coding for Developersコースで、AIコーディングアシスタントによるプロンプト設計、デバッグ、テストのワークフローを学べます。続編のAdvanced AI-Assisted Coding for Developersでは、コードベース解析、パフォーマンス最適化、セキュリティなど、現在のトップスコアのエージェントでも苦戦するマルチステップのエンジニアリング作業をさらに掘り下げます。