每隔几个月，就会出现一个新的编码基准，带着同样的承诺：原创、无污染、迄今为止对 AI 工程能力最真实的衡量。
DeepSWE 与众不同。并非因为这些主张有误，而是因为它们背后有切实证据，而且 Datacurve 异常坦诚地指出了该基准仍存的不足。让我们来看看。
什么是 DeepSWE？
DeepSWE 是 Datacurve 推出的无污染编码基准，针对 91 个代码库的 113 个原创、长周期软件工程任务，在 TypeScript、Go、Python、JavaScript 和 Rust 五种语言上测试前沿大模型。它于去年 5 月作为 Datacurve 的首个公开产品上线。
需要明确的是，DeepSWE 是一个基准，不是 AI 模型或编码代理。它不写代码，而是评估会写代码的代理。其目标是衡量大型语言模型能否处理真实世界的复杂软件工程任务，使用专为该基准编写的原创问题，而非从已合并的 GitHub 拉取请求中提取。
为此，DeepSWE 清晰地区分了代码生成与代理式编码。代码生成是在文本框中产出一个函数。代理式编码则意味着阅读仓库、理解各部分如何协同、编写能与现有系统交互的代码、运行测试并迭代。
DeepSWE 如何运作
在 DeepSWE 上接受评估的代理，并非只得到一个提示词就对着空气写代码。它在一个真实的软件开发环境中运行：
- 代理接收任务描述（平均约 2,158 个字符，大约是典型 SWE-bench Pro 提示词长度的一半）。
- 它检查代码库，导航文件并理解代码基座。
- 它修改代码、运行相关命令并执行测试。
- 它提交自己的实现。
- DeepSWE 使用任务特定的验证器评估结果，检查所请求的功能是否真的实现。
- 结果将计入该模型在基准上的总体通过率。
DeepSWE 使用 mini-swe-agent（由 SWE-bench 和 SWE-agent 背后的普林斯顿与斯坦福团队构建的工具链），并在各模型间保持固定。值得注意的是：模型的 DeepSWE 分数反映的是其在特定配置下的表现，并非某种抽象的编码能力度量。
DeepSWE 的独特之处
市面上有很多编码基准，大多数开始让人分不清差异。以下是 DeepSWE 真正与众不同的地方。
原创的软件工程任务
DeepSWE 与 SWE-bench 及其变体的主要区别在于污染控制。每个任务均由 Datacurve 的工程师从零撰写，而不是改编自现有 GitHub 提交或拉取请求。污染的担忧很直接：如果模型的训练数据同时包含某个 GitHub 问题及其最终修复，它并不是在解决问题，而是在回忆方案。DeepSWE 对基线提交进行浅克隆，因此不存在可读取的已合并修复哈希，堵上了 SWE-bench Pro 可被利用的一个漏洞。
长周期工程问题
SWE-bench Pro 的任务平均需要在 5 个文件中编写 120 行代码。DeepSWE 的参考解平均在 7 个文件中新增 668 行代码，体量约为前者的 5.5 倍。这些并非单函数修复，而是跨多个文件的协调变更，需要真正理解代码库如何协作。更短的提示词，更庞大的解法。
自定义验证
每个任务均由手写验证器评分，核查所请求的功能，并接受任何能实现该功能的实现。这不同于基于测试的评分，后者以通过特定测试用例为标准。DeepSWE 的验证器检查的是行为，而非实现。当一个独立的大模型对已评分的运行进行复核时，它与 DeepSWE 验证器的分歧频率比与 SWE-bench Pro 继承测试的分歧低一个数量级（1.4% 对 32.4%）。
可复现的评估
DeepSWE 的 v1.1 版本进一步强化了这一点，只在干净、隔离的验证器容器中对提交的补丁进行评分，并在主分支上呈现更自然的 git 工作空间。公开的评估轨迹让任何人都能检查不仅是分数，还有背后的实际推理。您可以在 DeepSWE 的 GitHub 仓库浏览每一次展开。
DeepSWE 排行榜如何运作
deepswe.datacurve.ai 上的排行榜不仅是名次表，更是一张配置表，理解这一点会改变您的解读方式。
通过率
核心指标是 pass@1：模型首次尝试就解决的任务占比。许多公开排行榜上，顶级模型常聚集在狭窄区间。DeepSWE 旨在反映开发者日常实际使用代理的体验，这意味着最佳与最差表现之间的差距要宽得多。
推理投入
同一模型可在不同推理投入设置（high、xhigh、max）下多次出现，并给出显著不同的分数。更高的推理投入通常意味着消耗更多 token、每个任务成本更高。是否值得取决于您的使用场景。
单任务成本
该基准会跟踪 token 效率与成本。一个模型以每任务 4 美元拿到 70%，与另一个以每任务 1.50 美元拿到 68%，对于考虑生产部署的团队来说，意义完全不同。
Token 与代理步数
Token 消耗与工具使用步数让您一窥效率。有些配置会大量编写并运行自测。在 DeepSWE 上，顶级模型在多达 85% 的运行中采取了这种自我验证行为。这是区分强代理与弱代理最清晰的标志之一。
评估配置
排行榜分数是特定于配置的。模型、代理工具链、可用工具与执行设置都会影响性能。相同模型在不同工具链下的两次运行，可能产生不同结果。
哪些 AI 模型在 DeepSWE 上表现最佳？
下表反映截至 2026 年 9 月 22 日的官方 DeepSWE v1.1 排行榜。这些是特定配置下的结果，而非通用排名。所有分数在 113 个任务的基准上，都带有约 ±3–4 个百分点的 95% 置信区间。
|
模型
|
DeepSWE v1.1 pass@1
|
|
GPT-6 Astra（xhigh）
|
74%
|
|
Gemini 3.8 Flash（high）
|
74%
|
|
Claude Opus 5（max）
|
74%
|
|
GPT-5.6 Sol（max）
|
73%
|
|
Claude Fable 5（xhigh）
|
70%
|
|
GLM-5.3（max）
|
69%
|
三个模型达到 74% 看起来像三方并列。但置信区间与配置差异让这种解读并不稳妥。自上次官方榜单更新以来，多个实验室持续发布包括 GPT-6.1 Sol、Claude Opus 5.5、Sonnet 5.5、Gemini 4 Argon 等模型的 DeepSWE 1.1 成绩，因此竞争格局的变化速度快于官方排行榜的更新节奏。顶级选手之间一两个百分点的差距并不是有意义的信号，尤其是在 113 个任务的基准上，加之下文所述的评分问题。
DeepSWE 与其他 AI 编码基准对比
DeepSWE vs. SWE-bench
SWE-bench 将软件工程评估设定为针对 2,294 个从已合并的拉取请求中挖掘的任务实例来解决真实的 GitHub 问题。任务是真实的，但这种来源带来污染问题：解决方案在模型训练所用的同一仓库中公开可得。DeepSWE 的原创任务正是为规避此问题而写。权衡在于规模：113 个任务对比数千个。
DeepSWE vs. SWE-bench Pro
SWE-bench Pro 比原版 SWE-bench 更进一步，但其评分问题被证实相当严重。Datacurve 的审计发现，SWE-bench Pro 的自动评分器有 24% 的比例拒绝了正确解、8.5% 的比例接受了错误解，意味着其约三分之一的通过/失败判定存疑。Claude Opus 也表现出在超过 12% 的 SWE-bench Pro 试验中从 git 历史中恢复黄金解的倾向，而 DeepSWE 的浅克隆方法可防止这种情况。SWE-bench Pro 更大的任务数量对统计置信度确是优势；DeepSWE 更干净的评分对结果有效性也是优势。两者并无明显孰优孰劣。
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 是在终端环境下、覆盖软件、科学、机器学习、运维、硬件、安全与媒体七大领域的 66 项任务基准。DeepSWE 评估的是仓库层面的软件工程；Terminal-Bench 则评估终端中的端到端技术工作，而且其中只有 18 项为软件任务。Terminal-Bench 的分数归属于“模型+工具链”组合，因此部分是工具比较；DeepSWE 则固定工具链，仅反映模型表现。两者均被 Epoch AI 评为 Flawed，Terminal-Bench 4.0 在 66 项任务中有 30 项存在缺陷。
| | Terminal-Bench 4.0 |
|---|
| 任务来源 | 社区贡献，维护者审核 |
| 任务数量 | 66 |
| 主要侧重 | 七大领域的端到端终端任务 |
| 评分方式 | 验证器检查最终系统状态 |
| 污染风险 | 低至中等 |
DeepSWE 有多可靠？
优势方面：原创任务大幅降低污染风险，行为型验证器比 SWE-bench Pro 更准确，公开的轨迹使结果可供审查。独立基准公司 Artificial Analysis 将其情报与编码代理指数从 SWE-bench Pro 替换为 DeepSWE（这是来自与 Datacurve 无利益关系机构的有分量背书）。
问题方面：独立评审在至少 113 个任务中的 23 个发现评分缺陷，超过了被标注为 Flawed 的阈值。该评审由 Epoch AI 于 2026 年 9 月 7 日在其独立基准评审项目中发布。评分缺陷多为隐藏测试与代理编写的测试发生冲突，这是 DeepSWE 验证器的结构性问题：验证器应用提交内容、还原测试补丁中列出的文件、然后运行提交仓库中的测试套件并据其报告评分。这样会让部分测试基础设施处于提交方的控制之下。
这并不意味着 DeepSWE 毫无用处，而是意味着精确排名不够可靠。模型的大致排序可能有意义；配置间一两个百分点的差距则没有。
DeepSWE 告诉我们关于 AI 编码代理的什么
在 DeepSWE 上表现出色的模型，不只是写出更好的函数。它们能在陌生代码库中导航、规划多步变更，并通过测试进行自我验证。每个 AI 模型家族也都有各自独特的失败方式。Datacurve 报告称，Claude 在 DeepSWE 上的大量失败遵循“一条分支已发货”的模式：部分实现，仅满足部分需求。这与 GPT 的失败模式不同，也与 Gemini 的不同。
推理投入、成本与性能之间的关系并非简单线性。步数上限很少成为束缚：在 7,174 次计分展开中，只有 67 次触顶。更多 token 与更多步骤并不总能解决更多任务——这一点值得您在为生产配置代理前了解。
更严峻的事实是，尽管基准进展确实存在，但并不能据此断言代理可以独立维护复杂的生产系统。一个在 113 个精心设计任务上取得 74% 通过率的成绩，确实能反映相对模型能力，但并不意味着代理可在生产代码库中无监督可信、能处理含糊需求，或能驾驭真实工程团队的社会协作。这些差距并未被任何现有基准所度量。
结语
DeepSWE 相较其试图替代的基准确有实质改进。原创任务、行为验证与公开轨迹，使其在针对高难工程工作的前沿模型对比上，比 SWE-bench Pro 更值得信赖。DeepSWE 的通过率从最差到最好跨度约 70 个百分点，而公开报道的 SWE-bench Pro 分数跨度约 30 个百分点，这种更大的区分度是真实且具启发性的。tive.
但阅读排行榜结果需谨慎。配置极其重要：推理投入、成本与工具链选择都会影响分数。而独立评分评审在 20% 以上的任务中发现了缺陷，足以将精确排名视为方向性而非定论。基准设计依然很难，DeepSWE 是对这一尚无完美解法问题的坦诚尝试。
如果您想提升那些如 DeepSWE 之类基准旨在衡量的技能，我们的 AI-Assisted Coding for Developers 课程涵盖了与 AI 编码助手配合的提示工程、调试与测试流程。后续课程 Advanced AI-Assisted Coding for Developers 则更深入到代码库分析、性能优化与安全性——这些都是如今高分代理仍在挣扎的多步工程工作类型。
每隔几个月，就会出现一个新的编码基准，带着同样的承诺：原创、无污染、迄今为止对 AI 工程能力最真实的衡量。
DeepSWE 与众不同。并非因为这些主张有误，而是因为它们背后有切实证据，而且 Datacurve 异常坦诚地指出了该基准仍存的不足。让我们来看看。
什么是 DeepSWE？
DeepSWE 是 Datacurve 推出的无污染编码基准，针对 91 个代码库的 113 个原创、长周期软件工程任务，在 TypeScript、Go、Python、JavaScript 和 Rust 五种语言上测试前沿大模型。它于去年 5 月作为 Datacurve 的首个公开产品上线。
需要明确的是，DeepSWE 是一个基准，不是 AI 模型或编码代理。它不写代码，而是评估会写代码的代理。其目标是衡量大型语言模型能否处理真实世界的复杂软件工程任务，使用专为该基准编写的原创问题，而非从已合并的 GitHub 拉取请求中提取。
为此，DeepSWE 清晰地区分了代码生成与代理式编码。代码生成是在文本框中产出一个函数。代理式编码则意味着阅读仓库、理解各部分如何协同、编写能与现有系统交互的代码、运行测试并迭代。
DeepSWE 如何运作
在 DeepSWE 上接受评估的代理，并非只得到一个提示词就对着空气写代码。它在一个真实的软件开发环境中运行：
DeepSWE 使用 mini-swe-agent（由 SWE-bench 和 SWE-agent 背后的普林斯顿与斯坦福团队构建的工具链），并在各模型间保持固定。值得注意的是：模型的 DeepSWE 分数反映的是其在特定配置下的表现，并非某种抽象的编码能力度量。
DeepSWE 的独特之处
市面上有很多编码基准，大多数开始让人分不清差异。以下是 DeepSWE 真正与众不同的地方。
原创的软件工程任务
DeepSWE 与 SWE-bench 及其变体的主要区别在于污染控制。每个任务均由 Datacurve 的工程师从零撰写，而不是改编自现有 GitHub 提交或拉取请求。污染的担忧很直接：如果模型的训练数据同时包含某个 GitHub 问题及其最终修复，它并不是在解决问题，而是在回忆方案。DeepSWE 对基线提交进行浅克隆，因此不存在可读取的已合并修复哈希，堵上了 SWE-bench Pro 可被利用的一个漏洞。
长周期工程问题
SWE-bench Pro 的任务平均需要在 5 个文件中编写 120 行代码。DeepSWE 的参考解平均在 7 个文件中新增 668 行代码，体量约为前者的 5.5 倍。这些并非单函数修复，而是跨多个文件的协调变更，需要真正理解代码库如何协作。更短的提示词，更庞大的解法。
自定义验证
每个任务均由手写验证器评分，核查所请求的功能，并接受任何能实现该功能的实现。这不同于基于测试的评分，后者以通过特定测试用例为标准。DeepSWE 的验证器检查的是行为，而非实现。当一个独立的大模型对已评分的运行进行复核时，它与 DeepSWE 验证器的分歧频率比与 SWE-bench Pro 继承测试的分歧低一个数量级（1.4% 对 32.4%）。
可复现的评估
DeepSWE 的 v1.1 版本进一步强化了这一点，只在干净、隔离的验证器容器中对提交的补丁进行评分，并在主分支上呈现更自然的 git 工作空间。公开的评估轨迹让任何人都能检查不仅是分数，还有背后的实际推理。您可以在 DeepSWE 的 GitHub 仓库浏览每一次展开。
DeepSWE 排行榜如何运作
deepswe.datacurve.ai 上的排行榜不仅是名次表，更是一张配置表，理解这一点会改变您的解读方式。
通过率
核心指标是 pass@1：模型首次尝试就解决的任务占比。许多公开排行榜上，顶级模型常聚集在狭窄区间。DeepSWE 旨在反映开发者日常实际使用代理的体验，这意味着最佳与最差表现之间的差距要宽得多。
推理投入
同一模型可在不同推理投入设置（high、xhigh、max）下多次出现，并给出显著不同的分数。更高的推理投入通常意味着消耗更多 token、每个任务成本更高。是否值得取决于您的使用场景。
单任务成本
该基准会跟踪 token 效率与成本。一个模型以每任务 4 美元拿到 70%，与另一个以每任务 1.50 美元拿到 68%，对于考虑生产部署的团队来说，意义完全不同。
Token 与代理步数
Token 消耗与工具使用步数让您一窥效率。有些配置会大量编写并运行自测。在 DeepSWE 上，顶级模型在多达 85% 的运行中采取了这种自我验证行为。这是区分强代理与弱代理最清晰的标志之一。
评估配置
排行榜分数是特定于配置的。模型、代理工具链、可用工具与执行设置都会影响性能。相同模型在不同工具链下的两次运行，可能产生不同结果。
哪些 AI 模型在 DeepSWE 上表现最佳？
下表反映截至 2026 年 9 月 22 日的官方 DeepSWE v1.1 排行榜。这些是特定配置下的结果，而非通用排名。所有分数在 113 个任务的基准上，都带有约 ±3–4 个百分点的 95% 置信区间。
模型
DeepSWE v1.1 pass@1
GPT-6 Astra（xhigh）
74%
Gemini 3.8 Flash（high）
74%
Claude Opus 5（max）
74%
GPT-5.6 Sol（max）
73%
Claude Fable 5（xhigh）
70%
GLM-5.3（max）
69%
三个模型达到 74% 看起来像三方并列。但置信区间与配置差异让这种解读并不稳妥。自上次官方榜单更新以来，多个实验室持续发布包括 GPT-6.1 Sol、Claude Opus 5.5、Sonnet 5.5、Gemini 4 Argon 等模型的 DeepSWE 1.1 成绩，因此竞争格局的变化速度快于官方排行榜的更新节奏。顶级选手之间一两个百分点的差距并不是有意义的信号，尤其是在 113 个任务的基准上，加之下文所述的评分问题。
DeepSWE 与其他 AI 编码基准对比
DeepSWE vs. SWE-bench
SWE-bench 将软件工程评估设定为针对 2,294 个从已合并的拉取请求中挖掘的任务实例来解决真实的 GitHub 问题。任务是真实的，但这种来源带来污染问题：解决方案在模型训练所用的同一仓库中公开可得。DeepSWE 的原创任务正是为规避此问题而写。权衡在于规模：113 个任务对比数千个。
DeepSWE vs. SWE-bench Pro
SWE-bench Pro 比原版 SWE-bench 更进一步，但其评分问题被证实相当严重。Datacurve 的审计发现，SWE-bench Pro 的自动评分器有 24% 的比例拒绝了正确解、8.5% 的比例接受了错误解，意味着其约三分之一的通过/失败判定存疑。Claude Opus 也表现出在超过 12% 的 SWE-bench Pro 试验中从 git 历史中恢复黄金解的倾向，而 DeepSWE 的浅克隆方法可防止这种情况。SWE-bench Pro 更大的任务数量对统计置信度确是优势；DeepSWE 更干净的评分对结果有效性也是优势。两者并无明显孰优孰劣。
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 是在终端环境下、覆盖软件、科学、机器学习、运维、硬件、安全与媒体七大领域的 66 项任务基准。DeepSWE 评估的是仓库层面的软件工程；Terminal-Bench 则评估终端中的端到端技术工作，而且其中只有 18 项为软件任务。Terminal-Bench 的分数归属于“模型+工具链”组合，因此部分是工具比较；DeepSWE 则固定工具链，仅反映模型表现。两者均被 Epoch AI 评为 Flawed，Terminal-Bench 4.0 在 66 项任务中有 30 项存在缺陷。
DeepSWE 有多可靠？
优势方面：原创任务大幅降低污染风险，行为型验证器比 SWE-bench Pro 更准确，公开的轨迹使结果可供审查。独立基准公司 Artificial Analysis 将其情报与编码代理指数从 SWE-bench Pro 替换为 DeepSWE（这是来自与 Datacurve 无利益关系机构的有分量背书）。
问题方面：独立评审在至少 113 个任务中的 23 个发现评分缺陷，超过了被标注为 Flawed 的阈值。该评审由 Epoch AI 于 2026 年 9 月 7 日在其独立基准评审项目中发布。评分缺陷多为隐藏测试与代理编写的测试发生冲突，这是 DeepSWE 验证器的结构性问题：验证器应用提交内容、还原测试补丁中列出的文件、然后运行提交仓库中的测试套件并据其报告评分。这样会让部分测试基础设施处于提交方的控制之下。
这并不意味着 DeepSWE 毫无用处，而是意味着精确排名不够可靠。模型的大致排序可能有意义；配置间一两个百分点的差距则没有。
DeepSWE 告诉我们关于 AI 编码代理的什么
在 DeepSWE 上表现出色的模型，不只是写出更好的函数。它们能在陌生代码库中导航、规划多步变更，并通过测试进行自我验证。每个 AI 模型家族也都有各自独特的失败方式。Datacurve 报告称，Claude 在 DeepSWE 上的大量失败遵循“一条分支已发货”的模式：部分实现，仅满足部分需求。这与 GPT 的失败模式不同，也与 Gemini 的不同。
推理投入、成本与性能之间的关系并非简单线性。步数上限很少成为束缚：在 7,174 次计分展开中，只有 67 次触顶。更多 token 与更多步骤并不总能解决更多任务——这一点值得您在为生产配置代理前了解。
更严峻的事实是，尽管基准进展确实存在，但并不能据此断言代理可以独立维护复杂的生产系统。一个在 113 个精心设计任务上取得 74% 通过率的成绩，确实能反映相对模型能力，但并不意味着代理可在生产代码库中无监督可信、能处理含糊需求，或能驾驭真实工程团队的社会协作。这些差距并未被任何现有基准所度量。
结语
DeepSWE 相较其试图替代的基准确有实质改进。原创任务、行为验证与公开轨迹，使其在针对高难工程工作的前沿模型对比上，比 SWE-bench Pro 更值得信赖。DeepSWE 的通过率从最差到最好跨度约 70 个百分点，而公开报道的 SWE-bench Pro 分数跨度约 30 个百分点，这种更大的区分度是真实且具启发性的。tive.
但阅读排行榜结果需谨慎。配置极其重要：推理投入、成本与工具链选择都会影响分数。而独立评分评审在 20% 以上的任务中发现了缺陷，足以将精确排名视为方向性而非定论。基准设计依然很难，DeepSWE 是对这一尚无完美解法问题的坦诚尝试。
如果您想提升那些如 DeepSWE 之类基准旨在衡量的技能，我们的 AI-Assisted Coding for Developers 课程涵盖了与 AI 编码助手配合的提示工程、调试与测试流程。后续课程 Advanced AI-Assisted Coding for Developers 则更深入到代码库分析、性能优化与安全性——这些都是如今高分代理仍在挣扎的多步工程工作类型。