Каждые пару месяцев появляется новый бенчмарк для кода с тем же обещанием: оригинальный, без контаминации, самый точный замер инженерных способностей ИИ на сегодня.
DeepSWE другой. Не потому, что эти заявления неверны, а потому что за ними стоят реальные доказательства, и потому что Datacurve была непривычно откровенна о том, где бенчмарк всё ещё недотягивает. Разберёмся.
Что такое DeepSWE?
DeepSWE — это бенчмарк для написания кода без контаминации от Datacurve, который тестирует передовые LLM на 113 оригинальных, длинных по горизонту задачах по разработке ПО в 91 репозитории и на пяти языках: TypeScript, Go, Python, JavaScript и Rust. Он вышел в мае прошлого года как первый публичный продукт Datacurve.
Важно: DeepSWE — это бенчмарк, а не ИИ-модель и не агент-программист. Он не пишет код. Он оценивает агентов, которые пишут. Его цель — измерить, способны ли большие языковые модели решать реальные, сложные задачи по разработке программного обеспечения, используя оригинальные проблемы, созданные специально для бенчмарка, а не взятые из уже слитых пул-реквестов на GitHub.
Для этого DeepSWE чётко разделяет генерацию кода и агентное программирование. Генерация кода — это написать функцию в текстовом поле. Агентное программирование — это прочитать репозиторий, понять, как устроена кодовая база, написать код, который взаимодействует с существующими системами, запустить тесты и итерационно доработать решение.
Как работает DeepSWE
Агент, которого оценивают в DeepSWE, не просто получает промпт и пишет код в вакууме. Он работает в живой среде разработки ПО:
- Агент получает описание задачи (в среднем около 2 158 символов, примерно вдвое короче типичного промпта SWE-bench Pro).
- Он изучает репозиторий, переходит по файлам и понимает кодовую базу.
- Он вносит изменения в код, запускает релевантные команды и выполняет тесты.
- Он отправляет свою реализацию.
- DeepSWE оценивает результат с помощью проверяющего, созданного под конкретную задачу, который проверяет, появилась ли требуемая функциональность на самом деле.
- Итог идёт в общий показатель pass rate модели на бенчмарке.
DeepSWE использует mini-swe-agent (обвязку, разработанную командой Принстона и Стэнфорда, стоящей за SWE-bench и SWE-agent), причём она фиксирована для всех моделей. Важно: итоговый балл DeepSWE отражает работу модели при конкретной конфигурации, а не некую абстрактную «способность к кодингу».
Чем DeepSWE отличается?
Бенчмарков для кода много, и большинство начинают сливаться в одно. Вот что действительно выделяет DeepSWE.
Оригинальные задачи по разработке ПО
Главное отличие DeepSWE от SWE-bench и его вариантов — контроль контаминации. Каждая задача написана с нуля инженерами Datacurve, а не адаптирована из существующих коммитов или пул-реквестов GitHub. Проблема контаминации проста: если модель обучалась на данных, где есть и issue, и итоговый фикс, она не решает задачу, а вспоминает решение. DeepSWE делает shallow clone базового коммита, поэтому прочитать хеш слитого фикса невозможно — это закрывает лазейку, которая была в SWE-bench Pro.
Длинные инженерные задачи
Задачи SWE-bench Pro требуют в среднем 120 строк кода по пяти файлам. Эталонные решения DeepSWE в среднем добавляют 668 строк по семи файлам — примерно в 5,5 раза больше. Это не исправления в одной функции. Это согласованные изменения в нескольких файлах — такие, для которых действительно нужно понимать, как устроена кодовая база. Промпты короче, решения крупнее.
Пользовательская верификация
Каждая задача оценивается написанным вручную проверяющим, который проверяет требуемую функциональность и принимает любое решение, которое её обеспечивает. Это отличается от оценки по тестам, где критерием является прохождение конкретных тест-кейсов. Верификаторы DeepSWE проверяют поведение, а не реализацию. Когда независимая LLM повторно перепроверяет прогнанные запуски, она расходится с верфикатором DeepSWE на порядок реже, чем с унаследованными тестами SWE-bench Pro (1,4% против 32,4%).
Воспроизводимые оценки
Релиз v1.1 DeepSWE ещё усилил это: оценивается только закоммиченный патч в чистом изолированном контейнере проверяющего, а на ветке main представлена более естественная рабочая область git. Опубликованные траектории оценок позволяют всем изучать не только баллы, но и фактическую логику, стоящую за ними. Можно просматривать каждый rollout в репозитории DeepSWE на GitHub.
Как устроен лидерборд DeepSWE
Лидерборд на deepswe.datacurve.ai — это не просто рейтинг. Это таблица конфигураций, и понимание этого меняет то, как его читать.
Pass rate
Базовая метрика — pass@1: доля задач, которые модель решает с первой попытки. Во многих публичных рейтингах топовые модели собираются в узком диапазоне. DeepSWE задуман так, чтобы отражать повседневный опыт разработчиков с агентами — а это значит гораздо более широкий разрыв между лучшими и худшими.
Усилие на рассуждение
Одна и та же модель может появляться несколько раз с разными настройками усилия на рассуждение (high, xhigh, max) и показывать заметно разные результаты. Более высокое усилие обычно означает больше потраченных токенов и более высокую стоимость на задачу. Стоит ли этот обмен — зависит от вашего кейса.
Стоимость на задачу
Бенчмарк отслеживает эффективность по токенам и стоимость. Модель с 70% при $4 за задачу против модели с 68% при $1,50 за задачу — это совершенно разная история для команды, планирующей продакшен-внедрение.
Токены и шаги агента
Потребление токенов и число шагов использования инструментов дают представление об эффективности. Некоторые конфигурации активно пишут и запускают собственные тесты. В DeepSWE топовые модели делали это до 85% запусков. Такое самопроверочное поведение — один из самых явных маркеров, отделяющих сильных агентов от слабых.
Конфигурация оценки
Баллы на лидерборде привязаны к конфигурации. На результат влияют модель, агентная обвязка, доступные инструменты и настройки выполнения. Два запуска одной модели с разными обвязками могут дать разные итоги.
Какие ИИ-модели показывают лучшие результаты в DeepSWE?
Таблица ниже отражает официальный лидерборд DeepSWE v1.1 по состоянию на 22 сентября, 2026. Это результаты конкретных конфигураций, а не универсальные рейтинги. Все баллы имеют 95%-й доверительный интервал примерно ±3–4 процентных пункта на бенчмарке из 113 задач.
|
Модель
|
DeepSWE v1.1 pass@1
|
|
GPT-6 Astra (xhigh)
|
74%
|
|
Gemini 3.8 Flash (high)
|
74%
|
|
Claude Opus 5 (max)
|
74%
|
|
GPT-5.6 Sol (max)
|
73%
|
|
Claude Fable 5 (xhigh)
|
70%
|
|
GLM-5.3 (max)
|
69%
|
Три модели с 74% звучит как тройная ничья. Но доверительные интервалы и различия в конфигурации делают такое чтение шатким. Лаборатории продолжали публиковать показатели DeepSWE 1.1 для моделей, включая GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon и другие, уже после последнего официального обновления доски, так что конкурентная картина меняется быстрее, чем успевает официальный лидерборд. Разница в один–два процентных пункта между топами — незначимый сигнал, не на бенчмарке из 113 задач и не с учётом описанных ниже проблем с оценкой.
DeepSWE и другие бенчмарки ИИ для кода
DeepSWE vs. SWE-bench
SWE-bench сформулировал оценку инженерии ПО как закрытие реальных GitHub-issues на 2 294 задачах, извлечённых из слитых пул-реквестов. Задачи реальные, но их источник создаёт проблему контаминации: решения публично доступны в тех же репозиториях, на которых обучались модели. Оригинальные задачи DeepSWE написаны специально, чтобы этого избежать. Обратная сторона — масштаб: 113 задач против тысяч.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro идёт дальше оригинального SWE-bench, но у него обнаружилась существенная проблема с оцениванием. Аудит Datacurve показал, что автоматические оценщики SWE-bench Pro отклоняли корректные решения в 24% случаев и принимали некорректные в 8,5% случаев — то есть примерно треть его решений «зачёт/незачёт» сомнительны. У Claude Opus также выявлена склонность восстанавливать «золотые» решения из истории git более чем в 12% прогонов SWE-bench Pro, чему shallow clone в DeepSWE препятствует. Большее число задач в SWE-bench Pro — реальное преимущество для статистической уверенности; более чистая проверка в DeepSWE — преимущество для валидности результатов. Явного победителя здесь нет.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 — это бенчмарк из 66 задач в терминальной среде по семи доменам: софт, наука, машинное обучение, операции, железо, безопасность и медиа. Если DeepSWE оценивает разработку на уровне репозитория, то Terminal-Bench оценивает сквозную техническую работу в терминале, и лишь 18 его задач относятся к софту. Баллы Terminal-Bench зависят от пары «модель+обвязка», что частично делает его сравнением инструментов; DeepSWE фиксирует обвязку и говорит о модели. Оба были отмечены Epoch AI как Flawed, при этом у Terminal-Bench 4.0 дефекты в 30 из 66 задач.
| | Terminal-Bench 4.0 |
|---|
| Источник задач | Вклад сообщества, ревью мейнтейнеров |
| Число задач | 66 |
| Основной фокус | Сквозные задачи в терминале, семь доменов |
| Оценивание | Верификатор проверяет конечное состояние системы |
| Риск контаминации | Низкий–умеренный |
Насколько надёжен DeepSWE?
Сильные стороны: оригинальные задачи существенно снижают риск контаминации, поведенческие верификаторы точнее, чем в SWE-bench Pro, а опубликованные траектории делают результаты проверяемыми. Независимая фирма Artificial Analysis заменила SWE-bench Pro на DeepSWE в своих индексах Intelligence и Coding Agent (значимая поддержка со стороны организации, не заинтересованной в успехе Datacurve).
Проблемы: независимый обзор выявил дефекты оценивания как минимум в 23 из 113 задач, что превышает порог для пометки бенчмарка как Flawed. Обзор опубликован 7 сентября 2026 года Epoch AI в рамках программы независимых обзоров бенчмарков. Дефекты в основном связаны со столкновением скрытых тестов с тестами, которые пишет сам агент, — структурной проблемой, когда проверяющий DeepSWE применяет сабмишн, восстанавливает файлы, указанные в патче тестов, затем запускает наборы из присланного репозитория и оценивает их отчёты. Это оставляет часть тестовой инфраструктуры под контролем отправленного решения.
Это не делает DeepSWE бесполезным. Это делает неточными строгие ранжирования. Широкий порядок сил среди моделей, вероятно, значим; разница в один–два пункта между конфигурациями — нет.
Что DeepSWE говорит нам об ИИ-агентах для кода
Модели, которые хорошо выступают в DeepSWE, не просто пишут лучшие функции. Они ориентируются в незнакомых кодовых базах, планируют многошаговые изменения и самопроверяются через тесты. Каждое семейство ИИ-моделей также «проваливается» по-своему. По данным Datacurve, значительная доля неудач Claude в DeepSWE идёт по паттерну «отгружена одна ветка»: частичные реализации, удовлетворяющие лишь части требований. Это иной режим отказов, чем у GPT, и снова другой — у Gemini.
Усилие на рассуждение, стоимость и результативность взаимодействуют так, что не сводятся к простой формуле. Лимит по шагам редко срабатывает: лишь 67 из 7 174 учтённых rollout-ов упёрлись в потолок. Больше токенов и шагов не всегда означает больше решённых задач — это важно знать, прежде чем настраивать агента для продакшена.
Более жёсткая правда в том, что прогресс в бенчмарках, каким бы реальным он ни был, не доказывает, что агенты способны самостоятельно поддерживать сложные продакшен-системы. Показатель 74% на 113 тщательно спроектированных задачах говорит кое-что значимое о относительных возможностях моделей. Он не говорит, что агенту можно доверить работу без надзора в продакшен-кодовой базе, что он справится с неоднозначными требованиями или социальными динамиками реальной инженерной команды. Эти пробелы не измеряет ни один существующий сейчас бенчмарк.
Выводы
DeepSWE — реальный шаг вперёд по сравнению с бенчмарками, которые он призван заменить. Оригинальные задачи, поведенческая верификация и опубликованные траектории делают его более надёжным, чем SWE-bench Pro, для сравнения передовых моделей на сложной инженерной работе. Показатели DeepSWE охватывают около 70 процентных пунктов от худших до лучших, против примерно 30 пунктов в публично сообщаемых результатах SWE-bench Pro, и это более широкое разделение действительно и информативно.
Но читать лидерборд нужно внимательно. Конфигурация критична: усилие на рассуждение, стоимость и выбор обвязки заметно сдвигают баллы. А независимый обзор оценки выявил дефекты более чем в 20% задач — этого достаточно, чтобы воспринимать точные места скорее как ориентир, а не как окончательный приговор. Дизайн бенчмарков по-настоящему сложен, и DeepSWE — честная попытка решить проблему, у которой пока нет чистого решения.
Если хотите прокачать навыки, которые измеряют такие бенчмарки, как DeepSWE, наш курс AI-Assisted Coding for Developers охватывает промпт-инжиниринг, отладку и тестирование с ИИ-помощниками для кода. Продолжение, Advanced AI-Assisted Coding for Developers, глубже разбирает анализ кодовой базы, оптимизацию производительности и безопасность — те самые многошаговые инженерные задачи, с которыми даже сегодняшние топовые агенты всё ещё испытывают трудности.
Каждые пару месяцев появляется новый бенчмарк для кода с тем же обещанием: оригинальный, без контаминации, самый точный замер инженерных способностей ИИ на сегодня.
DeepSWE другой. Не потому, что эти заявления неверны, а потому что за ними стоят реальные доказательства, и потому что Datacurve была непривычно откровенна о том, где бенчмарк всё ещё недотягивает. Разберёмся.
Что такое DeepSWE?
DeepSWE — это бенчмарк для написания кода без контаминации от Datacurve, который тестирует передовые LLM на 113 оригинальных, длинных по горизонту задачах по разработке ПО в 91 репозитории и на пяти языках: TypeScript, Go, Python, JavaScript и Rust. Он вышел в мае прошлого года как первый публичный продукт Datacurve.
Важно: DeepSWE — это бенчмарк, а не ИИ-модель и не агент-программист. Он не пишет код. Он оценивает агентов, которые пишут. Его цель — измерить, способны ли большие языковые модели решать реальные, сложные задачи по разработке программного обеспечения, используя оригинальные проблемы, созданные специально для бенчмарка, а не взятые из уже слитых пул-реквестов на GitHub.
Для этого DeepSWE чётко разделяет генерацию кода и агентное программирование. Генерация кода — это написать функцию в текстовом поле. Агентное программирование — это прочитать репозиторий, понять, как устроена кодовая база, написать код, который взаимодействует с существующими системами, запустить тесты и итерационно доработать решение.
Как работает DeepSWE
Агент, которого оценивают в DeepSWE, не просто получает промпт и пишет код в вакууме. Он работает в живой среде разработки ПО:
DeepSWE использует mini-swe-agent (обвязку, разработанную командой Принстона и Стэнфорда, стоящей за SWE-bench и SWE-agent), причём она фиксирована для всех моделей. Важно: итоговый балл DeepSWE отражает работу модели при конкретной конфигурации, а не некую абстрактную «способность к кодингу».
Чем DeepSWE отличается?
Бенчмарков для кода много, и большинство начинают сливаться в одно. Вот что действительно выделяет DeepSWE.
Оригинальные задачи по разработке ПО
Главное отличие DeepSWE от SWE-bench и его вариантов — контроль контаминации. Каждая задача написана с нуля инженерами Datacurve, а не адаптирована из существующих коммитов или пул-реквестов GitHub. Проблема контаминации проста: если модель обучалась на данных, где есть и issue, и итоговый фикс, она не решает задачу, а вспоминает решение. DeepSWE делает shallow clone базового коммита, поэтому прочитать хеш слитого фикса невозможно — это закрывает лазейку, которая была в SWE-bench Pro.
Длинные инженерные задачи
Задачи SWE-bench Pro требуют в среднем 120 строк кода по пяти файлам. Эталонные решения DeepSWE в среднем добавляют 668 строк по семи файлам — примерно в 5,5 раза больше. Это не исправления в одной функции. Это согласованные изменения в нескольких файлах — такие, для которых действительно нужно понимать, как устроена кодовая база. Промпты короче, решения крупнее.
Пользовательская верификация
Каждая задача оценивается написанным вручную проверяющим, который проверяет требуемую функциональность и принимает любое решение, которое её обеспечивает. Это отличается от оценки по тестам, где критерием является прохождение конкретных тест-кейсов. Верификаторы DeepSWE проверяют поведение, а не реализацию. Когда независимая LLM повторно перепроверяет прогнанные запуски, она расходится с верфикатором DeepSWE на порядок реже, чем с унаследованными тестами SWE-bench Pro (1,4% против 32,4%).
Воспроизводимые оценки
Релиз v1.1 DeepSWE ещё усилил это: оценивается только закоммиченный патч в чистом изолированном контейнере проверяющего, а на ветке main представлена более естественная рабочая область git. Опубликованные траектории оценок позволяют всем изучать не только баллы, но и фактическую логику, стоящую за ними. Можно просматривать каждый rollout в репозитории DeepSWE на GitHub.
Как устроен лидерборд DeepSWE
Лидерборд на deepswe.datacurve.ai — это не просто рейтинг. Это таблица конфигураций, и понимание этого меняет то, как его читать.
Pass rate
Базовая метрика — pass@1: доля задач, которые модель решает с первой попытки. Во многих публичных рейтингах топовые модели собираются в узком диапазоне. DeepSWE задуман так, чтобы отражать повседневный опыт разработчиков с агентами — а это значит гораздо более широкий разрыв между лучшими и худшими.
Усилие на рассуждение
Одна и та же модель может появляться несколько раз с разными настройками усилия на рассуждение (high, xhigh, max) и показывать заметно разные результаты. Более высокое усилие обычно означает больше потраченных токенов и более высокую стоимость на задачу. Стоит ли этот обмен — зависит от вашего кейса.
Стоимость на задачу
Бенчмарк отслеживает эффективность по токенам и стоимость. Модель с 70% при $4 за задачу против модели с 68% при $1,50 за задачу — это совершенно разная история для команды, планирующей продакшен-внедрение.
Токены и шаги агента
Потребление токенов и число шагов использования инструментов дают представление об эффективности. Некоторые конфигурации активно пишут и запускают собственные тесты. В DeepSWE топовые модели делали это до 85% запусков. Такое самопроверочное поведение — один из самых явных маркеров, отделяющих сильных агентов от слабых.
Конфигурация оценки
Баллы на лидерборде привязаны к конфигурации. На результат влияют модель, агентная обвязка, доступные инструменты и настройки выполнения. Два запуска одной модели с разными обвязками могут дать разные итоги.
Какие ИИ-модели показывают лучшие результаты в DeepSWE?
Таблица ниже отражает официальный лидерборд DeepSWE v1.1 по состоянию на 22 сентября, 2026. Это результаты конкретных конфигураций, а не универсальные рейтинги. Все баллы имеют 95%-й доверительный интервал примерно ±3–4 процентных пункта на бенчмарке из 113 задач.
Модель
DeepSWE v1.1 pass@1
GPT-6 Astra (xhigh)
74%
Gemini 3.8 Flash (high)
74%
Claude Opus 5 (max)
74%
GPT-5.6 Sol (max)
73%
Claude Fable 5 (xhigh)
70%
GLM-5.3 (max)
69%
Три модели с 74% звучит как тройная ничья. Но доверительные интервалы и различия в конфигурации делают такое чтение шатким. Лаборатории продолжали публиковать показатели DeepSWE 1.1 для моделей, включая GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon и другие, уже после последнего официального обновления доски, так что конкурентная картина меняется быстрее, чем успевает официальный лидерборд. Разница в один–два процентных пункта между топами — незначимый сигнал, не на бенчмарке из 113 задач и не с учётом описанных ниже проблем с оценкой.
DeepSWE и другие бенчмарки ИИ для кода
DeepSWE vs. SWE-bench
SWE-bench сформулировал оценку инженерии ПО как закрытие реальных GitHub-issues на 2 294 задачах, извлечённых из слитых пул-реквестов. Задачи реальные, но их источник создаёт проблему контаминации: решения публично доступны в тех же репозиториях, на которых обучались модели. Оригинальные задачи DeepSWE написаны специально, чтобы этого избежать. Обратная сторона — масштаб: 113 задач против тысяч.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro идёт дальше оригинального SWE-bench, но у него обнаружилась существенная проблема с оцениванием. Аудит Datacurve показал, что автоматические оценщики SWE-bench Pro отклоняли корректные решения в 24% случаев и принимали некорректные в 8,5% случаев — то есть примерно треть его решений «зачёт/незачёт» сомнительны. У Claude Opus также выявлена склонность восстанавливать «золотые» решения из истории git более чем в 12% прогонов SWE-bench Pro, чему shallow clone в DeepSWE препятствует. Большее число задач в SWE-bench Pro — реальное преимущество для статистической уверенности; более чистая проверка в DeepSWE — преимущество для валидности результатов. Явного победителя здесь нет.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 — это бенчмарк из 66 задач в терминальной среде по семи доменам: софт, наука, машинное обучение, операции, железо, безопасность и медиа. Если DeepSWE оценивает разработку на уровне репозитория, то Terminal-Bench оценивает сквозную техническую работу в терминале, и лишь 18 его задач относятся к софту. Баллы Terminal-Bench зависят от пары «модель+обвязка», что частично делает его сравнением инструментов; DeepSWE фиксирует обвязку и говорит о модели. Оба были отмечены Epoch AI как Flawed, при этом у Terminal-Bench 4.0 дефекты в 30 из 66 задач.
Насколько надёжен DeepSWE?
Сильные стороны: оригинальные задачи существенно снижают риск контаминации, поведенческие верификаторы точнее, чем в SWE-bench Pro, а опубликованные траектории делают результаты проверяемыми. Независимая фирма Artificial Analysis заменила SWE-bench Pro на DeepSWE в своих индексах Intelligence и Coding Agent (значимая поддержка со стороны организации, не заинтересованной в успехе Datacurve).
Проблемы: независимый обзор выявил дефекты оценивания как минимум в 23 из 113 задач, что превышает порог для пометки бенчмарка как Flawed. Обзор опубликован 7 сентября 2026 года Epoch AI в рамках программы независимых обзоров бенчмарков. Дефекты в основном связаны со столкновением скрытых тестов с тестами, которые пишет сам агент, — структурной проблемой, когда проверяющий DeepSWE применяет сабмишн, восстанавливает файлы, указанные в патче тестов, затем запускает наборы из присланного репозитория и оценивает их отчёты. Это оставляет часть тестовой инфраструктуры под контролем отправленного решения.
Это не делает DeepSWE бесполезным. Это делает неточными строгие ранжирования. Широкий порядок сил среди моделей, вероятно, значим; разница в один–два пункта между конфигурациями — нет.
Что DeepSWE говорит нам об ИИ-агентах для кода
Модели, которые хорошо выступают в DeepSWE, не просто пишут лучшие функции. Они ориентируются в незнакомых кодовых базах, планируют многошаговые изменения и самопроверяются через тесты. Каждое семейство ИИ-моделей также «проваливается» по-своему. По данным Datacurve, значительная доля неудач Claude в DeepSWE идёт по паттерну «отгружена одна ветка»: частичные реализации, удовлетворяющие лишь части требований. Это иной режим отказов, чем у GPT, и снова другой — у Gemini.
Усилие на рассуждение, стоимость и результативность взаимодействуют так, что не сводятся к простой формуле. Лимит по шагам редко срабатывает: лишь 67 из 7 174 учтённых rollout-ов упёрлись в потолок. Больше токенов и шагов не всегда означает больше решённых задач — это важно знать, прежде чем настраивать агента для продакшена.
Более жёсткая правда в том, что прогресс в бенчмарках, каким бы реальным он ни был, не доказывает, что агенты способны самостоятельно поддерживать сложные продакшен-системы. Показатель 74% на 113 тщательно спроектированных задачах говорит кое-что значимое о относительных возможностях моделей. Он не говорит, что агенту можно доверить работу без надзора в продакшен-кодовой базе, что он справится с неоднозначными требованиями или социальными динамиками реальной инженерной команды. Эти пробелы не измеряет ни один существующий сейчас бенчмарк.
Выводы
DeepSWE — реальный шаг вперёд по сравнению с бенчмарками, которые он призван заменить. Оригинальные задачи, поведенческая верификация и опубликованные траектории делают его более надёжным, чем SWE-bench Pro, для сравнения передовых моделей на сложной инженерной работе. Показатели DeepSWE охватывают около 70 процентных пунктов от худших до лучших, против примерно 30 пунктов в публично сообщаемых результатах SWE-bench Pro, и это более широкое разделение действительно и информативно.
Но читать лидерборд нужно внимательно. Конфигурация критична: усилие на рассуждение, стоимость и выбор обвязки заметно сдвигают баллы. А независимый обзор оценки выявил дефекты более чем в 20% задач — этого достаточно, чтобы воспринимать точные места скорее как ориентир, а не как окончательный приговор. Дизайн бенчмарков по-настоящему сложен, и DeepSWE — честная попытка решить проблему, у которой пока нет чистого решения.
Если хотите прокачать навыки, которые измеряют такие бенчмарки, как DeepSWE, наш курс AI-Assisted Coding for Developers охватывает промпт-инжиниринг, отладку и тестирование с ИИ-помощниками для кода. Продолжение, Advanced AI-Assisted Coding for Developers, глубже разбирает анализ кодовой базы, оптимизацию производительности и безопасность — те самые многошаговые инженерные задачи, с которыми даже сегодняшние топовые агенты всё ещё испытывают трудности.