DeepSWE décrypté : comment fonctionne le benchmark de codage IA

Tous les quelques mois, un nouveau benchmark de codage arrive avec la même promesse : original, sans contamination, la mesure la plus fidèle de l’ingénierie IA à ce jour.

DeepSWE est différent. Non pas parce que ces affirmations seraient fausses, mais parce qu’elles sont étayées par des preuves concrètes, et parce que Datacurve a fait preuve d’une transparence inhabituelle sur les limites actuelles du benchmark. Passons en revue les points clés.

Qu'est-ce que DeepSWE ?

DeepSWE est un benchmark de codage sans contamination conçu par Datacurve qui évalue des LLM de pointe sur 113 tâches d’ingénierie logicielle originales et à long horizon, couvrant 91 dépôts et cinq langages : TypeScript, Go, Python, JavaScript et Rust. Il a été lancé en mai dernier comme premier produit public de Datacurve.

Pour être clair, DeepSWE est un benchmark, pas un modèle IA ni un agent de codage. Il n’écrit pas de code ; il évalue les agents qui en écrivent. Son objectif est de mesurer la capacité des grands modèles de langue à résoudre des tâches réalistes et complexes d’ingénierie logicielle, à partir de problèmes originaux écrits spécifiquement pour le benchmark, et non extraits de pull requests GitHub déjà fusionnées.

Dans cet esprit, DeepSWE trace une frontière nette entre génération de code et codage agentique. La génération de code, c’est produire une fonction dans une zone de texte. Le codage agentique consiste à lire un dépôt, comprendre l’architecture, écrire du code qui interagit avec des systèmes existants, exécuter des tests et itérer.

Comment fonctionne DeepSWE

Un agent évalué sur DeepSWE ne reçoit pas simplement une consigne pour écrire du code dans le vide. Il opère dans un environnement de développement logiciel réel :

1. L’agent reçoit une description de tâche (en moyenne 2 158 caractères, environ la moitié de la longueur d’un prompt moyen de SWE-bench Pro).
2. Il inspecte le dépôt, navigue dans les fichiers et comprend la base de code.
3. Il modifie le code, lance les commandes pertinentes et exécute des tests.
4. Il soumet son implémentation.
5. DeepSWE évalue le résultat à l’aide d’un vérificateur spécifique à la tâche, qui contrôle la présence effective de la fonctionnalité demandée.
6. L’issue est agrégée dans le taux de réussite global du modèle sur le benchmark.

DeepSWE utilise mini-swe-agent (le harnais conçu par l’équipe de Princeton et Stanford à l’origine de SWE-bench et SWE-agent) tenu constant pour chaque modèle. Précision utile : le score DeepSWE d’un modèle reflète sa performance dans une configuration donnée, pas une mesure abstraite de sa capacité de codage.

Qu'est-ce qui distingue DeepSWE ?

Les benchmarks de codage sont nombreux et finissent souvent par se ressembler. Voici ce qui différencie réellement DeepSWE.

Des tâches d’ingénierie logicielle originales

La principale différence entre DeepSWE et SWE-bench (et ses variantes) tient au contrôle de la contamination. Chaque tâche est écrite ex nihilo par les ingénieurs de Datacurve, et non adaptée à partir de commits ou de pull requests GitHub existants. Le risque de contamination est simple : si un modèle a été entraîné sur des données contenant à la fois l’issue GitHub et son correctif final, il ne résout pas le problème ; il rappelle une solution. DeepSWE réalise un clone superficiel du commit de base afin qu’aucun hash de correctif fusionné ne soit lisible, fermant ainsi une brèche exploitable sur SWE-bench Pro.

Des problèmes d’ingénierie à long horizon

Les tâches de SWE-bench Pro nécessitent en moyenne 120 lignes de code sur cinq fichiers. Les solutions de référence DeepSWE ajoutent en moyenne 668 lignes sur sept fichiers, soit environ 5,5 fois plus. Ce ne sont pas des correctifs d’une fonction. Ce sont des changements coordonnés sur plusieurs fichiers, qui exigent de comprendre comment la base de code tient ensemble. Prompts plus courts, solutions plus étoffées.

Vérification sur mesure

Chaque tâche est notée par un vérificateur écrit à la main qui contrôle la fonctionnalité demandée et accepte toute implémentation qui la fournit. Cela diffère d’une évaluation basée sur des tests, où la réussite de cas de test précis est le critère. Les vérificateurs de DeepSWE contrôlent le comportement, pas l’implémentation. Lorsqu’un LLM indépendant réexamine des runs notés, il est en désaccord avec le vérificateur de DeepSWE dix fois moins souvent qu’avec les tests hérités de SWE-bench Pro (1,4 % contre 32,4 %).

Des évaluations réplicables

La révision v1.1 de DeepSWE renforce ce point : seul le patch commité est noté, dans un conteneur de vérification isolé et propre, et l’espace de travail git présenté sur la branche main est plus naturel. Les trajectoires d’évaluation publiées permettent à chacun d’inspecter non seulement les scores, mais aussi les raisonnements qui y mènent. Vous pouvez parcourir chaque rollout sur le dépôt GitHub de DeepSWE.

Comment fonctionne le classement DeepSWE

Le tableau de classement sur deepswe.datacurve.ai n’est pas qu’un podium. C’est une table de configuration, et le comprendre change la façon de le lire.

Taux de réussite

L’indicateur clé est pass@1 : la part des tâches que le modèle réussit du premier coup. Sur de nombreux classements publics, les meilleurs modèles se tiennent dans une fourchette étroite. DeepSWE est conçu pour refléter l’expérience quotidienne des développeurs avec les agents, ce qui se traduit par un écart beaucoup plus large entre les meilleurs et les moins bons.

Effort de raisonnement

Le même modèle peut apparaître plusieurs fois avec différents réglages d’effort de raisonnement (high, xhigh, max) et afficher des scores sensiblement différents. Un effort plus élevé implique généralement plus de jetons consommés et un coût par tâche supérieur. La pertinence de ce compromis dépend de votre cas d’usage.

Coût par tâche

Le benchmark suit l’efficacité en jetons et le coût. Un modèle qui obtient 70 % pour 4 $ par tâche contre un autre à 68 % pour 1,50 $ par tâche raconte une histoire très différente pour une équipe qui pense déploiement en production.

Jetons et étapes d’agent

La consommation de jetons et le nombre d’étapes d’utilisation d’outils donnent une fenêtre sur l’efficience. Certaines configurations écrivent et exécutent massivement leurs propres tests. Sur DeepSWE, les meilleurs modèles l’ont fait dans jusqu’à 85 % des runs. Ce comportement d’auto-vérification est l’un des marqueurs les plus nets qui distinguent les bons agents des plus faibles.

Configuration d’évaluation

Un score de classement est propre à une configuration. Le modèle, le harnais agent, les outils disponibles et les paramètres d’exécution influencent tous la performance. Deux exécutions du même modèle avec des harnais différents peuvent produire des résultats différents. 

Quels modèles IA performent le mieux sur DeepSWE ?

Le tableau ci-dessous reflète le classement officiel DeepSWE v1.1 au 22 septembre, 2026. Il s’agit de résultats dépendants de la configuration, pas d’un classement universel. Tous les scores sont assortis d’un intervalle de confiance à 95 % d’environ ±3–4 points de pourcentage sur un benchmark de 113 tâches.

Trois modèles à 74 % donnent l’impression d’une égalité à trois. Mais les intervalles de confiance et les différences de configuration rendent cette lecture fragile. Depuis la dernière mise à jour officielle, les labos publient des scores DeepSWE 1.1 pour des modèles comme GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon, et d’autres, si bien que la compétition évolue plus vite que le classement ne le reflète. Un écart d’un ou deux points entre les meilleurs n’est pas un signal probant sur un benchmark à 113 tâches, d’autant au vu des soucis de notation décrits ci-dessous.

DeepSWE vs autres benchmarks de codage IA

DeepSWE vs SWE-bench

SWE-bench a posé le cadre : résoudre de vraies issues GitHub à partir de 2 294 instances de tâches extraites de pull requests fusionnées. Les tâches sont réelles, mais cette origine crée un problème de contamination : les solutions sont publiques dans les mêmes dépôts sur lesquels les modèles ont été entraînés. Les tâches originales de DeepSWE sont écrites pour éviter cela. Le compromis, c’est l’échelle : 113 tâches contre des milliers.

DeepSWE vs SWE-bench Pro

SWE-bench Pro va plus loin que la version initiale, mais souffre d’un problème de notation substantiel. L’audit de Datacurve a trouvé que les correcteurs automatisés de SWE-bench Pro rejetaient 24 % de solutions correctes et acceptaient 8,5 % de mauvaises, rendant douteuse près d’un tiers des décisions réussite/échec. Claude Opus montre aussi une tendance à retrouver des solutions référence à partir de l’historique git dans plus de 12 % des essais SWE-bench Pro, ce que l’approche de clone superficiel de DeepSWE empêche. Le volume plus important de tâches de SWE-bench Pro est un vrai atout pour la confiance statistique ; la notation plus fiable de DeepSWE est un atout pour la validité des résultats. Il n’y a pas de vainqueur évident.

DeepSWE vs Terminal-Bench

Terminal-Bench 4.0 est un benchmark de 66 tâches en environnement terminal sur sept domaines : logiciel, science, machine learning, opérations, matériel, sécurité et média. Alors que DeepSWE évalue l’ingénierie au niveau d’un dépôt, Terminal-Bench mesure du travail technique de bout en bout dans un terminal, et seulement 18 de ses tâches concernent le logiciel. Les scores de Terminal-Bench sont liés à un couple modèle‑harnais, ce qui en fait en partie une comparaison d’outils ; DeepSWE maintient le harnais constant et renseigne sur le modèle. Tous deux ont été jugés Flawed par Epoch AI, Terminal-Bench 4.0 présentant des défauts sur 30 des 66 tâches.

Quelle est la fiabilité de DeepSWE ?

Côté atouts : des tâches originales réduisent fortement le risque de contamination, les vérificateurs comportementaux sont plus justes que ceux de SWE-bench Pro, et les trajectoires publiées rendent les résultats auditables. Le cabinet indépendant Artificial Analysis a remplacé SWE-bench Pro par DeepSWE pour ses indices Intelligence et Coding Agent (un vrai signe de confiance d’une organisation sans intérêt direct dans la réussite de Datacurve).

Côté problèmes : un examen indépendant a identifié des défauts de notation dans au moins 23 des 113 tâches, au-delà du seuil pour marquer le benchmark comme Flawed. La revue a été publiée le 7 septembre 2026 par Epoch AI dans le cadre de son programme Benchmark Reviews. Les défauts venaient surtout de collisions entre des tests cachés et des tests écrits par l’agent, un problème structurel : le vérificateur de DeepSWE applique la soumission, restaure les fichiers listés dans le patch de test, puis exécute les suites du dépôt soumis et note leurs rapports. Cela laisse une partie de l’infrastructure de test sous le contrôle de la soumission.

Cela ne rend pas DeepSWE inutile. Cela rend les classements précis peu fiables. L’ordre général entre des modèles qui diffèrent de 10 points ou plus est probablement significatif ; un écart d’un à deux points entre configurations ne l’est pas.

Ce que DeepSWE nous apprend sur les agents de codage IA

Les modèles performants sur DeepSWE ne se contentent pas d’écrire de meilleures fonctions. Ils naviguent dans des bases de code inconnues, planifient des changements en plusieurs étapes et s’auto-vérifient via des tests. Chaque famille de modèles présente aussi ses modes d’échec caractéristiques. Datacurve rapporte qu’une grande part des échecs de Claude sur DeepSWE suivent un schéma « une branche livrée » : des implémentations partielles qui satisfont une partie, mais pas l’ensemble, des exigences. Ce n’est pas le même profil d’échec que ceux de GPT, ni que ceux de Gemini.

L’effort de raisonnement, le coût et la performance interagissent sans se résumer simplement. La limite d’étapes est rarement atteinte : seules 67 des 7 174 exécutions notées ont touché le plafond. Plus de jetons et plus d’étapes ne résolvent pas systématiquement plus de tâches ; bon à savoir avant de configurer un agent pour la production.

La vérité plus difficile, c’est que les progrès sur les benchmarks, réels qu’ils soient, ne prouvent pas que des agents peuvent maintenir en autonomie des systèmes de production complexes. Un taux de réussite de 74 % sur 113 tâches soigneusement conçues dit quelque chose de pertinent sur les capacités relatives des modèles. Il ne dit pas qu’on peut laisser un agent sans supervision sur une base de code de production, gérer des exigences ambiguës ou naviguer dans les dynamiques sociales d’une vraie équipe d’ingénierie. Ces écarts ne sont mesurés par aucun benchmark actuel.

Conclusion

DeepSWE constitue une vraie avancée par rapport aux benchmarks qu’il ambitionne de remplacer. Des tâches originales, une vérification comportementale et des trajectoires publiques en font un outil plus fiable que SWE-bench Pro pour comparer des modèles de pointe sur des travaux d’ingénierie exigeants. Les taux de réussite sur DeepSWE s’étirent sur environ 70 points entre le pire et le meilleur, contre environ 30 points sur les scores SWE-bench Pro publiés ; cet écart plus large est réel et informatif.

Mais les résultats de classement demandent une lecture prudente. La configuration compte énormément : effort de raisonnement, coût et choix de harnais font varier les scores. Et la revue indépendante de la notation a trouvé des défauts dans plus de 20 % des tâches, de quoi considérer les classements précis comme directionnels, pas définitifs. Concevoir un benchmark reste vraiment difficile, et DeepSWE est une tentative honnête sur un problème qui n’a pas encore de solution nette.

Si vous souhaitez développer les compétences que des benchmarks comme DeepSWE cherchent à mesurer, notre cours AI-Assisted Coding for Developers couvre le prompt engineering, le débogage et les workflows de test avec des assistants de codage IA. Le cours de suivi, Advanced AI-Assisted Coding for Developers, va plus loin sur l’analyse de codebase, l’optimisation des performances et la sécurité — le type de travail en plusieurs étapes sur lequel les meilleurs agents d’aujourd’hui peinent encore.