DeepSWE, explicado: cómo funciona el benchmark de código con IA

Cada pocos meses aparece un nuevo benchmark de código con la misma promesa: original, sin contaminación, la medida más fiel de la ingeniería de IA hasta ahora.

DeepSWE es distinto. No porque esas afirmaciones sean falsas, sino porque aquí hay pruebas reales detrás y porque Datacurve ha sido inusualmente transparente sobre dónde sigue teniendo carencias el benchmark. Vamos a verlo.

¿Qué es DeepSWE?

DeepSWE es un benchmark de código sin contaminación creado por Datacurve que evalúa LLMs punteros en 113 tareas originales y de largo recorrido de ingeniería de software, distribuidas en 91 repositorios y cinco lenguajes: TypeScript, Go, Python, JavaScript y Rust. Se lanzó el pasado mayo como el primer producto público de Datacurve.

Para dejarlo claro: DeepSWE es un benchmark, no un modelo de IA ni un agente de código. No escribe código. Evalúa a los agentes que sí lo hacen. Su objetivo es medir si los modelos de lenguaje pueden abordar tareas complejas de ingeniería de software del mundo real, usando problemas originales escritos específicamente para el benchmark y no extraídos de pull requests ya fusionados en GitHub.

Con ese fin, DeepSWE traza una línea clara entre generación de código y codificación agentiva. Generar código es producir una función en una caja de texto. La codificación agentiva implica leer un repositorio, entender cómo encajan las piezas, escribir código que interactúe con sistemas existentes, ejecutar pruebas e iterar.

Cómo funciona DeepSWE

Un agente evaluado en DeepSWE no recibe solo un prompt para escribir código en el vacío. Opera dentro de un entorno real de desarrollo de software:

1. El agente recibe una descripción de la tarea (con una media de 2.158 caracteres, aproximadamente la mitad que un prompt típico de SWE-bench Pro).
2. Inspecciona el repositorio, navega por los archivos y comprende la base de código.
3. Modifica el código, ejecuta comandos relevantes y lanza pruebas.
4. Envía su implementación.
5. DeepSWE evalúa el resultado con un verificador específico de la tarea que comprueba si la funcionalidad solicitada realmente está presente.
6. El resultado alimenta la tasa de aciertos global del modelo en el benchmark.

DeepSWE usa mini-swe-agent (el arnés creado por el equipo de Princeton y Stanford detrás de SWE-bench y SWE-agent) manteniéndolo fijo para todos los modelos. Importante: la puntuación de DeepSWE de un modelo refleja su rendimiento bajo una configuración concreta, no una medida abstracta de su capacidad de programar.

Qué hace diferente a DeepSWE

Hay muchos benchmarks de código y la mayoría empiezan a parecerse. Esto es lo que realmente diferencia a DeepSWE.

Tareas originales de ingeniería de software

El principal diferenciador de DeepSWE respecto a SWE-bench y sus variantes es el control de contaminación. Cada tarea está escrita desde cero por los ingenieros de Datacurve, no adaptada de commits o pull requests existentes en GitHub. El problema de la contaminación es claro: si un modelo se entrenó con datos que incluyen tanto el issue de GitHub como la corrección final, no está resolviendo el problema, está recordando una solución. DeepSWE hace un shallow-clone del commit base para que no exista un hash de la corrección fusionada que leer, cerrando una vía de escape que se podía explotar en SWE-bench Pro.

Problemas de ingeniería de largo recorrido

Las tareas de SWE-bench Pro requieren una media de 120 líneas de código en cinco archivos. Las soluciones de referencia de DeepSWE promedian 668 líneas añadidas en siete archivos, alrededor de 5,5 veces más grandes. No son parches de una sola función. Son cambios coordinados en varios archivos, del tipo que exige entender de verdad cómo se articula una base de código. Prompts más cortos, soluciones más grandes.

Verificación a medida

Cada tarea se califica con un verificador escrito a mano que comprueba la funcionalidad solicitada y acepta cualquier implementación que la proporcione. Esto difiere de la calificación basada en tests, donde el criterio es pasar casos de prueba concretos. Los verificadores de DeepSWE comprueban el comportamiento, no la implementación. Cuando un LLM independiente vuelve a revisar ejecuciones ya calificadas, discrepa del verificador de DeepSWE un orden de magnitud menos que de las pruebas heredadas de SWE-bench Pro (1,4% frente a 32,4%).

Evaluaciones reproducibles

La revisión v1.1 de DeepSWE refuerza esto aún más, calificando solo el parche confirmado en un contenedor de verificación limpio y aislado y presentando un espacio de trabajo git más natural sobre main. Las trayectorias de evaluación publicadas permiten inspeccionar no solo las puntuaciones, sino el razonamiento real que hay detrás. Puedes explorar cada ejecución en el repositorio de GitHub de DeepSWE.

Cómo funciona el leaderboard de DeepSWE

La tabla de clasificación en deepswe.datacurve.ai no es solo un ranking. Es una tabla de configuración, y entender eso cambia cómo la interpretas.

Tasa de aciertos

La métrica central es pass@1: la fracción de tareas que el modelo resuelve a la primera. En muchos leaderboards públicos, los modelos top se agrupan en una banda estrecha. DeepSWE está diseñado para reflejar cómo viven los desarrolladores a los agentes en el día a día, lo que implica una separación mucho mayor entre los mejores y los peores.

Esfuerzo de razonamiento

El mismo modelo puede aparecer varias veces con distintos niveles de esfuerzo de razonamiento (high, xhigh, max) y arrojar puntuaciones significativamente diferentes. Un mayor esfuerzo suele implicar más tokens consumidos y más coste por tarea. Si compensa o no depende de tu caso de uso.

Coste por tarea

El benchmark registra eficiencia en tokens y coste. Un modelo que marca un 70% a 4 $ por tarea frente a otro con un 68% a 1,50 $ por tarea cuenta una historia muy distinta para un equipo que piensa en despliegue en producción.

Tokens y pasos del agente

El consumo de tokens y el número de pasos de uso de herramientas te dan una ventana a la eficiencia. Algunas configuraciones escriben y ejecutan sus propias pruebas con intensidad. En DeepSWE, los modelos top lo hicieron en hasta el 85% de las ejecuciones. Ese comportamiento de auto-verificación es uno de los marcadores más claros que separan agentes fuertes de los más débiles.

Configuración de evaluación

La puntuación del leaderboard depende de la configuración. El modelo, el arnés del agente, las herramientas disponibles y los ajustes de ejecución influyen en el rendimiento. Dos ejecuciones del mismo modelo con arneses distintos pueden producir resultados diferentes. 

¿Qué modelos de IA rinden mejor en DeepSWE?

La tabla siguiente refleja el leaderboard oficial de DeepSWE v1.1 a fecha de 22 de septiembre de 2026. Son resultados específicos de configuración, no clasificaciones universales. Todas las puntuaciones llevan un intervalo de confianza del 95% de aproximadamente ±3-4 puntos porcentuales sobre un benchmark de 113 tareas.

Tres modelos al 74% suena a triple empate. Pero los intervalos de confianza y las diferencias de configuración hacen que esa lectura sea endeble. Desde la última actualización oficial, los laboratorios han seguido publicando cifras de DeepSWE 1.1 para modelos como GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon y otros, así que la foto competitiva se mueve más rápido de lo que recoge el leaderboard oficial. Una diferencia de uno o dos puntos porcentuales entre los de arriba no es una señal significativa, no en un benchmark de 113 tareas y no con los problemas de calificación descritos abajo.

DeepSWE frente a otros benchmarks de código con IA

DeepSWE vs. SWE-bench

SWE-bench planteó la evaluación de ingeniería de software como resolver issues reales de GitHub en 2.294 instancias de tareas extraídas de pull requests fusionados. Las tareas son reales, pero ese origen genera un problema de contaminación: las soluciones están disponibles públicamente en los mismos repositorios con los que se entrenaron los modelos. Las tareas originales de DeepSWE se escriben precisamente para evitarlo. La contrapartida es la escala: 113 tareas frente a miles.

DeepSWE vs. SWE-bench Pro

SWE-bench Pro va más allá que el SWE-bench original, pero tiene un problema de calificación que resultó ser importante. La auditoría de Datacurve encontró que los calificadores automáticos de SWE-bench Pro rechazaban soluciones correctas el 24% de las veces y aceptaban incorrectas el 8,5%, lo que significa que aproximadamente un tercio de sus decisiones de aprobado/suspenso son cuestionables. Claude Opus también muestra tendencia a recuperar soluciones de referencia del historial de git en más del 12% de las pruebas de SWE-bench Pro, algo que el enfoque de shallow-clone de DeepSWE evita. El mayor número de tareas de SWE-bench Pro es una ventaja real para la confianza estadística; la calificación más limpia de DeepSWE es una ventaja para la validez del resultado. Aquí no hay un ganador claro.

DeepSWE vs. Terminal-Bench

Terminal-Bench 4.0 es un benchmark de 66 tareas en entornos de terminal a lo largo de siete dominios: software, ciencia, aprendizaje automático, operaciones, hardware, seguridad y medios. Mientras DeepSWE evalúa ingeniería de software a nivel de repositorio, Terminal-Bench evalúa trabajo técnico de extremo a extremo en un terminal, y solo 18 de sus tareas son de software. Las puntuaciones de Terminal-Bench pertenecen a un par modelo+arnés, convirtiéndolo en parte en una comparación de herramientas; DeepSWE mantiene fijo el arnés y te habla del modelo. Ambos han sido calificados como Flawed por Epoch AI, con defectos en 30 de 66 tareas en Terminal-Bench 4.0.

¿Qué fiabilidad tiene DeepSWE?

En el lado de las fortalezas: las tareas originales reducen sustancialmente el riesgo de contaminación, los verificadores de comportamiento son más precisos que los de SWE-bench Pro y las trayectorias publicadas hacen que los resultados sean inspeccionables. La firma independiente Artificial Analysis sustituyó SWE-bench Pro por DeepSWE en sus índices de Intelligence y Coding Agent (un aval significativo de una organización sin intereses en el éxito de Datacurve).

En el lado de los problemas: una revisión independiente identificó defectos de calificación en al menos 23 de las 113 tareas, superando el umbral para marcar el benchmark como Flawed. La revisión fue publicada el 7 de septiembre de 2026 por Epoch AI como parte de su programa independiente de Benchmark Reviews. Los defectos se debían en su mayoría a colisiones entre pruebas ocultas y pruebas escritas por el propio agente, un problema estructural: el verificador de DeepSWE aplica la entrega, restaura archivos listados en el parche de test, luego ejecuta las suites del repositorio enviado y califica sus informes. Eso deja parte de la infraestructura de test bajo control de la entrega.

Esto no hace que DeepSWE sea inútil. Hace que los rankings precisos no sean fiables. El orden amplio entre modelos probablemente sí es significativo; una diferencia de uno o dos puntos porcentuales entre configuraciones no lo es.

Qué nos cuenta DeepSWE sobre los agentes de código con IA

Los modelos que rinden bien en DeepSWE no solo escriben mejores funciones. Navegan bases de código desconocidas, planifican cambios en varios pasos y se auto-verifican mediante pruebas. Cada familia de modelos de IA también falla a su manera. Datacurve informa de que una gran parte de los fallos de Claude en DeepSWE siguen un patrón de "se envía una rama": implementaciones parciales que satisfacen algunos, pero no todos, los requisitos. Es un modo de fallo distinto al de GPT, y diferente también al de Gemini.

El esfuerzo de razonamiento, el coste y el rendimiento interactúan de formas que no se simplifican. El límite de pasos rara vez ata: solo 67 de las 7.174 ejecuciones calificadas llegaron al tope. Más tokens y más pasos no resuelven de forma consistente más tareas, algo a tener en cuenta antes de configurar un agente para producción.

La realidad más dura es que el progreso en benchmarks, por muy real que sea, no demuestra que los agentes puedan mantener de forma independiente sistemas complejos en producción. Un 74% de aciertos en 113 tareas cuidadosamente diseñadas dice algo relevante sobre la capacidad relativa de los modelos. No dice que un agente pueda confiarse sin supervisión en una base de código en producción, gestionar requisitos ambiguos o navegar la dinámica social de un equipo de ingeniería real. Esas brechas no las mide ningún benchmark existente.

Conclusión

DeepSWE es una mejora real sobre los benchmarks a los que viene a sustituir. Tareas originales, verificación basada en comportamiento y trayectorias publicadas lo hacen más fiable que SWE-bench Pro para comparar modelos punteros en trabajos de ingeniería difíciles. Las tasas de acierto en DeepSWE abarcan alrededor de 70 puntos porcentuales del peor al mejor, frente a unos 30 puntos en las cifras públicas de SWE-bench Pro, y esa separación más amplia es real e informativa.

Pero los resultados del leaderboard requieren una lectura cuidadosa. La configuración importa, y mucho: el esfuerzo de razonamiento, el coste y las decisiones sobre el arnés mueven las puntuaciones. Y la revisión independiente de la calificación encontró defectos en más del 20% de las tareas, suficiente para tratar los rankings precisos como direccionales, no definitivos. Diseñar benchmarks sigue siendo realmente difícil, y DeepSWE es un intento honesto de resolver un problema que aún no tiene una solución limpia.

Si quieres afinar las habilidades que miden benchmarks como DeepSWE, nuestro curso AI-Assisted Coding for Developers cubre prompt engineering, depuración y flujos de pruebas con asistentes de código de IA. El curso de continuación, Advanced AI-Assisted Coding for Developers, profundiza en el análisis de bases de código, la optimización de rendimiento y la seguridad, el tipo de trabajo de ingeniería en varios pasos donde los agentes con mejores puntuaciones actuales aún se atoran.