DeepSWE explicado: como funciona o benchmark de código com IA

A cada poucos meses surge um novo benchmark de código com a mesma promessa: original, sem contaminação, a medida mais fiel da engenharia com IA até agora.

O DeepSWE é diferente. Não porque essas promessas estejam erradas, mas porque há evidências reais por trás delas — e porque a Datacurve foi incomumente transparente sobre onde o benchmark ainda deixa a desejar. Vamos dar uma olhada.

O que é o DeepSWE?

O DeepSWE é um benchmark de codificação sem contaminação da Datacurve que testa LLMs de fronteira em 113 tarefas originais e de longo horizonte de engenharia de software, distribuídas por 91 repositórios e cinco linguagens: TypeScript, Go, Python, JavaScript e Rust. Ele foi lançado em maio passado como o primeiro produto público da Datacurve.

Para deixar claro: o DeepSWE é um benchmark, não um modelo de IA nem um agente de codificação. Ele não escreve código; ele avalia agentes que escrevem. Seu objetivo é medir se modelos de linguagem conseguem encarar tarefas complexas reais de engenharia de software, usando problemas originais escritos especificamente para o benchmark — não retirados de pull requests já mesclados no GitHub.

Para isso, o DeepSWE traça uma linha clara entre geração de código e codificação agentic. Geração de código é produzir uma função em uma caixa de texto. Codificação agentic é ler um repositório, entender como as peças se encaixam, escrever código que interage com sistemas existentes, rodar testes e iterar.

Como o DeepSWE funciona

Um agente avaliado no DeepSWE não recebe só um prompt e escreve código no vazio. Ele opera dentro de um ambiente de desenvolvimento real:

1. O agente recebe a descrição de uma tarefa (em média cerca de 2.158 caracteres, aproximadamente metade do tamanho de um prompt típico do SWE-bench Pro).
2. Ele inspeciona o repositório, navega pelos arquivos e entende a base de código.
3. Modifica o código, executa comandos relevantes e roda testes.
4. Envia sua implementação.
5. O DeepSWE avalia o resultado com um verificador específico da tarefa que checa se a funcionalidade solicitada realmente está lá.
6. O desfecho alimenta a taxa de aprovação geral do modelo no benchmark.

O DeepSWE usa o mini-swe-agent (o harness criado pela equipe de Princeton e Stanford por trás do SWE-bench e do SWE-agent) mantido fixo para todos os modelos. Vale notar: a pontuação no DeepSWE reflete o desempenho do modelo sob uma configuração específica, não uma medida abstrata de habilidade em codificação.

O que torna o DeepSWE diferente?

Existem muitos benchmarks de código — e a maioria começa a parecer a mesma coisa. Eis o que realmente destaca o DeepSWE.

Tarefas originais de engenharia de software

O principal diferencial do DeepSWE em relação ao SWE-bench e seus variantes é o controle de contaminação. Toda tarefa é escrita do zero pelos engenheiros da Datacurve — não adaptada de commits ou pull requests do GitHub. A preocupação com contaminação é direta: se um modelo foi treinado em dados que incluem tanto o issue do GitHub quanto a correção, ele não está resolvendo o problema — está apenas lembrando a solução. O DeepSWE faz shallow-clone do commit base, então não há hash de correção mesclada para ler, fechando uma brecha explorável no SWE-bench Pro.

Problemas de engenharia de longo horizonte

As tarefas do SWE-bench Pro exigem em média 120 linhas de código em cinco arquivos. As soluções de referência do DeepSWE têm em média 668 linhas adicionadas em sete arquivos — cerca de 5,5 vezes maiores. Não são correções de uma função. São mudanças coordenadas em múltiplos arquivos, do tipo que exige realmente entender como a base de código se sustenta. Prompts menores, soluções maiores.

Verificação sob medida

Cada tarefa é avaliada por um verificador escrito à mão que checa a funcionalidade solicitada e aceita qualquer implementação que a entregue. Isso difere da avaliação baseada em testes, onde o critério é passar em casos específicos. Os verificadores do DeepSWE checam o comportamento, não a implementação. Quando um LLM independente reavalia execuções já corrigidas, ele discorda do verificador do DeepSWE uma ordem de grandeza menos vezes do que discorda dos testes herdados do SWE-bench Pro (1,4% versus 32,4%).

Avaliações reproduzíveis

A revisão v1.1 do DeepSWE reforça ainda mais esse ponto, avaliando apenas o patch commitado em um contêiner de verificação limpo e isolado e apresentando um workspace git mais natural no branch main. As trajetórias de avaliação publicadas permitem que qualquer pessoa inspecione não só as pontuações, mas o raciocínio por trás delas. Você pode navegar por cada rollout no repositório do DeepSWE no GitHub.

Como funciona o ranking do DeepSWE

O leaderboard em deepswe.datacurve.ai não é só um ranking. É uma tabela de configurações — e entender isso muda a forma como você lê os resultados.

Taxa de aprovação

A métrica central é o pass@1: a fração de tarefas que o modelo resolve na primeira tentativa. Em muitos leaderboards públicos, os modelos de topo ficam concentrados numa faixa estreita. O DeepSWE foi projetado para refletir como os desenvolvedores realmente vivenciam os agentes no dia a dia — o que significa uma dispersão bem maior entre os melhores e os piores.

Esforço de raciocínio

O mesmo modelo pode aparecer várias vezes com configurações de esforço de raciocínio diferentes (high, xhigh, max) e apresentar pontuações significativamente distintas. Mais esforço de raciocínio geralmente implica mais tokens consumidos e maior custo por tarefa. Se vale a pena, depende do seu caso de uso.

Custo por tarefa

O benchmark acompanha eficiência de tokens e custo. Um modelo que marca 70% a US$ 4 por tarefa versus outro com 68% a US$ 1,50 conta histórias bem diferentes para um time avaliando um deploy em produção.

Tokens e passos do agente

Consumo de tokens e contagem de passos de uso de ferramentas dão uma janela para a eficiência. Algumas configurações escrevem e rodam os próprios testes com frequência. No DeepSWE, os modelos de topo fizeram isso em até 85% das execuções. Esse comportamento de autoverificação é um dos marcadores mais claros que separam agentes fortes dos mais fracos.

Configuração de avaliação

A pontuação do leaderboard é específica da configuração. O modelo, o harness do agente, as ferramentas disponíveis e as opções de execução influenciam o desempenho. Duas execuções do mesmo modelo com harnesses diferentes podem produzir resultados distintos. 

Quais modelos de IA têm melhor desempenho no DeepSWE?

A tabela abaixo reflete o leaderboard oficial do DeepSWE v1.1 em 22 de setembro de 2026. São resultados específicos de configuração, não um ranking universal. Todas as pontuações têm intervalo de confiança de 95% de aproximadamente ±3–4 pontos percentuais em um benchmark de 113 tarefas.

Três modelos com 74% parecem um empate triplo. Mas intervalos de confiança e diferenças de configuração tornam essa leitura frágil. Desde a última atualização oficial, laboratórios têm publicado números do DeepSWE 1.1 para modelos como GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon e outros, então o cenário competitivo está mudando mais rápido do que o leaderboard oficial captura. Uma diferença de um ou dois pontos percentuais entre os líderes não é um sinal significativo — não em um benchmark de 113 tarefas, e não diante dos problemas de avaliação descritos abaixo.

DeepSWE vs. outros benchmarks de código com IA

DeepSWE vs. SWE-bench

O SWE-bench enquadrou a avaliação de engenharia de software como resolver issues reais do GitHub em 2.294 instâncias de tarefas extraídas de pull requests mesclados. As tarefas são reais, mas essa origem cria um problema de contaminação: as soluções estão publicadas nos mesmos repositórios em que os modelos foram treinados. As tarefas originais do DeepSWE são escritas especificamente para evitar isso. A troca é a escala: 113 tarefas contra milhares.

DeepSWE vs. SWE-bench Pro

O SWE-bench Pro vai além do SWE-bench original, mas tem um problema de avaliação que se mostrou substancial. A auditoria da Datacurve constatou que os avaliadores automatizados do SWE-bench Pro rejeitaram soluções corretas em 24% dos casos e aceitaram incorretas em 8,5%, o que significa que cerca de um terço das decisões de aprovação/reprovação é questionável. O Claude Opus também mostra tendência a recuperar soluções ouro do histórico do git em mais de 12% dos testes do SWE-bench Pro — algo que a abordagem de shallow-clone do DeepSWE impede. A contagem maior de tarefas do SWE-bench Pro é uma vantagem real para confiança estatística; a avaliação mais limpa do DeepSWE é uma vantagem para a validade dos resultados. Não há um vencedor claro aqui.

DeepSWE vs. Terminal-Bench

Terminal-Bench 4.0 é um benchmark com 66 tarefas em ambientes de terminal em sete domínios: software, ciência, machine learning, operações, hardware, segurança e mídia. Enquanto o DeepSWE avalia engenharia de software em nível de repositório, o Terminal-Bench avalia trabalho técnico de ponta a ponta no terminal — e apenas 18 de suas tarefas são de software. As pontuações do Terminal-Bench pertencem a um par modelo+harness, tornando-o em parte uma comparação de ferramentas; o DeepSWE mantém o harness fixo e informa sobre o modelo. Ambos foram avaliados como Flawed pela Epoch AI, sendo que o Terminal-Bench 4.0 apresenta defeitos em 30 de 66 tarefas.

Quão confiável é o DeepSWE?

Pelos pontos fortes: tarefas originais reduzem substancialmente o risco de contaminação, os verificadores comportamentais são mais precisos que os do SWE-bench Pro e as trajetórias publicadas tornam os resultados auditáveis. A empresa independente Artificial Analysis substituiu o SWE-bench Pro pelo DeepSWE em seus índices de Inteligência e Agentes de Código — um endosso relevante de uma organização sem interesse direto no sucesso da Datacurve.

Pelos problemas: uma revisão independente identificou defeitos de avaliação em pelo menos 23 das 113 tarefas, ultrapassando o limite para marcar o benchmark como Flawed. A revisão foi publicada em 7 de setembro de 2026 pela Epoch AI, como parte do seu programa independente de Benchmark Reviews. Os defeitos decorrem principalmente de colisões entre testes ocultos e testes escritos pelo agente — um problema estrutural em que o verificador do DeepSWE aplica a submissão, restaura arquivos listados no patch de teste, depois executa suítes do repositório submetido e avalia seus relatórios. Isso deixa parte da infraestrutura de testes sob controle da submissão.

Isso não torna o DeepSWE inútil. Torna as classificações precisas pouco confiáveis. A ordenação ampla entre modelos provavelmente é significativa; uma diferença de um ou dois pontos percentuais entre configurações não é.

O que o DeepSWE revela sobre agentes de código em IA

Modelos que se saem bem no DeepSWE não estão apenas escrevendo funções melhores. Eles navegam por bases de código desconhecidas, planejam mudanças em várias etapas e se autoverificam por meio de testes. Cada família de modelos de IA também falha de maneiras próprias. A Datacurve relata que grande parte das falhas do Claude no DeepSWE segue um padrão de "um branch enviado": implementações parciais que atendem a alguns, mas não a todos os requisitos. É um modo de falha diferente do dos modelos GPT, que por sua vez difere do Gemini.

Esforço de raciocínio, custo e desempenho interagem de formas que não se simplificam facilmente. O limite de passos raramente é atingido: apenas 67 dos 7.174 rollouts pontuados bateram no teto. Mais tokens e mais passos não resolvem consistentemente mais tarefas — algo importante de saber antes de configurar um agente para produção.

A verdade mais dura é que, por mais reais que sejam os avanços em benchmarks, isso não estabelece que agentes consigam manter sozinhos sistemas complexos em produção. Uma taxa de 74% em 113 tarefas cuidadosamente desenhadas diz algo relevante sobre capacidade relativa de modelos. Não diz que um agente pode ser confiado sem supervisão em uma base de código de produção, lidar com requisitos ambíguos ou navegar a dinâmica social de um time de engenharia real. Esses aspectos não são medidos por nenhum benchmark existente hoje.

Conclusão

O DeepSWE é uma melhoria genuína em relação aos benchmarks que ele pretende substituir. Tarefas originais, verificação comportamental e trajetórias publicadas o tornam mais confiável do que o SWE-bench Pro para comparar modelos de ponta em trabalho de engenharia difícil. As taxas de aprovação no DeepSWE variam em cerca de 70 pontos percentuais entre o pior e o melhor, contra cerca de 30 pontos nos resultados públicos do SWE-bench Pro — e essa separação mais ampla é real e informativa.

Mas é preciso ler o leaderboard com cuidado. Configuração importa — e muito: esforço de raciocínio, custo e escolhas de harness mudam as pontuações. E a revisão independente de avaliação encontrou defeitos em mais de 20% das tarefas, o suficiente para tratar classificações precisas como direcionais, não definitivas. Desenhar benchmarks continua sendo um desafio legítimo — e o DeepSWE é uma tentativa honesta de resolver um problema que ainda não tem solução limpa.

Se você quer afiar as habilidades que benchmarks como o DeepSWE procuram medir, nosso curso AI-Assisted Coding for Developers aborda prompt engineering, depuração e fluxos de teste com assistentes de código em IA. O curso de continuidade, Advanced AI-Assisted Coding for Developers, aprofunda a análise de codebase, otimização de performance e segurança — justamente o tipo de trabalho de engenharia em múltiplas etapas em que até os agentes mais bem colocados hoje ainda patinam.