DeepSWE spiegato: come funziona il benchmark di coding AI

Ogni pochi mesi arriva un nuovo benchmark di coding con la stessa promessa: originale, privo di contaminazioni, la misura più fedele dell’ingegneria AI finora.

DeepSWE è diverso. Non perché quelle affermazioni siano sbagliate, ma perché qui ci sono prove a sostegno e perché Datacurve è stata insolitamente trasparente su dove il benchmark è ancora carente. Vediamo insieme.

Cos’è DeepSWE?

DeepSWE è un benchmark di coding privo di contaminazioni di Datacurve che testa LLM d’avanguardia su 113 task originali e di lungo respiro di ingegneria del software, distribuiti su 91 repository e cinque linguaggi: TypeScript, Go, Python, JavaScript e Rust. È stato lanciato lo scorso maggio come primo prodotto pubblico di Datacurve.

Per essere chiari, DeepSWE è un benchmark, non un modello AI o un agente di coding. Non scrive codice. Valuta gli agenti che lo fanno. Il suo obiettivo è misurare se i large language model possono affrontare task complessi reali di ingegneria del software, usando problemi originali scritti appositamente per il benchmark invece di essere presi da pull request già mergiate su GitHub.

A tal fine, DeepSWE traccia una linea netta tra generazione di codice e coding agentico. La generazione di codice è produrre una funzione in una casella di testo. Il coding agentico significa leggere un repository, capire come i pezzi si incastrano, scrivere codice che interagisce con i sistemi esistenti, eseguire test e iterare.

Come funziona DeepSWE

Un agente valutato su DeepSWE non riceve solo un prompt per poi scrivere codice nel vuoto. Opera dentro un ambiente di sviluppo software reale:

1. L’agente riceve una descrizione del task (in media circa 2.158 caratteri, all’incirca la metà della lunghezza di un tipico prompt di SWE-bench Pro).
2. Ispeziona il repository, naviga tra i file e comprende la codebase.
3. Modifica il codice, esegue i comandi rilevanti ed esegue i test.
4. Invia la propria implementazione.
5. DeepSWE valuta il risultato usando un verificatore specifico per il task che controlla se la funzionalità richiesta è effettivamente presente.
6. L’esito confluisce nel tasso di successo complessivo del modello sul benchmark.

DeepSWE usa mini-swe-agent (l’harness creato dal team di Princeton e Stanford dietro SWE-bench e SWE-agent) mantenuto fisso per ogni modello. Vale la pena sottolineare: il punteggio DeepSWE di un modello riflette la sua performance sotto una configurazione specifica, non una misura astratta della capacità di scrivere codice.

Cosa rende DeepSWE diverso?

Ci sono molti benchmark di coding e la maggior parte sta iniziando a confondersi. Ecco cosa distingue davvero DeepSWE.

Task originali di ingegneria del software

Il principale elemento distintivo di DeepSWE rispetto a SWE-bench e varianti è il controllo della contaminazione. Ogni task è scritto da zero dagli ingegneri di Datacurve, non adattato da commit o pull request esistenti su GitHub. Il problema della contaminazione è semplice: se un modello è stato addestrato su dati che includono sia l’issue GitHub sia il fix finale, non sta risolvendo il problema, sta richiamando una soluzione. DeepSWE esegue uno shallow clone del commit base così da non avere hash di fix mergiati da leggere, chiudendo una scappatoia sfruttabile su SWE-bench Pro.

Problemi ingegneristici di lungo respiro

I task di SWE-bench Pro richiedono in media 120 linee di codice su cinque file. Le soluzioni di riferimento DeepSWE hanno in media 668 linee aggiunte su sette file, circa 5,5 volte di più. Non sono fix a una singola funzione. Sono modifiche coordinate su più file, del tipo che richiede di capire davvero come si tiene insieme una codebase. Prompt più brevi, soluzioni più grandi.

Verifica personalizzata

Ogni task è valutato da un verificatore scritto a mano che controlla la funzionalità richiesta e accetta qualsiasi implementazione che la fornisca. Questo differisce dalla valutazione basata su test, dove il criterio è passare specifici casi di test. I verificatori di DeepSWE controllano il comportamento, non l’implementazione. Quando un LLM indipendente rivede nuovamente le esecuzioni valutate, è in disaccordo con il verificatore di DeepSWE con un ordine di grandezza in meno rispetto ai test ereditati di SWE-bench Pro (1,4% contro 32,4%).

Valutazioni riproducibili

La revisione v1.1 di DeepSWE rafforza ulteriormente questo aspetto, valutando solo la patch committata in un container di verifica pulito e isolato e presentando un workspace git più naturale su main. Le traiettorie di valutazione pubblicate permettono a chiunque di ispezionare non solo i punteggi ma anche il ragionamento effettivo che li supporta. Puoi sfogliare ogni rollout sul repository GitHub di DeepSWE.

Come funziona la leaderboard di DeepSWE

La leaderboard su deepswe.datacurve.ai non è solo una classifica. È una tabella di configurazioni, e capirlo cambia il modo in cui la leggi.

Tasso di successo

La metrica principale è pass@1: la frazione di task che il modello risolve al primo tentativo. Su molte leaderboard pubbliche, i modelli di punta si raggruppano in una banda stretta. DeepSWE è costruito per riflettere come gli sviluppatori vivono davvero gli agenti nel quotidiano, il che significa una dispersione molto più ampia tra i migliori e i peggiori.

Sforzo di ragionamento

Lo stesso modello può comparire più volte con differenti impostazioni di sforzo di ragionamento (high, xhigh, max) e riportare punteggi sensibilmente diversi. Uno sforzo maggiore in genere significa più token consumati e costo maggiore per task. Se il trade-off valga la pena dipende dal tuo caso d’uso.

Costo per task

Il benchmark traccia efficienza in token e costo. Un modello che segna il 70% a $4 per task rispetto a uno che segna il 68% a $1,50 per task racconta una storia molto diversa per un team che sta valutando la messa in produzione.

Token e step dell’agente

Il consumo di token e il conteggio degli step di utilizzo degli strumenti ti danno una finestra sull’efficienza. Alcune configurazioni scrivono ed eseguono ampiamente i propri test. Su DeepSWE, i modelli di punta lo hanno fatto fino all’85% delle esecuzioni. Questo comportamento di auto-verifica è uno dei marcatori più chiari che separano gli agenti forti da quelli deboli.

Configurazione di valutazione

Un punteggio in leaderboard è specifico della configurazione. Modello, harness dell’agente, strumenti disponibili e impostazioni di esecuzione influenzano tutti la performance. Due esecuzioni dello stesso modello con harness diversi possono produrre risultati differenti. 

Quali modelli AI performano meglio su DeepSWE?

La tabella sotto riflette la leaderboard ufficiale DeepSWE v1.1 al 22 settembre, 2026. Questi sono risultati specifici di configurazione, non classifiche universali. Tutti i punteggi hanno un intervallo di confidenza del 95% di circa ±3-4 punti percentuali su un benchmark di 113 task.

Tre modelli al 74% sembrano un ex aequo a tre. Ma gli intervalli di confidenza e le differenze di configurazione rendono quella lettura incerta. I laboratori hanno continuato a pubblicare numeri DeepSWE 1.1 per modelli tra cui GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon e altri dall’ultimo aggiornamento ufficiale della board, quindi il quadro competitivo si sta muovendo più velocemente di quanto la leaderboard ufficiale riesca a catturare. Un divario di uno o due punti percentuali tra i top performer non è un segnale significativo, non su un benchmark da 113 task e non alla luce dei problemi di valutazione descritti sotto.

DeepSWE vs altri benchmark di coding AI

DeepSWE vs. SWE-bench

SWE-bench ha impostato la valutazione dell’ingegneria del software come risoluzione di issue reali di GitHub su 2.294 istanze di task estratte da pull request mergiate. I task sono reali, ma quell’origine crea un problema di contaminazione: le soluzioni sono pubblicamente disponibili negli stessi repository su cui i modelli sono stati addestrati. I task originali di DeepSWE sono scritti appositamente per evitarlo. Il compromesso è la scala: 113 task contro migliaia.

DeepSWE vs. SWE-bench Pro

SWE-bench Pro va oltre l’originale SWE-bench, ma ha un problema di valutazione rivelatosi sostanziale. L’audit di Datacurve ha rilevato che i valutatori automatici di SWE-bench Pro hanno respinto soluzioni corrette nel 24% dei casi e accettato soluzioni sbagliate nell’8,5% dei casi, il che significa che circa un terzo delle sue decisioni pass/fail è discutibile. Claude Opus mostra anche una tendenza a recuperare soluzioni d’oro dalla cronologia git in oltre il 12% delle prove di SWE-bench Pro, cosa che l’approccio di shallow clone di DeepSWE impedisce. Il numero maggiore di task di SWE-bench Pro è un vero vantaggio per la fiducia statistica; la valutazione più pulita di DeepSWE è un vantaggio per la validità dei risultati. Non c’è un vincitore netto qui.

DeepSWE vs. Terminal-Bench

Terminal-Bench 4.0 è un benchmark di 66 task in ambienti terminal su sette domini: software, scienza, machine learning, operations, hardware, sicurezza e media. Dove DeepSWE valuta l’ingegneria del software a livello di repository, Terminal-Bench valuta lavoro tecnico end-to-end in un terminale, e solo 18 dei suoi task sono di software. I punteggi di Terminal-Bench appartengono a una coppia modello+harness, rendendolo in parte un confronto di strumenti; DeepSWE mantiene l’harness fisso e parla del modello. Entrambi sono stati valutati Flawed da Epoch AI, con Terminal-Bench 4.0 che presenta difetti in 30 task su 66.

Quanto è affidabile DeepSWE?

Tra i punti di forza: i task originali riducono sostanzialmente il rischio di contaminazione, i verificatori comportamentali sono più accurati di quelli di SWE-bench Pro e le traiettorie pubblicate rendono i risultati ispezionabili. La società indipendente di benchmark Artificial Analysis ha sostituito SWE-bench Pro con DeepSWE per i suoi indici su Intelligence e Coding Agent (un’adesione significativa da parte di un’organizzazione senza interessi nel successo di Datacurve).

Tra i problemi: una revisione indipendente ha identificato difetti di valutazione in almeno 23 dei 113 task, superando la soglia per contrassegnare il benchmark come Flawed. La revisione è stata pubblicata il 7 settembre 2026 da Epoch AI nell’ambito del suo programma indipendente di Benchmark Reviews. I difetti di valutazione erano per lo più test nascosti in conflitto con i test scritti dall’agente, un problema strutturale in cui il verificatore di DeepSWE applica la submission, ripristina i file elencati nella patch di test, poi esegue le suite dal repository inviato e valuta i loro report. Questo lascia parte dell’infrastruttura di test sotto il controllo della submission.

Questo non rende DeepSWE inutile. Rende inaffidabili le classifiche precise. L’ordinamento ampio dei modelli è probabilmente significativo; un divario di uno o due punti percentuali tra configurazioni non lo è.

Cosa ci dice DeepSWE sugli agenti di coding AI

I modelli che performano bene su DeepSWE non stanno solo scrivendo funzioni migliori. Stanno navigando codebase sconosciute, pianificando modifiche multi-step e auto-verificando tramite test. Ogni famiglia di modelli AI fallisce anche a modo suo. Datacurve riporta che una larga quota dei fallimenti di Claude su DeepSWE segue uno schema “one branch shipped”: implementazioni parziali che soddisfano alcuni ma non tutti i requisiti. È una modalità di fallimento diversa da quella dei fallimenti di GPT, che è diversa ancora da quella di Gemini.

Sforzo di ragionamento, costo e performance interagiscono in modi che non si semplificano facilmente. Il limite di step raramente è vincolante: solo 67 dei 7.174 rollout valutati hanno raggiunto il cap. Più token e più step non risolvono in modo consistente più task, cosa utile da sapere prima di configurare un agente per la produzione.

La verità più dura è che i progressi nei benchmark, per quanto reali, non dimostrano che gli agenti possano mantenere autonomamente sistemi di produzione complessi. Un pass rate del 74% su 113 task accuratamente progettati dice qualcosa di significativo sulla capacità relativa dei modelli. Non dice che un agente possa essere affidato senza supervisione in una codebase di produzione, gestire requisiti ambigui o navigare le dinamiche sociali di un vero team di ingegneria. Questi gap non sono misurati da nessun benchmark oggi esistente.

Conclusione

DeepSWE è un miglioramento reale rispetto ai benchmark che è stato progettato per sostituire. Task originali, verifica comportamentale e traiettorie pubblicate lo rendono più affidabile di SWE-bench Pro per confrontare modelli d’avanguardia su lavoro ingegneristico difficile. I tassi di successo DeepSWE spaziano di circa 70 punti percentuali tra peggiori e migliori, contro circa 30 punti sui punteggi pubblici di SWE-bench Pro, e quella separazione più ampia è reale e informativa.

Ma i risultati della leaderboard vanno letti con attenzione. La configurazione conta enormemente: sforzo di ragionamento, costo e scelte di harness spostano i punteggi. E la revisione indipendente della valutazione ha trovato difetti in oltre il 20% dei task, abbastanza per considerare le classifiche precise come direzionali piuttosto che definitive. La progettazione dei benchmark resta davvero difficile e DeepSWE è un tentativo onesto a un problema che non ha ancora una soluzione pulita.

Se vuoi affinare le competenze che benchmark come DeepSWE sono progettati per misurare, il nostro corso AI-Assisted Coding for Developers copre prompt engineering, debug e workflow di testing con assistenti di coding AI. Il corso successivo, Advanced AI-Assisted Coding for Developers, va oltre nell’analisi delle codebase, nell’ottimizzazione delle performance e nella sicurezza, il tipo di lavoro ingegneristico multi-step in cui gli agenti oggi in cima alle classifiche faticano ancora.