La fiecare câteva luni, apare un nou benchmark pentru cod care promite același lucru: original, fără contaminare, cea mai fidelă măsură de până acum a ingineriei AI.
DeepSWE e diferit. Nu pentru că acele afirmații ar fi greșite, ci pentru că există dovezi reale în spatele lor și pentru că Datacurve a fost neobișnuit de deschisă cu privire la punctele în care benchmarkul încă nu livrează. Hai să vedem.
Ce este DeepSWE?
DeepSWE este un benchmark pentru codare, fără contaminare, creat de Datacurve, care testează LLM-urile de avangardă pe 113 sarcini originale, de lungă durată, de inginerie software, în 91 de repository-uri și cinci limbaje: TypeScript, Go, Python, JavaScript și Rust. A fost lansat în mai, ca primul produs public al Datacurve.
Ca să fie clar, DeepSWE este un benchmark, nu un model AI sau un agent de codare. Nu scrie cod. Evaluează agenții care o fac. Obiectivul lui este să măsoare dacă modelele de limbaj mari pot aborda sarcini complexe reale de inginerie software, folosind probleme originale scrise special pentru benchmark, nu extrase din pull request-uri GitHub deja fuzionate.
În acest scop, DeepSWE trasează o linie clară între generarea de cod și codarea agentică. Generarea de cod înseamnă producerea unei funcții într-o casetă de text. Codarea agentică înseamnă să citești un repository, să înțelegi cum se îmbină piesele, să scrii cod care interacționează cu sisteme existente, să rulezi teste și să iterezi.
Cum funcționează DeepSWE
Un agent evaluat pe DeepSWE nu primește doar un prompt și nu scrie cod în vid. El operează într-un mediu live de dezvoltare software:
- Agentul primește o descriere a sarcinii (în medie circa 2.158 de caractere, aproximativ jumătate din lungimea unui prompt tipic SWE-bench Pro).
- Inspectează repository-ul, navighează prin fișiere și înțelege codebase-ul.
- Modifică codul, rulează comenzile relevante și execută testele.
- Își trimite implementarea.
- DeepSWE evaluează rezultatul folosind un verificator specific sarcinii, care verifică dacă funcționalitatea cerută chiar există.
- Rezultatul intră în rata generală de reușită a modelului pe benchmark.
DeepSWE folosește mini-swe-agent (harnasamentul construit de echipa Princeton și Stanford din spatele SWE-bench și SWE-agent) menținut fix pentru fiecare model. Merită notat: scorul unui model pe DeepSWE reflectă performanța lui într-o configurație specifică, nu o măsură abstractă a abilității de a scrie cod.
Ce face DeepSWE diferit?
Există multe benchmarkuri pentru cod, iar cele mai multe încep să se confunde între ele. Iată ce îl diferențiază cu adevărat pe DeepSWE.
Sarcini originale de inginerie software
Principalul diferențiator al DeepSWE față de SWE-bench și variantele lui este controlul contaminării. Fiecare sarcină este scrisă de la zero de inginerii Datacurve, nu adaptată din commit-uri sau pull request-uri existente pe GitHub. Problema contaminării e simplă: dacă un model a fost antrenat pe date care includ și issue-ul de pe GitHub și soluția finală, nu rezolvă problema, ci își amintește o soluție. DeepSWE face shallow-clone la commit-ul de bază, astfel încât să nu existe un hash al fixului fuzionat de citit, închizând o portiță exploatabilă pe SWE-bench Pro.
Probleme de inginerie pe termen lung
Sarcinile SWE-bench Pro cer în medie 120 de linii de cod în cinci fișiere. Soluțiile de referință DeepSWE au în medie 668 de linii adăugate în șapte fișiere, cam de 5,5 ori mai mari. Nu sunt remedieri într-o singură funcție. Sunt modificări coordonate în mai multe fișiere, de tipul celor care chiar necesită înțelegerea felului în care se ține un codebase. Prompts mai scurte, soluții mai mari.
Verificare personalizată
Fiecare sarcină este notată de un verificator scris manual, care verifică funcționalitatea cerută și acceptă orice implementare care o livrează. Asta diferă de notarea bazată pe teste, unde criteriul este trecerea unor cazuri de test specifice. Verificatorii DeepSWE verifică comportamentul, nu implementarea. Când un LLM independent re-evaluează rulările notate, intră în dezacord cu verificatorul DeepSWE de un ordin de mărime mai rar decât cu testele moștenite ale SWE-bench Pro (1,4% față de 32,4%).
Evaluări reproductibile
Revizia v1.1 a DeepSWE întărește și mai mult acest aspect, notând doar patch-ul comis într-un container de verificare curat și izolat și prezentând un workspace git mai natural pe main. Traiectoriile publicate permit oricui să inspecteze nu doar scorurile, ci și raționamentul din spatele lor. Poți răsfoi fiecare rollout în repository-ul DeepSWE de pe GitHub.
Cum funcționează clasamentul DeepSWE
Clasamentul de la deepswe.datacurve.ai nu este doar o ierarhie. Este un tabel de configurații, iar înțelegerea acestui lucru îți schimbă modul în care îl citești.
Rată de reușită
Metricul de bază este pass@1: fracția de sarcini pe care modelul le rezolvă din prima încercare. Pe multe clasamente publice, modelele de top se înghesuie într-o bandă îngustă. DeepSWE este construit să reflecte cum trăiesc dezvoltatorii cu agenții zi de zi, ceea ce înseamnă o împrăștiere mult mai mare între cei mai buni și cei mai slabi.
Efort de raționare
Același model poate apărea de mai multe ori cu setări diferite de efort de raționare (high, xhigh, max) și poate obține scoruri semnificativ diferite. Un efort de raționare mai mare înseamnă de obicei mai mulți tokeni consumați și cost mai mare per sarcină. Dacă merită acel compromis depinde de cazul tău de utilizare.
Cost per sarcină
Benchmarkul urmărește eficiența în tokeni și costul. Un model care obține 70% la 4$ per sarcină față de unul care obține 68% la 1,50$ per sarcină spune o poveste foarte diferită pentru o echipă care se gândește la producție.
Tokeni și pași de agent
Consumul de tokeni și numărul de pași de utilizare a uneltelor îți oferă o fereastră către eficiență. Unele configurații își scriu și își rulează intensiv propriile teste. Pe DeepSWE, modelele de top au făcut asta în până la 85% din rulări. Acest comportament de auto-verificare este unul dintre cei mai clari markeri care separă agenții puternici de cei slabi.
Configurația evaluării
Un scor pe clasament este specific configurației. Modelul, harnasamentul agentului, uneltele disponibile și setările de execuție influențează toate performanța. Două rulări ale aceluiași model cu harnasamente diferite pot produce rezultate diferite.
Tabelul de mai jos reflectă clasamentul oficial DeepSWE v1.1 la data de 22 septembrie, 2026. Acestea sunt rezultate specifice configurațiilor, nu ierarhii universale. Toate scorurile au un interval de încredere de 95% de circa ±3-4 puncte procentuale pe un benchmark cu 113 sarcini.
|
Model
|
DeepSWE v1.1 pass@1
|
|
GPT-6 Astra (xhigh)
|
74%
|
|
Gemini 3.8 Flash (high)
|
74%
|
|
Claude Opus 5 (max)
|
74%
|
|
GPT-5.6 Sol (max)
|
73%
|
|
Claude Fable 5 (xhigh)
|
70%
|
|
GLM-5.3 (max)
|
69%
|
Trei modele la 74% sună ca o egalitate în trei. Dar intervalele de încredere și diferențele de configurație fac această lectură șubredă. Laboratoarele au continuat să publice numere DeepSWE 1.1 pentru modele inclusiv GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon și altele de la ultima actualizare oficială a clasamentului, astfel încât peisajul competitiv se schimbă mai rapid decât surprinde tabloul oficial. Un ecart de unu sau două puncte procentuale între performeri de top nu este un semnal semnificativ, nu pe un benchmark cu 113 sarcini și nu având în vedere problemele de notare descrise mai jos.
DeepSWE vs alte benchmarkuri de codare AI
DeepSWE vs. SWE-bench
SWE-bench a definit evaluarea în ingineria software ca rezolvarea unor issue-uri reale de pe GitHub, pe 2.294 de instanțe de sarcini extrase din pull request-uri fuzionate. Sarcinile sunt reale, dar această origine creează o problemă de contaminare: soluțiile sunt publice în aceleași repository-uri pe care au fost antrenate modelele. Sarcinile originale ale DeepSWE sunt scrise special pentru a evita asta. Compromisul este scara: 113 sarcini față de mii.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro merge mai departe decât SWE-bench original, dar are o problemă de notare care s-a dovedit substanțială. Auditul Datacurve a constatat că evaluatorii automatizați ai SWE-bench Pro au respins soluții corecte în 24% din cazuri și au acceptat unele greșite în 8,5% din cazuri, ceea ce înseamnă că aproximativ o treime din deciziile sale de trecere/picare sunt discutabile. Claude Opus arată, de asemenea, o tendință de a recupera soluții de aur din istoricul git în peste 12% din probele SWE-bench Pro, lucru pe care abordarea de shallow-clone a DeepSWE îl previne. Numărul mai mare de sarcini al SWE-bench Pro este un avantaj real pentru încrederea statistică; notarea mai curată a DeepSWE este un avantaj pentru validitatea rezultatului. Nu există un câștigător clar aici.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 este un benchmark cu 66 de sarcini în medii de terminal, în șapte domenii: software, știință, învățare automată, operațiuni, hardware, securitate și media. În timp ce DeepSWE evaluează ingineria software la nivel de repository, Terminal-Bench evaluează munca tehnică end-to-end într-un terminal, iar doar 18 dintre sarcinile sale sunt sarcini software. Scorurile Terminal-Bench aparțin unei perechi model-și-harnasament, făcându-l parțial o comparație de unelte; DeepSWE menține harnasamentul fix și îți spune despre model. Ambele au fost evaluate ca Defecte de către Epoch AI, Terminal-Bench 4.0 având defecte în 30 din 66 de sarcini.
| | Terminal-Bench 4.0 |
|---|
| Sursa sarcinilor | Contribuite de comunitate, revizuite de mentenanți |
| Număr de sarcini | 66 |
| Focus principal | Sarcini de terminal end-to-end, șapte domenii |
| Notare | Verificatorul verifică starea finală a sistemului |
| Risc de contaminare | Scăzut-moderat |
Cât de fiabil este DeepSWE?
La capitolul puncte forte: sarcinile originale reduc substanțial riscul de contaminare, verificatorii comportamentali sunt mai exacți decât cei ai SWE-bench Pro, iar traiectoriile publicate fac rezultatele ușor de inspectat. Firma independentă de benchmark Artificial Analysis a înlocuit SWE-bench Pro cu DeepSWE pentru indicii ei de Intelligence și Coding Agent (o susținere semnificativă din partea unei organizații fără interes în succesul Datacurve).
La capitolul probleme: o revizuire independentă a identificat defecte de notare în cel puțin 23 dintre cele 113 sarcini, depășind pragul pentru marcarea benchmarkului ca Defect. Revizuirea a fost publicată pe 7 septembrie 2026 de Epoch AI, ca parte a programului său independent Benchmark Reviews. Defectele de notare au fost în mare parte teste ascunse care intrau în coliziune cu testele scrise de agent, o problemă structurală în care verificatorul DeepSWE aplică trimiterea, restaurează fișierele listate în patch-ul de test, apoi rulează suitele din repository-ul trimis și evaluează rapoartele lor. Asta lasă o parte din infrastructura de test sub controlul trimitentului.
Asta nu face DeepSWE inutil. Face ca ierarhiile precise să fie nesigure. Ordinea generală a modelelor este probabil semnificativă; un ecart de unu-două puncte procentuale între configurații nu este.
Ce ne spune DeepSWE despre agenții de codare AI
Modelele care performează bine pe DeepSWE nu scriu doar funcții mai bune. Ele navighează prin codebase-uri necunoscute, planifică schimbări în mai mulți pași și se auto-verifică prin teste. Fiecare familie de modele AI eșuează și ea într-un mod caracteristic. Datacurve raportează că o pondere mare a eșecurilor lui Claude pe DeepSWE urmează un tipar „o ramură livrată”: implementări parțiale care satisfac unele, dar nu toate cerințele. Acesta este un mod de eșec diferit de cel al GPT, care este, la rândul lui, diferit de Gemini.
Efortul de raționare, costul și performanța interacționează în moduri care nu se simplifică ușor. Limita de pași rareori devine constrângătoare: doar 67 din cele 7.174 de rulări notate au atins plafonul. Mai mulți tokeni și mai mulți pași nu rezolvă constant mai multe sarcini, lucru important de știut înainte să configurezi un agent pentru producție.
Adevărul mai dur este că progresul pe benchmark, oricât de real, nu stabilește că agenții pot întreține independent sisteme complexe de producție. O rată de 74% pe 113 sarcini atent concepute spune ceva semnificativ despre capacitatea relativă a modelelor. Nu spune că un agent poate fi lăsat nesupravegheat într-un codebase de producție, poate gestiona cerințe ambigue sau poate naviga dinamica socială a unei echipe reale de inginerie. Aceste goluri nu sunt măsurate de niciun benchmark existent în prezent.
Concluzie
DeepSWE este o îmbunătățire reală față de benchmarkurile pe care a fost conceput să le înlocuiască. Sarcinile originale, verificarea comportamentală și traiectoriile publicate îl fac mai de încredere decât SWE-bench Pro pentru compararea modelelor de avangardă pe muncă de inginerie dificilă. Ratele de reușită DeepSWE se întind pe aproximativ 70 de puncte procentuale de la cel mai slab la cel mai bun, față de aproximativ 30 de puncte în scorurile SWE-bench Pro raportate public, iar acea separare mai largă este reală și informativă.
Dar rezultatele de pe clasament necesită o lectură atentă. Configurația contează enorm: efortul de raționare, costul și alegerile de harnasament schimbă toate scorurile. Iar revizuirea independentă a notării a găsit defecte în peste 20% din sarcini, suficient pentru a trata ierarhiile precise ca direcționale, nu definitive. Proiectarea de benchmarkuri rămâne cu adevărat dificilă, iar DeepSWE este o încercare onestă la o problemă care nu are încă o soluție curată.
Dacă vrei să-ți ascuți abilitățile pe care benchmarkuri precum DeepSWE sunt concepute să le măsoare, cursul nostru AI-Assisted Coding for Developers acoperă prompt engineering, depanare și fluxuri de testare cu asistenți AI de codare. Cursul următor, Advanced AI-Assisted Coding for Developers, merge mai departe în analiza codebase-ului, optimizarea performanței și securitate, genul de muncă de inginerie în mai mulți pași la care chiar și agenții cu cele mai mari scoruri de azi încă se luptă.
La fiecare câteva luni, apare un nou benchmark pentru cod care promite același lucru: original, fără contaminare, cea mai fidelă măsură de până acum a ingineriei AI.
DeepSWE e diferit. Nu pentru că acele afirmații ar fi greșite, ci pentru că există dovezi reale în spatele lor și pentru că Datacurve a fost neobișnuit de deschisă cu privire la punctele în care benchmarkul încă nu livrează. Hai să vedem.
Ce este DeepSWE?
DeepSWE este un benchmark pentru codare, fără contaminare, creat de Datacurve, care testează LLM-urile de avangardă pe 113 sarcini originale, de lungă durată, de inginerie software, în 91 de repository-uri și cinci limbaje: TypeScript, Go, Python, JavaScript și Rust. A fost lansat în mai, ca primul produs public al Datacurve.
Ca să fie clar, DeepSWE este un benchmark, nu un model AI sau un agent de codare. Nu scrie cod. Evaluează agenții care o fac. Obiectivul lui este să măsoare dacă modelele de limbaj mari pot aborda sarcini complexe reale de inginerie software, folosind probleme originale scrise special pentru benchmark, nu extrase din pull request-uri GitHub deja fuzionate.
În acest scop, DeepSWE trasează o linie clară între generarea de cod și codarea agentică. Generarea de cod înseamnă producerea unei funcții într-o casetă de text. Codarea agentică înseamnă să citești un repository, să înțelegi cum se îmbină piesele, să scrii cod care interacționează cu sisteme existente, să rulezi teste și să iterezi.
Cum funcționează DeepSWE
Un agent evaluat pe DeepSWE nu primește doar un prompt și nu scrie cod în vid. El operează într-un mediu live de dezvoltare software:
DeepSWE folosește mini-swe-agent (harnasamentul construit de echipa Princeton și Stanford din spatele SWE-bench și SWE-agent) menținut fix pentru fiecare model. Merită notat: scorul unui model pe DeepSWE reflectă performanța lui într-o configurație specifică, nu o măsură abstractă a abilității de a scrie cod.
Ce face DeepSWE diferit?
Există multe benchmarkuri pentru cod, iar cele mai multe încep să se confunde între ele. Iată ce îl diferențiază cu adevărat pe DeepSWE.
Sarcini originale de inginerie software
Principalul diferențiator al DeepSWE față de SWE-bench și variantele lui este controlul contaminării. Fiecare sarcină este scrisă de la zero de inginerii Datacurve, nu adaptată din commit-uri sau pull request-uri existente pe GitHub. Problema contaminării e simplă: dacă un model a fost antrenat pe date care includ și issue-ul de pe GitHub și soluția finală, nu rezolvă problema, ci își amintește o soluție. DeepSWE face shallow-clone la commit-ul de bază, astfel încât să nu existe un hash al fixului fuzionat de citit, închizând o portiță exploatabilă pe SWE-bench Pro.
Probleme de inginerie pe termen lung
Sarcinile SWE-bench Pro cer în medie 120 de linii de cod în cinci fișiere. Soluțiile de referință DeepSWE au în medie 668 de linii adăugate în șapte fișiere, cam de 5,5 ori mai mari. Nu sunt remedieri într-o singură funcție. Sunt modificări coordonate în mai multe fișiere, de tipul celor care chiar necesită înțelegerea felului în care se ține un codebase. Prompts mai scurte, soluții mai mari.
Verificare personalizată
Fiecare sarcină este notată de un verificator scris manual, care verifică funcționalitatea cerută și acceptă orice implementare care o livrează. Asta diferă de notarea bazată pe teste, unde criteriul este trecerea unor cazuri de test specifice. Verificatorii DeepSWE verifică comportamentul, nu implementarea. Când un LLM independent re-evaluează rulările notate, intră în dezacord cu verificatorul DeepSWE de un ordin de mărime mai rar decât cu testele moștenite ale SWE-bench Pro (1,4% față de 32,4%).
Evaluări reproductibile
Revizia v1.1 a DeepSWE întărește și mai mult acest aspect, notând doar patch-ul comis într-un container de verificare curat și izolat și prezentând un workspace git mai natural pe main. Traiectoriile publicate permit oricui să inspecteze nu doar scorurile, ci și raționamentul din spatele lor. Poți răsfoi fiecare rollout în repository-ul DeepSWE de pe GitHub.
Cum funcționează clasamentul DeepSWE
Clasamentul de la deepswe.datacurve.ai nu este doar o ierarhie. Este un tabel de configurații, iar înțelegerea acestui lucru îți schimbă modul în care îl citești.
Rată de reușită
Metricul de bază este pass@1: fracția de sarcini pe care modelul le rezolvă din prima încercare. Pe multe clasamente publice, modelele de top se înghesuie într-o bandă îngustă. DeepSWE este construit să reflecte cum trăiesc dezvoltatorii cu agenții zi de zi, ceea ce înseamnă o împrăștiere mult mai mare între cei mai buni și cei mai slabi.
Efort de raționare
Același model poate apărea de mai multe ori cu setări diferite de efort de raționare (high, xhigh, max) și poate obține scoruri semnificativ diferite. Un efort de raționare mai mare înseamnă de obicei mai mulți tokeni consumați și cost mai mare per sarcină. Dacă merită acel compromis depinde de cazul tău de utilizare.
Cost per sarcină
Benchmarkul urmărește eficiența în tokeni și costul. Un model care obține 70% la 4$ per sarcină față de unul care obține 68% la 1,50$ per sarcină spune o poveste foarte diferită pentru o echipă care se gândește la producție.
Tokeni și pași de agent
Consumul de tokeni și numărul de pași de utilizare a uneltelor îți oferă o fereastră către eficiență. Unele configurații își scriu și își rulează intensiv propriile teste. Pe DeepSWE, modelele de top au făcut asta în până la 85% din rulări. Acest comportament de auto-verificare este unul dintre cei mai clari markeri care separă agenții puternici de cei slabi.
Configurația evaluării
Un scor pe clasament este specific configurației. Modelul, harnasamentul agentului, uneltele disponibile și setările de execuție influențează toate performanța. Două rulări ale aceluiași model cu harnasamente diferite pot produce rezultate diferite.
Ce modele AI au cele mai bune performanțe pe DeepSWE?
Tabelul de mai jos reflectă clasamentul oficial DeepSWE v1.1 la data de 22 septembrie, 2026. Acestea sunt rezultate specifice configurațiilor, nu ierarhii universale. Toate scorurile au un interval de încredere de 95% de circa ±3-4 puncte procentuale pe un benchmark cu 113 sarcini.
Model
DeepSWE v1.1 pass@1
GPT-6 Astra (xhigh)
74%
Gemini 3.8 Flash (high)
74%
Claude Opus 5 (max)
74%
GPT-5.6 Sol (max)
73%
Claude Fable 5 (xhigh)
70%
GLM-5.3 (max)
69%
Trei modele la 74% sună ca o egalitate în trei. Dar intervalele de încredere și diferențele de configurație fac această lectură șubredă. Laboratoarele au continuat să publice numere DeepSWE 1.1 pentru modele inclusiv GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon și altele de la ultima actualizare oficială a clasamentului, astfel încât peisajul competitiv se schimbă mai rapid decât surprinde tabloul oficial. Un ecart de unu sau două puncte procentuale între performeri de top nu este un semnal semnificativ, nu pe un benchmark cu 113 sarcini și nu având în vedere problemele de notare descrise mai jos.
DeepSWE vs alte benchmarkuri de codare AI
DeepSWE vs. SWE-bench
SWE-bench a definit evaluarea în ingineria software ca rezolvarea unor issue-uri reale de pe GitHub, pe 2.294 de instanțe de sarcini extrase din pull request-uri fuzionate. Sarcinile sunt reale, dar această origine creează o problemă de contaminare: soluțiile sunt publice în aceleași repository-uri pe care au fost antrenate modelele. Sarcinile originale ale DeepSWE sunt scrise special pentru a evita asta. Compromisul este scara: 113 sarcini față de mii.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro merge mai departe decât SWE-bench original, dar are o problemă de notare care s-a dovedit substanțială. Auditul Datacurve a constatat că evaluatorii automatizați ai SWE-bench Pro au respins soluții corecte în 24% din cazuri și au acceptat unele greșite în 8,5% din cazuri, ceea ce înseamnă că aproximativ o treime din deciziile sale de trecere/picare sunt discutabile. Claude Opus arată, de asemenea, o tendință de a recupera soluții de aur din istoricul git în peste 12% din probele SWE-bench Pro, lucru pe care abordarea de shallow-clone a DeepSWE îl previne. Numărul mai mare de sarcini al SWE-bench Pro este un avantaj real pentru încrederea statistică; notarea mai curată a DeepSWE este un avantaj pentru validitatea rezultatului. Nu există un câștigător clar aici.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 este un benchmark cu 66 de sarcini în medii de terminal, în șapte domenii: software, știință, învățare automată, operațiuni, hardware, securitate și media. În timp ce DeepSWE evaluează ingineria software la nivel de repository, Terminal-Bench evaluează munca tehnică end-to-end într-un terminal, iar doar 18 dintre sarcinile sale sunt sarcini software. Scorurile Terminal-Bench aparțin unei perechi model-și-harnasament, făcându-l parțial o comparație de unelte; DeepSWE menține harnasamentul fix și îți spune despre model. Ambele au fost evaluate ca Defecte de către Epoch AI, Terminal-Bench 4.0 având defecte în 30 din 66 de sarcini.
Cât de fiabil este DeepSWE?
La capitolul puncte forte: sarcinile originale reduc substanțial riscul de contaminare, verificatorii comportamentali sunt mai exacți decât cei ai SWE-bench Pro, iar traiectoriile publicate fac rezultatele ușor de inspectat. Firma independentă de benchmark Artificial Analysis a înlocuit SWE-bench Pro cu DeepSWE pentru indicii ei de Intelligence și Coding Agent (o susținere semnificativă din partea unei organizații fără interes în succesul Datacurve).
La capitolul probleme: o revizuire independentă a identificat defecte de notare în cel puțin 23 dintre cele 113 sarcini, depășind pragul pentru marcarea benchmarkului ca Defect. Revizuirea a fost publicată pe 7 septembrie 2026 de Epoch AI, ca parte a programului său independent Benchmark Reviews. Defectele de notare au fost în mare parte teste ascunse care intrau în coliziune cu testele scrise de agent, o problemă structurală în care verificatorul DeepSWE aplică trimiterea, restaurează fișierele listate în patch-ul de test, apoi rulează suitele din repository-ul trimis și evaluează rapoartele lor. Asta lasă o parte din infrastructura de test sub controlul trimitentului.
Asta nu face DeepSWE inutil. Face ca ierarhiile precise să fie nesigure. Ordinea generală a modelelor este probabil semnificativă; un ecart de unu-două puncte procentuale între configurații nu este.
Ce ne spune DeepSWE despre agenții de codare AI
Modelele care performează bine pe DeepSWE nu scriu doar funcții mai bune. Ele navighează prin codebase-uri necunoscute, planifică schimbări în mai mulți pași și se auto-verifică prin teste. Fiecare familie de modele AI eșuează și ea într-un mod caracteristic. Datacurve raportează că o pondere mare a eșecurilor lui Claude pe DeepSWE urmează un tipar „o ramură livrată”: implementări parțiale care satisfac unele, dar nu toate cerințele. Acesta este un mod de eșec diferit de cel al GPT, care este, la rândul lui, diferit de Gemini.
Efortul de raționare, costul și performanța interacționează în moduri care nu se simplifică ușor. Limita de pași rareori devine constrângătoare: doar 67 din cele 7.174 de rulări notate au atins plafonul. Mai mulți tokeni și mai mulți pași nu rezolvă constant mai multe sarcini, lucru important de știut înainte să configurezi un agent pentru producție.
Adevărul mai dur este că progresul pe benchmark, oricât de real, nu stabilește că agenții pot întreține independent sisteme complexe de producție. O rată de 74% pe 113 sarcini atent concepute spune ceva semnificativ despre capacitatea relativă a modelelor. Nu spune că un agent poate fi lăsat nesupravegheat într-un codebase de producție, poate gestiona cerințe ambigue sau poate naviga dinamica socială a unei echipe reale de inginerie. Aceste goluri nu sunt măsurate de niciun benchmark existent în prezent.
Concluzie
DeepSWE este o îmbunătățire reală față de benchmarkurile pe care a fost conceput să le înlocuiască. Sarcinile originale, verificarea comportamentală și traiectoriile publicate îl fac mai de încredere decât SWE-bench Pro pentru compararea modelelor de avangardă pe muncă de inginerie dificilă. Ratele de reușită DeepSWE se întind pe aproximativ 70 de puncte procentuale de la cel mai slab la cel mai bun, față de aproximativ 30 de puncte în scorurile SWE-bench Pro raportate public, iar acea separare mai largă este reală și informativă.
Dar rezultatele de pe clasament necesită o lectură atentă. Configurația contează enorm: efortul de raționare, costul și alegerile de harnasament schimbă toate scorurile. Iar revizuirea independentă a notării a găsit defecte în peste 20% din sarcini, suficient pentru a trata ierarhiile precise ca direcționale, nu definitive. Proiectarea de benchmarkuri rămâne cu adevărat dificilă, iar DeepSWE este o încercare onestă la o problemă care nu are încă o soluție curată.
Dacă vrei să-ți ascuți abilitățile pe care benchmarkuri precum DeepSWE sunt concepute să le măsoare, cursul nostru AI-Assisted Coding for Developers acoperă prompt engineering, depanare și fluxuri de testare cu asistenți AI de codare. Cursul următor, Advanced AI-Assisted Coding for Developers, merge mai departe în analiza codebase-ului, optimizarea performanței și securitate, genul de muncă de inginerie în mai mulți pași la care chiar și agenții cu cele mai mari scoruri de azi încă se luptă.