Med några månaders mellanrum dyker ett nytt kodningsbenchmark upp med samma löfte: originellt, fritt från kontaminering, det sannaste måttet på AI-ingenjörskonst hittills.
DeepSWE är annorlunda. Inte för att de andra påståendena är fel, utan för att det faktiskt finns bevis bakom dem, och för att Datacurve var ovanligt öppna med var benchmarken fortfarande brister. Låt oss titta närmare.
Vad är DeepSWE?
DeepSWE är ett kontamineringsfritt kodningsbenchmark från Datacurve som testar framkants-LLM:er på 113 originella, långsiktiga mjukvaruingenjörsuppgifter i 91 kodförråd och fem språk: TypeScript, Go, Python, JavaScript och Rust. Det lanserades i maj som Datacurves första publika produkt.
För tydlighetens skull: DeepSWE är ett benchmark, inte en AI-modell eller kodningsagent. Det skriver inte kod. Det utvärderar agenter som gör det. Målet är att mäta om stora språkmodeller kan hantera komplexa mjukvaruingenjörsuppgifter i verkligheten, med originella problem skrivna specifikt för benchmarken i stället för att hämtas från tidigare sammanslagna GitHub-pull requests.
För detta drar DeepSWE en tydlig gräns mellan kodgenerering och agentisk kodning. Kodgenerering är att producera en funktion i en textruta. Agentisk kodning innebär att läsa ett repository, förstå hur delarna passar ihop, skriva kod som interagerar med befintliga system, köra tester och iterera.
Hur DeepSWE fungerar
En agent som utvärderas på DeepSWE får inte bara en prompt och skriver kod i ett vakuum. Den verkar i en levande mjukvaruutvecklingsmiljö:
- Agenten får en uppgiftsbeskrivning (i snitt omkring 2 158 tecken, ungefär hälften så lång som en typisk SWE-bench Pro-prompt).
- Den inspekterar repositoryt, navigerar filer och förstår kodbasen.
- Den modifierar kod, kör relevanta kommandon och exekverar tester.
- Den skickar in sin implementation.
- DeepSWE utvärderar resultatet med en uppgiftsspecifik verifierare som kontrollerar att den begärda funktionaliteten verkligen finns där.
- Utfallet räknas in i modellens totala pass rate på benchmarken.
DeepSWE använder mini-swe-agent (harnessen byggd av Princeton- och Stanford-teamet bakom SWE-bench och SWE-agent) som hålls fast över alla modeller. Värt att notera: en modells DeepSWE-poäng speglar dess prestation under en specifik konfiguration, inte något abstrakt mått på kodningsförmåga.
Vad gör DeepSWE annorlunda?
Det finns många kodningsbenchmarks, och de flesta börjar flyta ihop. Här är vad som faktiskt särskiljer DeepSWE.
Originella mjukvaruingenjörsuppgifter
DeepSWE:s huvudsakliga skillnad mot SWE-bench och dess varianter är kontamineringskontroll. Varje uppgift är skriven från grunden av Datacurves ingenjörer, inte anpassad från befintliga GitHub-commits eller pull requests. Kontamineringsproblemet är enkelt: om en modell tränades på data som innehåller både GitHub-ärendet och den slutliga fixen, löser den inte problemet, den återkallar en lösning. DeepSWE gör en shallow-clone av bascommitten så att det inte finns någon sammanslagen fix-hash att läsa, vilket stänger en lucka som kunde utnyttjas i SWE-bench Pro.
Långsiktiga ingenjörsproblem
SWE-bench Pro-uppgifter kräver i snitt 120 rader kod över fem filer. DeepSWE:s referenslösningar har i snitt 668 tillagda rader över sju filer, ungefär 5,5 gånger större. Det här är inte en-funktions-fixar. Det är koordinerade ändringar över flera filer, den sorten som kräver att man faktiskt förstår hur en kodbas hänger ihop. Kortare prompts, större lösningar.
Anpassad verifiering
Varje uppgift betygsätts av en handskriven verifierare som kontrollerar den begärda funktionaliteten och accepterar varje implementation som levererar den. Detta skiljer sig från testbaserad betygsättning, där kriteriet är att klara specifika testfall. DeepSWE:s verifierare kontrollerar beteende, inte implementation. När en oberoende LLM omgranskar betygsatta körningar, är den oenig med DeepSWE:s verifierare ungefär en tiopotens mer sällan än med SWE-bench Pros ärvda tester (1,4% jämfört med 32,4%).
Reproducerbara utvärderingar
DeepSWE:s v1.1-revision stärker detta ytterligare genom att endast betygsätta den commitade patchen i en ren isolerad verifieringscontainer och presentera en mer naturlig git-arbeitsyta på main. Publicerade utvärderingstrajektorier låter vem som helst inspektera inte bara poängen utan det faktiska resonemanget bakom dem. Du kan bläddra bland varje rollout i DeepSWE:s GitHub-repository.
Hur DeepSWE:s topplista fungerar
Topplistan på deepswe.datacurve.ai är inte bara en rankning. Det är en konfigurationstabell, och att förstå det förändrar hur du läser den.
Pass rate
Kärnmetrik är pass@1: andelen uppgifter som modellen löser vid första försöket. På många publika topplistor klustrar toppmodeller inom ett smalt intervall. DeepSWE är byggt för att spegla hur utvecklare faktiskt upplever agenter i vardagen, vilket innebär ett mycket större spann mellan de bästa och sämsta prestationerna.
Resoneringsinsats
Samma modell kan förekomma flera gånger med olika inställningar för resoneringsinsats (high, xhigh, max) och ge meningsfullt olika poäng. Högre resoneringsinsats innebär i regel fler använda tokens och högre kostnad per uppgift. Om den avvägningen är värd det beror på ditt användningsfall.
Kostnad per uppgift
Benchmarken spårar tokeneffektivitet och kostnad. En modell som får 70% för $4 per uppgift kontra en som får 68% för $1,50 per uppgift berättar en helt annan historia för ett team som överväger produktion.
Tokens och agentsteg
Tokenförbrukning och antal verktygssteg ger dig en inblick i effektivitet. Vissa konfigurationer skriver och kör sina egna tester i stor utsträckning. På DeepSWE gjorde toppmodeller detta i så många som 85% av körningarna. Det självverifierande beteendet är en av de tydligaste markörerna som skiljer starka agenter från svagare.
Utvärderingskonfiguration
En topplistepoäng är konfigurationsspecifik. Modellen, agentharnessen, tillgängliga verktyg och exekveringsinställningar påverkar alla prestanda. Två körningar av samma modell med olika harnessar kan ge olika resultat.
Vilka AI-modeller presterar bäst på DeepSWE?
Tabellen nedan återspeglar den officiella DeepSWE v1.1-topplistan per den 22 september, 2026. Detta är konfigurationsspecifika resultat, inte universella rankningar. Alla poäng har ett 95%-igt konfidensintervall på ungefär ±3–4 procentenheter på en benchmark med 113 uppgifter.
|
Modell
|
DeepSWE v1.1 pass@1
|
|
GPT-6 Astra (xhigh)
|
74%
|
|
Gemini 3.8 Flash (high)
|
74%
|
|
Claude Opus 5 (max)
|
74%
|
|
GPT-5.6 Sol (max)
|
73%
|
|
Claude Fable 5 (xhigh)
|
70%
|
|
GLM-5.3 (max)
|
69%
|
Tre modeller på 74% låter som en trevägslikhet. Men konfidensintervall och konfigurationsskillnader gör den tolkningen skakig. Labben har fortsatt publicera DeepSWE 1.1-siffror för modeller som GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon och andra sedan den senaste officiella uppdateringen, så konkurrensbilden förändras snabbare än den officiella topplistan fångar. En eller två procentenheters skillnad mellan toppresterande är inte ett meningsfullt signalvärde, inte på en benchmark med 113 uppgifter och inte med tanke på bedömningsproblemen nedan.
DeepSWE jämfört med andra AI-kodningsbenchmarks
DeepSWE vs. SWE-bench
SWE-bench ramade in mjukvaruingenjörsutvärdering som att lösa riktiga GitHub-ärenden mot 2 294 uppgiftsinstanser utvunna från sammanslagna pull requests. Uppgifterna är verkliga, men det ursprunget skapar ett kontamineringsproblem: lösningar finns offentligt tillgängliga i samma repositories som modeller tränades på. DeepSWE:s originella uppgifter är skrivna specifikt för att undvika detta. Avvägningen är skala: 113 uppgifter mot tusentals.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro går längre än det ursprungliga SWE-bench, men det har ett betygsproblem som visade sig vara betydande. Datacurves granskning fann att SWE-bench Pros automatiserade bedömare avslog korrekta lösningar 24% av gångerna och accepterade felaktiga 8,5% av gångerna, vilket betyder att ungefär en tredjedel av dess pass/fail-beslut är tveksamma. Claude Opus visar också en tendens att återfinna guld-lösningar från git-historik i över 12% av SWE-bench Pro-försöken, något som DeepSWE:s shallow-clone-ansats förhindrar. SWE-bench Pros större antal uppgifter är en verklig fördel för statistisk säkerhet; DeepSWE:s renare bedömning är en fördel för resultatens giltighet. Ingen är en tydlig vinnare här.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 är ett benchmark med 66 uppgifter i terminalmiljöer över sju domäner: mjukvara, vetenskap, maskininlärning, drift, hårdvara, säkerhet och media. Där DeepSWE utvärderar mjukvaruingenjörsarbete på repository-nivå, utvärderar Terminal-Bench heltäckande tekniskt arbete i en terminal, och bara 18 av dess uppgifter är mjukvaruuppgifter. Terminal-Bench-poäng tillhör ett par av modell och harness, vilket gör det delvis till en verktygsjämförelse; DeepSWE håller harnessen fast och berättar om modellen. Båda har bedömts som Flawed av Epoch AI, där Terminal-Bench 4.0 har defekter i 30 av 66 uppgifter.
| | Terminal-Bench 4.0 |
|---|
| Uppgiftskälla | Bidrag från communityn, granskade av ansvariga |
| Antal uppgifter | 66 |
| Primärt fokus | End-to-end-terminaluppgifter, sju domäner |
| Betygsättning | Verifierare kontrollerar slutligt systemtillstånd |
| Kontamineringsrisk | Låg–måttlig |
Hur tillförlitligt är DeepSWE?
På styrksidan: originella uppgifter minskar kontamineringsrisken avsevärt, de beteendebaserade verifierarna är mer träffsäkra än SWE-bench Pros, och publicerade trajektorier gör resultaten inspekterbara. Det oberoende benchmarkföretaget Artificial Analysis ersatte SWE-bench Pro med DeepSWE för sina index Intelligence och Coding Agent (en meningsfull rekommendation från en organisation utan intresse i Datacurves framgång).
På problemsidan: en oberoende granskning identifierade betygsdefekter i minst 23 av de 113 uppgifterna, vilket överstiger tröskeln för att märka benchmarken som Flawed. Granskningen publicerades den 7 september 2026 av Epoch AI som en del av deras oberoende Benchmark Reviews-program. Betygsdefekterna var mestadels dolda tester som kolliderade med tester agenten skrev, ett strukturellt problem där DeepSWE:s verifierare tillämpar inlämningen, återställer filer listade i testpatchen, kör sedan sviter från det inskickade repositoryt och betygsätter deras rapporter. Det lämnar viss testinfrastruktur under inlämningens kontroll.
Detta gör inte DeepSWE oanvändbart. Det gör precisa rankningar opålitliga. Den breda ordningen mellan modeller är troligen meningsfull; en skillnad på en eller två procentenheter mellan konfigurationer är det inte.
Vad DeepSWE berättar om AI-kodningsagenter
Modeller som presterar väl på DeepSWE skriver inte bara bättre funktioner. De navigerar i okända kodbaser, planerar flerstegsförändringar och självverifierar via tester. Varje AI-modellfamilj misslyckas också på sitt eget utmärkande sätt. Datacurve rapporterar att en stor andel av Claudes misslyckanden på DeepSWE följer ett "one branch shipped"-mönster: partiella implementationer som uppfyller vissa men inte alla krav. Det är ett annat felmönster än GPT:s misslyckanden, som återigen skiljer sig från Geminis.
Resoneringsinsats, kostnad och prestanda samverkar på sätt som inte förenklas snyggt. Steggränsen binder sällan: endast 67 av 7 174 betygsatta rollouts nådde taket. Fler tokens och fler steg löser inte konsekvent fler uppgifter, vilket är värt att veta innan du konfigurerar en agent för produktion.
Den hårdare sanningen är att benchmarkframsteg, hur verkliga de än är, inte fastslår att agenter självständigt kan underhålla komplexa produktionssystem. En pass rate på 74% på 113 noggrant utformade uppgifter säger något meningsfullt om relativ modellkapacitet. Det säger inte att en agent kan anförtros obevakad i en produktionskodbas, hantera oklara krav eller navigera de sociala dynamikerna i ett riktigt ingenjörsteam. De gapen mäts inte av något benchmark som finns i dag.
Slutsats
DeepSWE är en verklig förbättring jämfört med de benchmarks det designades för att ersätta. Originella uppgifter, beteendeverifiering och publicerade trajektorier gör det mer pålitligt än SWE-bench Pro för att jämföra framkantsmodeller på svårt ingenjörsarbete. DeepSWE:s pass rate spänner ungefär 70 procentenheter från sämst till bäst, jämfört med omkring 30 punkter på offentligt rapporterade SWE-bench Pro-siffror, och den bredare separationen är verklig och informativ.
Men topplistesiffror kräver eftertänksam läsning. Konfigurationen spelar enormt stor roll: resoneringsinsats, kostnad och val av harness flyttar alla poängen. Och den oberoende betygsgranskningen fann defekter i över 20% av uppgifterna, tillräckligt för att behandla precisa rankningar som vägledande snarare än slutgiltiga. Benchmarkdesign är fortsatt genuint svårt, och DeepSWE är ett ärligt försök på ett problem som ännu inte har en ren lösning.
Om du vill vässa de färdigheter som benchmarks som DeepSWE är utformade för att mäta, täcker vår kurs AI-Assisted Coding for Developers prompt engineering, felsökning och testarbetsflöden med AI-kodningsassistenter. Uppföljningskursen, Advanced AI-Assisted Coding for Developers, går vidare in i kodbasanalys, prestandaoptimering och säkerhet – den typ av flerstegsingenjörsarbete där dagens toppresterande agenter fortfarande kämpar.
Med några månaders mellanrum dyker ett nytt kodningsbenchmark upp med samma löfte: originellt, fritt från kontaminering, det sannaste måttet på AI-ingenjörskonst hittills.
DeepSWE är annorlunda. Inte för att de andra påståendena är fel, utan för att det faktiskt finns bevis bakom dem, och för att Datacurve var ovanligt öppna med var benchmarken fortfarande brister. Låt oss titta närmare.
Vad är DeepSWE?
DeepSWE är ett kontamineringsfritt kodningsbenchmark från Datacurve som testar framkants-LLM:er på 113 originella, långsiktiga mjukvaruingenjörsuppgifter i 91 kodförråd och fem språk: TypeScript, Go, Python, JavaScript och Rust. Det lanserades i maj som Datacurves första publika produkt.
För tydlighetens skull: DeepSWE är ett benchmark, inte en AI-modell eller kodningsagent. Det skriver inte kod. Det utvärderar agenter som gör det. Målet är att mäta om stora språkmodeller kan hantera komplexa mjukvaruingenjörsuppgifter i verkligheten, med originella problem skrivna specifikt för benchmarken i stället för att hämtas från tidigare sammanslagna GitHub-pull requests.
För detta drar DeepSWE en tydlig gräns mellan kodgenerering och agentisk kodning. Kodgenerering är att producera en funktion i en textruta. Agentisk kodning innebär att läsa ett repository, förstå hur delarna passar ihop, skriva kod som interagerar med befintliga system, köra tester och iterera.
Hur DeepSWE fungerar
En agent som utvärderas på DeepSWE får inte bara en prompt och skriver kod i ett vakuum. Den verkar i en levande mjukvaruutvecklingsmiljö:
DeepSWE använder mini-swe-agent (harnessen byggd av Princeton- och Stanford-teamet bakom SWE-bench och SWE-agent) som hålls fast över alla modeller. Värt att notera: en modells DeepSWE-poäng speglar dess prestation under en specifik konfiguration, inte något abstrakt mått på kodningsförmåga.
Vad gör DeepSWE annorlunda?
Det finns många kodningsbenchmarks, och de flesta börjar flyta ihop. Här är vad som faktiskt särskiljer DeepSWE.
Originella mjukvaruingenjörsuppgifter
DeepSWE:s huvudsakliga skillnad mot SWE-bench och dess varianter är kontamineringskontroll. Varje uppgift är skriven från grunden av Datacurves ingenjörer, inte anpassad från befintliga GitHub-commits eller pull requests. Kontamineringsproblemet är enkelt: om en modell tränades på data som innehåller både GitHub-ärendet och den slutliga fixen, löser den inte problemet, den återkallar en lösning. DeepSWE gör en shallow-clone av bascommitten så att det inte finns någon sammanslagen fix-hash att läsa, vilket stänger en lucka som kunde utnyttjas i SWE-bench Pro.
Långsiktiga ingenjörsproblem
SWE-bench Pro-uppgifter kräver i snitt 120 rader kod över fem filer. DeepSWE:s referenslösningar har i snitt 668 tillagda rader över sju filer, ungefär 5,5 gånger större. Det här är inte en-funktions-fixar. Det är koordinerade ändringar över flera filer, den sorten som kräver att man faktiskt förstår hur en kodbas hänger ihop. Kortare prompts, större lösningar.
Anpassad verifiering
Varje uppgift betygsätts av en handskriven verifierare som kontrollerar den begärda funktionaliteten och accepterar varje implementation som levererar den. Detta skiljer sig från testbaserad betygsättning, där kriteriet är att klara specifika testfall. DeepSWE:s verifierare kontrollerar beteende, inte implementation. När en oberoende LLM omgranskar betygsatta körningar, är den oenig med DeepSWE:s verifierare ungefär en tiopotens mer sällan än med SWE-bench Pros ärvda tester (1,4% jämfört med 32,4%).
Reproducerbara utvärderingar
DeepSWE:s v1.1-revision stärker detta ytterligare genom att endast betygsätta den commitade patchen i en ren isolerad verifieringscontainer och presentera en mer naturlig git-arbeitsyta på main. Publicerade utvärderingstrajektorier låter vem som helst inspektera inte bara poängen utan det faktiska resonemanget bakom dem. Du kan bläddra bland varje rollout i DeepSWE:s GitHub-repository.
Hur DeepSWE:s topplista fungerar
Topplistan på deepswe.datacurve.ai är inte bara en rankning. Det är en konfigurationstabell, och att förstå det förändrar hur du läser den.
Pass rate
Kärnmetrik är pass@1: andelen uppgifter som modellen löser vid första försöket. På många publika topplistor klustrar toppmodeller inom ett smalt intervall. DeepSWE är byggt för att spegla hur utvecklare faktiskt upplever agenter i vardagen, vilket innebär ett mycket större spann mellan de bästa och sämsta prestationerna.
Resoneringsinsats
Samma modell kan förekomma flera gånger med olika inställningar för resoneringsinsats (high, xhigh, max) och ge meningsfullt olika poäng. Högre resoneringsinsats innebär i regel fler använda tokens och högre kostnad per uppgift. Om den avvägningen är värd det beror på ditt användningsfall.
Kostnad per uppgift
Benchmarken spårar tokeneffektivitet och kostnad. En modell som får 70% för $4 per uppgift kontra en som får 68% för $1,50 per uppgift berättar en helt annan historia för ett team som överväger produktion.
Tokens och agentsteg
Tokenförbrukning och antal verktygssteg ger dig en inblick i effektivitet. Vissa konfigurationer skriver och kör sina egna tester i stor utsträckning. På DeepSWE gjorde toppmodeller detta i så många som 85% av körningarna. Det självverifierande beteendet är en av de tydligaste markörerna som skiljer starka agenter från svagare.
Utvärderingskonfiguration
En topplistepoäng är konfigurationsspecifik. Modellen, agentharnessen, tillgängliga verktyg och exekveringsinställningar påverkar alla prestanda. Två körningar av samma modell med olika harnessar kan ge olika resultat.
Vilka AI-modeller presterar bäst på DeepSWE?
Tabellen nedan återspeglar den officiella DeepSWE v1.1-topplistan per den 22 september, 2026. Detta är konfigurationsspecifika resultat, inte universella rankningar. Alla poäng har ett 95%-igt konfidensintervall på ungefär ±3–4 procentenheter på en benchmark med 113 uppgifter.
Modell
DeepSWE v1.1 pass@1
GPT-6 Astra (xhigh)
74%
Gemini 3.8 Flash (high)
74%
Claude Opus 5 (max)
74%
GPT-5.6 Sol (max)
73%
Claude Fable 5 (xhigh)
70%
GLM-5.3 (max)
69%
Tre modeller på 74% låter som en trevägslikhet. Men konfidensintervall och konfigurationsskillnader gör den tolkningen skakig. Labben har fortsatt publicera DeepSWE 1.1-siffror för modeller som GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon och andra sedan den senaste officiella uppdateringen, så konkurrensbilden förändras snabbare än den officiella topplistan fångar. En eller två procentenheters skillnad mellan toppresterande är inte ett meningsfullt signalvärde, inte på en benchmark med 113 uppgifter och inte med tanke på bedömningsproblemen nedan.
DeepSWE jämfört med andra AI-kodningsbenchmarks
DeepSWE vs. SWE-bench
SWE-bench ramade in mjukvaruingenjörsutvärdering som att lösa riktiga GitHub-ärenden mot 2 294 uppgiftsinstanser utvunna från sammanslagna pull requests. Uppgifterna är verkliga, men det ursprunget skapar ett kontamineringsproblem: lösningar finns offentligt tillgängliga i samma repositories som modeller tränades på. DeepSWE:s originella uppgifter är skrivna specifikt för att undvika detta. Avvägningen är skala: 113 uppgifter mot tusentals.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro går längre än det ursprungliga SWE-bench, men det har ett betygsproblem som visade sig vara betydande. Datacurves granskning fann att SWE-bench Pros automatiserade bedömare avslog korrekta lösningar 24% av gångerna och accepterade felaktiga 8,5% av gångerna, vilket betyder att ungefär en tredjedel av dess pass/fail-beslut är tveksamma. Claude Opus visar också en tendens att återfinna guld-lösningar från git-historik i över 12% av SWE-bench Pro-försöken, något som DeepSWE:s shallow-clone-ansats förhindrar. SWE-bench Pros större antal uppgifter är en verklig fördel för statistisk säkerhet; DeepSWE:s renare bedömning är en fördel för resultatens giltighet. Ingen är en tydlig vinnare här.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 är ett benchmark med 66 uppgifter i terminalmiljöer över sju domäner: mjukvara, vetenskap, maskininlärning, drift, hårdvara, säkerhet och media. Där DeepSWE utvärderar mjukvaruingenjörsarbete på repository-nivå, utvärderar Terminal-Bench heltäckande tekniskt arbete i en terminal, och bara 18 av dess uppgifter är mjukvaruuppgifter. Terminal-Bench-poäng tillhör ett par av modell och harness, vilket gör det delvis till en verktygsjämförelse; DeepSWE håller harnessen fast och berättar om modellen. Båda har bedömts som Flawed av Epoch AI, där Terminal-Bench 4.0 har defekter i 30 av 66 uppgifter.
Hur tillförlitligt är DeepSWE?
På styrksidan: originella uppgifter minskar kontamineringsrisken avsevärt, de beteendebaserade verifierarna är mer träffsäkra än SWE-bench Pros, och publicerade trajektorier gör resultaten inspekterbara. Det oberoende benchmarkföretaget Artificial Analysis ersatte SWE-bench Pro med DeepSWE för sina index Intelligence och Coding Agent (en meningsfull rekommendation från en organisation utan intresse i Datacurves framgång).
På problemsidan: en oberoende granskning identifierade betygsdefekter i minst 23 av de 113 uppgifterna, vilket överstiger tröskeln för att märka benchmarken som Flawed. Granskningen publicerades den 7 september 2026 av Epoch AI som en del av deras oberoende Benchmark Reviews-program. Betygsdefekterna var mestadels dolda tester som kolliderade med tester agenten skrev, ett strukturellt problem där DeepSWE:s verifierare tillämpar inlämningen, återställer filer listade i testpatchen, kör sedan sviter från det inskickade repositoryt och betygsätter deras rapporter. Det lämnar viss testinfrastruktur under inlämningens kontroll.
Detta gör inte DeepSWE oanvändbart. Det gör precisa rankningar opålitliga. Den breda ordningen mellan modeller är troligen meningsfull; en skillnad på en eller två procentenheter mellan konfigurationer är det inte.
Vad DeepSWE berättar om AI-kodningsagenter
Modeller som presterar väl på DeepSWE skriver inte bara bättre funktioner. De navigerar i okända kodbaser, planerar flerstegsförändringar och självverifierar via tester. Varje AI-modellfamilj misslyckas också på sitt eget utmärkande sätt. Datacurve rapporterar att en stor andel av Claudes misslyckanden på DeepSWE följer ett "one branch shipped"-mönster: partiella implementationer som uppfyller vissa men inte alla krav. Det är ett annat felmönster än GPT:s misslyckanden, som återigen skiljer sig från Geminis.
Resoneringsinsats, kostnad och prestanda samverkar på sätt som inte förenklas snyggt. Steggränsen binder sällan: endast 67 av 7 174 betygsatta rollouts nådde taket. Fler tokens och fler steg löser inte konsekvent fler uppgifter, vilket är värt att veta innan du konfigurerar en agent för produktion.
Den hårdare sanningen är att benchmarkframsteg, hur verkliga de än är, inte fastslår att agenter självständigt kan underhålla komplexa produktionssystem. En pass rate på 74% på 113 noggrant utformade uppgifter säger något meningsfullt om relativ modellkapacitet. Det säger inte att en agent kan anförtros obevakad i en produktionskodbas, hantera oklara krav eller navigera de sociala dynamikerna i ett riktigt ingenjörsteam. De gapen mäts inte av något benchmark som finns i dag.
Slutsats
DeepSWE är en verklig förbättring jämfört med de benchmarks det designades för att ersätta. Originella uppgifter, beteendeverifiering och publicerade trajektorier gör det mer pålitligt än SWE-bench Pro för att jämföra framkantsmodeller på svårt ingenjörsarbete. DeepSWE:s pass rate spänner ungefär 70 procentenheter från sämst till bäst, jämfört med omkring 30 punkter på offentligt rapporterade SWE-bench Pro-siffror, och den bredare separationen är verklig och informativ.
Men topplistesiffror kräver eftertänksam läsning. Konfigurationen spelar enormt stor roll: resoneringsinsats, kostnad och val av harness flyttar alla poängen. Och den oberoende betygsgranskningen fann defekter i över 20% av uppgifterna, tillräckligt för att behandla precisa rankningar som vägledande snarare än slutgiltiga. Benchmarkdesign är fortsatt genuint svårt, och DeepSWE är ett ärligt försök på ett problem som ännu inte har en ren lösning.
Om du vill vässa de färdigheter som benchmarks som DeepSWE är utformade för att mäta, täcker vår kurs AI-Assisted Coding for Developers prompt engineering, felsökning och testarbetsflöden med AI-kodningsassistenter. Uppföljningskursen, Advanced AI-Assisted Coding for Developers, går vidare in i kodbasanalys, prestandaoptimering och säkerhet – den typ av flerstegsingenjörsarbete där dagens toppresterande agenter fortfarande kämpar.