DeepSWE erklärt: So funktioniert der KI-Coding-Benchmark

Alle paar Monate taucht ein neuer Coding-Benchmark mit demselben Versprechen auf: original, kontaminationsfrei, die bislang ehrlichste Messlatte für KI-Engineering.

DeepSWE ist anders. Nicht, weil diese Behauptungen falsch wären, sondern weil es dafür belastbare Belege gibt – und weil Datacurve außergewöhnlich offen darlegt, wo der Benchmark noch Schwächen hat. Schauen wir genauer hin.

Was ist DeepSWE?

DeepSWE ist ein kontaminationsfreier Coding-Benchmark von Datacurve. Er testet führende LLMs an 113 originalen, langatmigen Software-Engineering-Aufgaben aus 91 Repositories und fünf Sprachen: TypeScript, Go, Python, JavaScript und Rust. Er erschien im Mai als erstes öffentliches Produkt von Datacurve.

Wichtig: DeepSWE ist ein Benchmark, kein KI-Modell und kein Coding-Agent. Er schreibt keinen Code, sondern bewertet Agenten, die es tun. Ziel ist zu messen, ob große Sprachmodelle komplexe Real-World-Softwareaufgaben bewältigen können – mit eigens für den Benchmark erstellten Problemen statt aus bereits gemergten GitHub-Pull-Requests entnommenen Fällen.

Dafür zieht DeepSWE eine klare Linie zwischen Codegenerierung und agentischem Codieren. Codegenerierung ist das Produzieren einer Funktion in ein Textfeld. Agentisches Codieren heißt: ein Repository lesen, die Architektur verstehen, Code schreiben, der mit bestehenden Systemen interagiert, Tests ausführen und iterieren.

So funktioniert DeepSWE

Ein auf DeepSWE bewerteter Agent bekommt nicht einfach einen Prompt und schreibt Code ins Leere. Er arbeitet in einer echten Software-Entwicklungsumgebung:

1. Der Agent erhält eine Aufgabenbeschreibung (im Schnitt ca. 2.158 Zeichen, etwa halb so lang wie ein typischer SWE-bench-Pro-Prompt).
2. Er inspiziert das Repository, navigiert durch Dateien und versteht die Codebasis.
3. Er ändert Code, führt relevante Befehle aus und startet Tests.
4. Er reicht seine Implementierung ein.
5. DeepSWE bewertet das Ergebnis mit einem aufgabenspezifischen Verifier, der prüft, ob die geforderte Funktionalität tatsächlich vorhanden ist.
6. Das Ergebnis fließt in die Gesamterfolgsquote des Modells auf dem Benchmark ein.

DeepSWE verwendet mini-swe-agent (das von den Princeton- und Stanford-Teams hinter SWE-bench und SWE-agent entwickelte Harness) und hält es für alle Modelle konstant. Wichtig: Ein DeepSWE-Score eines Modells spiegelt die Leistung unter einer konkreten Konfiguration wider – nicht ein abstraktes Maß für Coding-Fähigkeiten.

Was macht DeepSWE anders?

Es gibt viele Coding-Benchmarks, und viele verschwimmen mittlerweile. Das unterscheidet DeepSWE wirklich.

Originale Software-Engineering-Aufgaben

Der größte Unterschied zu SWE-bench und Varianten liegt in der Kontaminationskontrolle. Jede Aufgabe wird von Datacurves Engineers von Grund auf neu geschrieben, nicht aus bestehenden GitHub-Commits oder Pull-Requests adaptiert. Das Kontaminationsrisiko ist offensichtlich: Wurde ein Modell auf Daten trainiert, die sowohl das GitHub-Issue als auch den späteren Fix enthalten, löst es das Problem nicht, sondern ruft eine Lösung ab. DeepSWE shallow-klont den Basis-Commit, sodass kein gemergter Fix-Hash auslesbar ist – eine Lücke, die auf SWE-bench Pro ausnutzbar war.

Langfristige Engineering-Probleme

SWE-bench-Pro-Aufgaben verlangen im Schnitt 120 Codezeilen über fünf Dateien. DeepSWE-Referenzlösungen kommen im Mittel auf 668 hinzugefügte Zeilen in sieben Dateien – rund 5,5-mal größer. Das sind keine Ein-Funktions-Fixes, sondern abgestimmte Änderungen über mehrere Dateien hinweg, die ein echtes Verständnis der Codebasis erfordern. Kürzere Prompts, größere Lösungen.

Maßgeschneiderte Verifikation

Jede Aufgabe wird von einem handgeschriebenen Verifier bewertet, der die gewünschte Funktionalität prüft und jede Implementierung akzeptiert, die sie liefert. Das unterscheidet sich von testbasierter Bewertung, bei der das Bestehen spezifischer Testfälle zählt. DeepSWE-Verifier prüfen Verhalten, nicht die Implementierung. Lässt ein unabhängiges LLM bewertete Läufe nachprüfen, widerspricht es DeepSWE deutlich seltener als den geerbten Tests von SWE-bench Pro (1,4% vs. 32,4%).

Reproduzierbare Auswertungen

Die Überarbeitung v1.1 härtet dies weiter ab: Bewertet wird nur der committete Patch in einem sauberen, isolierten Verifier-Container, und auf main präsentiert sich ein natürlicheres Git-Workspace. Veröffentlichte Evaluationstrajektorien erlauben es, nicht nur die Scores, sondern auch die zugrunde liegende Entscheidungsfindung nachzuvollziehen. Alle Rollouts lassen sich im DeepSWE-GitHub-Repository durchsuchen.

So funktioniert das DeepSWE-Leaderboard

Das Leaderboard auf deepswe.datacurve.ai ist nicht nur eine Rangliste. Es ist eine Konfigurationstabelle – und wer das versteht, liest sie anders.

Pass-Rate

Die Kernmetrik ist pass@1: der Anteil der Aufgaben, die das Modell im ersten Versuch löst. Auf vielen öffentlichen Leaderboards drängen sich Top-Modelle in einem engen Band. DeepSWE bildet ab, wie Entwickler Agenten im Alltag erleben – mit deutlich größerer Spreizung zwischen den Besten und den Schwächsten.

Reasoning-Aufwand

Dasselbe Modell kann mit unterschiedlichen Reasoning-Aufwandsstufen (high, xhigh, max) mehrfach erscheinen und spürbar unterschiedliche Scores liefern. Mehr Aufwand bedeutet in der Regel mehr Tokenverbrauch und höhere Kosten pro Aufgabe. Ob sich der Trade-off lohnt, hängt von deinem Use Case ab.

Kosten pro Aufgabe

Der Benchmark verfolgt Token-Effizienz und Kosten. Ein Modell mit 70% für 4 US-Dollar pro Aufgabe erzählt eine andere Geschichte als eines mit 68% für 1,50 US-Dollar – vor allem, wenn ein Team an produktiven Einsatz denkt.

Tokens und Agent-Schritte

Tokenverbrauch und die Anzahl der Tool-/Schritt-Verwendungen geben Einblick in die Effizienz. Manche Konfigurationen schreiben und laufen stark über eigene Tests. Auf DeepSWE taten das Top-Modelle in bis zu 85% der Läufe. Dieses Selbstverifikationsverhalten ist einer der klarsten Marker, die starke von schwächeren Agenten trennen.

Evaluationskonfiguration

Ein Leaderboard-Score ist immer konfigurationsspezifisch. Modell, Agent-Harness, verfügbare Tools und Ausführungseinstellungen beeinflussen die Leistung. Zwei Läufe desselben Modells mit unterschiedlichen Harnesses können verschiedene Ergebnisse liefern. 

Welche KI-Modelle schneiden auf DeepSWE am besten ab?

Die folgende Tabelle spiegelt das offizielle DeepSWE-v1.1-Leaderboard vom 22. September 2026 wider. Das sind konfigurationsspezifische Ergebnisse, keine universellen Rangfolgen. Alle Scores haben auf einem 113-Aufgaben-Benchmark ein 95%-Konfidenzintervall von etwa ±3–4 Prozentpunkten.

Drei Modelle mit 74% klingen nach einem Dreier-Unentschieden. Doch Konfidenzintervalle und Konfigurationsunterschiede machen diese Lesart wacklig. Seit dem letzten offiziellen Update veröffentlichen Labs weiter DeepSWE-1.1-Zahlen für Modelle wie GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon und andere – das Wettbewerbsbild ändert sich also schneller, als das offizielle Board es abbildet. Ein oder zwei Prozentpunkte Abstand zwischen Top-Performern sind kein belastbares Signal – nicht bei 113 Aufgaben und nicht angesichts der unten beschriebenen Bewertungsprobleme.

DeepSWE im Vergleich zu anderen KI-Coding-Benchmarks

DeepSWE vs. SWE-bench

SWE-bench hat Software-Engineering-Evaluation als Lösen realer GitHub-Issues aufgesetzt – mit 2.294 Aufgabeninstanzen aus gemergten Pull-Requests. Die Aufgaben sind real, aber genau das erzeugt ein Kontaminationsproblem: Lösungen sind in denselben Repositories öffentlich, auf denen Modelle trainiert wurden. DeepSWE vermeidet das mit originalen Aufgaben. Der Trade-off ist der Umfang: 113 Aufgaben statt Tausender.

DeepSWE vs. SWE-bench Pro

SWE-bench Pro geht weiter als das Original, hat aber ein Bewertungsproblem, das erheblich ausfiel. Datacurves Audit fand, dass die automatischen Grader von SWE-bench Pro korrekte Lösungen in 24% der Fälle ablehnten und falsche in 8,5% akzeptierten – etwa ein Drittel der Pass/Fail-Entscheidungen ist fragwürdig. Claude Opus zeigt zudem in über 12% der SWE-bench-Pro-Trials die Tendenz, Goldlösungen aus der Git-Historie zu rekonstruieren – etwas, das DeepSWE per Shallow-Clone unterbindet. Die größere Aufgabenanzahl von SWE-bench Pro ist ein Vorteil für statistische Sicherheit; DeepSWEs sauberere Bewertung ist ein Vorteil für die Validität. Ein klarer Sieger ist das nicht.

DeepSWE vs. Terminal-Bench

Terminal-Bench 4.0 ist ein Benchmark mit 66 Aufgaben in Terminal-Umgebungen über sieben Domänen: Software, Wissenschaft, Machine Learning, Operations, Hardware, Security und Medien. Während DeepSWE Software-Engineering auf Repository-Ebene bewertet, misst Terminal-Bench End-to-End-Technikarbeit im Terminal – und nur 18 seiner Aufgaben sind Softwareaufgaben. Terminal-Bench-Scores gelten für ein Modell-und-Harness-Paar und sind damit teils ein Tool-Vergleich; DeepSWE hält das Harness konstant und sagt dir etwas über das Modell. Beide wurden von Epoch AI als Flawed eingestuft, Terminal-Bench 4.0 mit Mängeln in 30 von 66 Aufgaben.

Wie zuverlässig ist DeepSWE?

Auf der Haben-Seite: Originale Aufgaben reduzieren das Kontaminationsrisiko deutlich, die verhaltensbasierten Verifier sind genauer als die von SWE-bench Pro, und veröffentlichte Trajektorien machen Ergebnisse nachvollziehbar. Das unabhängige Benchmark-Unternehmen Artificial Analysis hat SWE-bench Pro zugunsten von DeepSWE in seinen Intelligence- und Coding-Agent-Indizes ersetzt – ein bemerkenswertes Votum einer Organisation ohne Eigeninteresse an Datacurves Erfolg.

Auf der Problemseite: Eine unabhängige Prüfung identifizierte Bewertungsmängel in mindestens 23 der 113 Aufgaben – genug für die Einstufung als Flawed. Die Review wurde am 7. September 2026 von Epoch AI im Rahmen des unabhängigen Benchmark-Reviews-Programms veröffentlicht. Die Mängel betrafen meist versteckte Tests, die mit vom Agenten geschriebenen Tests kollidierten – ein strukturelles Thema: DeepSWE’s Verifier wendet die Submission an, stellt Dateien aus dem Test-Patch wieder her, führt dann die Suiten aus dem eingereichten Repository aus und bewertet deren Reports. Dadurch bleibt ein Teil der Testinfrastruktur unter Kontrolle der Submission.

Das macht DeepSWE nicht nutzlos, aber präzise Rangfolgen unzuverlässig. Die grobe Reihenfolge der Modelle ist wahrscheinlich aussagekräftig; ein bis zwei Prozentpunkte Unterschied zwischen Konfigurationen sind es nicht.

Was uns DeepSWE über KI-Coding-Agenten verrät

Modelle, die auf DeepSWE gut abschneiden, schreiben nicht nur bessere Funktionen. Sie navigieren unbekannte Codebasen, planen mehrstufige Änderungen und verifizieren sich über Tests selbst. Jede Modellfamilie scheitert zudem auf eigene Art. Datacurve berichtet, dass ein großer Teil von Claudes Fehlschlägen einem Muster „ein Branch ausgeliefert“ folgt: Teilimplementierungen, die einige, aber nicht alle Anforderungen erfüllen. Das unterscheidet sich von GPTs Fehlschlägen – und wiederum von Gemini.

Reasoning-Aufwand, Kosten und Performance greifen ineinander, aber nicht immer geradlinig. Das Schrittlimit greift selten: Nur 67 von 7.174 bewerteten Rollouts stießen ans Cap. Mehr Tokens und mehr Schritte lösen nicht konsistent mehr Aufgaben – eine wichtige Erkenntnis, bevor du einen Agenten für die Produktion konfigurierst.

Die unbequeme Wahrheit: So real der Benchmark-Fortschritt ist, er beweist nicht, dass Agenten komplexe produktive Systeme eigenständig warten können. Eine Pass-Rate von 74% bei 113 sorgfältig designten Aufgaben sagt etwas über relative Modelfähigkeit. Sie sagt nicht, dass ein Agent unbeaufsichtigt in einer produktiven Codebasis arbeiten, mit unklaren Anforderungen umgehen oder die sozialen Dynamiken eines realen Engineering-Teams navigieren kann. Diese Lücken misst derzeit kein Benchmark.

Fazit

DeepSWE ist eine echte Verbesserung gegenüber den Benchmarks, die es ablösen soll. Originale Aufgaben, verhaltensbasierte Verifikation und veröffentlichte Trajektorien machen es für den Vergleich von Frontier-Modellen bei harten Engineering-Aufgaben vertrauenswürdiger als SWE-bench Pro. DeepSWE-Passraten reichen von den schwächsten bis zu den besten Modellen über rund 70 Prozentpunkte, gegenüber etwa 30 Punkten bei öffentlich gemeldeten SWE-bench-Pro-Scores – diese größere Spreizung ist real und informativ.

Aber Leaderboard-Ergebnisse brauchen eine sorgfältige Lektüre. Die Konfiguration zählt enorm: Reasoning-Aufwand, Kosten und Harness-Wahl verschieben die Scores. Und die unabhängige Bewertungsprüfung fand Mängel in über 20% der Aufgaben – genug, um präzise Rangfolgen eher als Richtungshinweise denn als endgültig zu betrachten. Benchmark-Design bleibt wirklich schwierig, und DeepSWE ist ein ehrlicher Versuch, ein Problem zu lösen, das noch keine saubere Lösung hat.

Wenn du die Kompetenzen schärfen willst, die Benchmarks wie DeepSWE messen, deckt unser Kurs AI-Assisted Coding for Developers Prompt-Engineering, Debugging und Test-Workflows mit KI-Coding-Assistenten ab. Der Folgekurs Advanced AI-Assisted Coding for Developers geht tiefer in Codebase-Analyse, Performance-Optimierung und Security – genau die mehrstufige Engineering-Arbeit, mit der selbst heutige Top-Agenten noch ringen.