Co kilka miesięcy pojawia się nowy benchmark kodowania z tą samą obietnicą: oryginalny, wolny od zanieczyszczeń, najwierniejsza jak dotąd miara inżynierii AI.
DeepSWE jest inny. Nie dlatego, że te twierdzenia są fałszywe, lecz dlatego, że stoi za nimi rzeczywisty materiał dowodowy — i dlatego, że Datacurve wyjątkowo szczerze wskazało, gdzie benchmark wciąż ma braki. Przyjrzyjmy się temu.
Czym jest DeepSWE?
DeepSWE to wolny od zanieczyszczeń benchmark kodowania od Datacurve, który testuje czołowe LLM-y na 113 oryginalnych, długohoryzontalnych zadaniach inżynierii oprogramowania w 91 repozytoriach i pięciu językach: TypeScript, Go, Python, JavaScript i Rust. Zadebiutował w maju jako pierwszy publiczny produkt Datacurve.
Dla jasności: DeepSWE to benchmark, nie model AI ani agent kodujący. Nie pisze kodu. Ocenia agentów, którzy to robią. Jego celem jest sprawdzenie, czy duże modele językowe potrafią zmierzyć się z rzeczywistymi, złożonymi zadaniami inżynierii oprogramowania, korzystając z oryginalnych problemów napisanych specjalnie na potrzeby benchmarku, a nie zaczerpniętych z wcześniej zmergowanych pull requestów na GitHubie.
W tym duchu DeepSWE wyraźnie oddziela generowanie kodu od sprawczości w kodowaniu. Generowanie kodu to wyprodukowanie funkcji w polu tekstowym. Sprawcze kodowanie oznacza czytanie repozytorium, rozumienie, jak elementy do siebie pasują, pisanie kodu współdziałającego z istniejącymi systemami, uruchamianie testów i iterowanie.
Jak działa DeepSWE
Agent oceniany w DeepSWE nie dostaje tylko promptu i nie pisze kodu w próżni. Działa w żywym środowisku wytwarzania oprogramowania:
- Agent otrzymuje opis zadania (średnio około 2158 znaków, mniej więcej połowa długości typowego promptu SWE-bench Pro).
- Bada repozytorium, nawigując po plikach i rozumiejąc bazę kodu.
- Modyfikuje kod, uruchamia odpowiednie polecenia i wykonuje testy.
- Przesyła swoją implementację.
- DeepSWE ocenia wynik za pomocą weryfikatora specyficznego dla zadania, który sprawdza, czy żądana funkcjonalność faktycznie została dostarczona.
- Wynik zasila ogólny wskaźnik pass rate modelu na benchmarku.
DeepSWE używa mini-swe-agent (harnessu stworzonego przez zespół z Princeton i Stanforda stojący za SWE-bench i SWE-agent), utrzymanego bez zmian dla każdego modelu. Warto podkreślić: wynik DeepSWE danego modelu odzwierciedla jego wydajność w konkretnej konfiguracji, a nie jakiś abstrakcyjny miernik umiejętności kodowania.
Co wyróżnia DeepSWE?
Benchmarków kodowania jest wiele i większość zaczyna się zlewać. Oto, co rzeczywiście odróżnia DeepSWE.
Oryginalne zadania inżynierii oprogramowania
Główną różnicą DeepSWE względem SWE-bench i jego wariantów jest kontrola zanieczyszczeń. Każde zadanie jest pisane od zera przez inżynierów Datacurve, a nie adaptowane z istniejących commitów lub pull requestów na GitHubie. Problem zanieczyszczeń jest prosty: jeśli model był trenowany na danych zawierających zarówno zgłoszony problem na GitHubie, jak i ostateczną poprawkę, to nie rozwiązuje on problemu, tylko odtwarza rozwiązanie z pamięci. DeepSWE wykonuje płytki klon bazowego commitu, więc nie ma zmergowanego hasha poprawki do odczytania — zamyka to lukę, którą dało się wykorzystać w SWE-bench Pro.
Długohoryzontalne problemy inżynierskie
Zadania w SWE-bench Pro wymagają średnio 120 linii kodu w pięciu plikach. Rozwiązania referencyjne w DeepSWE to średnio 668 dodanych linii w siedmiu plikach — około 5,5 razy więcej. To nie są poprawki jednej funkcji. To skoordynowane zmiany w wielu plikach, takie, które wymagają faktycznego zrozumienia, jak spina się baza kodu. Krótsze prompty, większe rozwiązania.
Weryfikacja niestandardowa
Każde zadanie jest oceniane przez ręcznie napisany weryfikator, który sprawdza żądaną funkcjonalność i akceptuje dowolną implementację, która ją dostarcza. To różni się od oceny testowej, gdzie kryterium jest zaliczenie konkretnych przypadków testowych. Weryfikatory DeepSWE sprawdzają zachowanie, a nie implementację. Gdy niezależny LLM ponownie przegląda ocenione przebiegi, nie zgadza się z weryfikatorem DeepSWE o rząd wielkości rzadziej niż z odziedziczonymi testami SWE-bench Pro (1,4% vs 32,4%).
Reprodukowalne ewaluacje
Rewizja v1.1 DeepSWE dodatkowo to wzmacnia, oceniając wyłącznie zacommitowany patch w czystym, odizolowanym kontenerze weryfikatora i prezentując bardziej naturalny workspace gita na mainie. Opublikowane trajektorie ewaluacji pozwalają każdemu prześledzić nie tylko wyniki, ale i rzeczywiste rozumowanie za nimi. Możesz przejrzeć każdy rollout w repozytorium GitHuba DeepSWE.
Jak działa tabela liderów DeepSWE
Tabela liderów na deepswe.datacurve.ai to nie tylko ranking. To tabela konfiguracji — i zrozumienie tego zmienia sposób jej czytania.
Wskaźnik zaliczeń
Kluczowa metryka to pass@1: odsetek zadań, które model rozwiązuje przy pierwszej próbie. Na wielu publicznych listach czołowe modele gromadzą się w wąskim przedziale. DeepSWE jest zbudowany tak, by odzwierciedlać to, jak deweloperzy faktycznie doświadczają agentów na co dzień — co oznacza znacznie szerszy rozrzut między najlepszymi a najsłabszymi.
Nakład rozumowania
Ten sam model może pojawiać się wielokrotnie z różnymi ustawieniami nakładu rozumowania (high, xhigh, max) i uzyskiwać istotnie różne wyniki. Wyższy nakład rozumowania na ogół oznacza większe zużycie tokenów i wyższy koszt na zadanie. Czy ten kompromis się opłaca, zależy od twojego przypadku użycia.
Koszt na zadanie
Benchmark śledzi efektywność tokenową i koszt. Model, który osiąga 70% przy koszcie 4 USD za zadanie, w porównaniu z takim, który osiąga 68% przy 1,50 USD za zadanie, opowiada zupełnie inną historię dla zespołu rozważającego wdrożenie produkcyjne.
Tokeny i kroki agenta
Zużycie tokenów i liczba kroków użycia narzędzi dają wgląd w efektywność. Niektóre konfiguracje intensywnie piszą i uruchamiają własne testy. W DeepSWE najlepsze modele robiły to nawet w 85% przebiegów. To samoweryfikujące zachowanie jest jednym z najjaśniejszych wyróżników silnych agentów względem słabszych.
Konfiguracja ewaluacji
Wynik w tabeli liderów jest specyficzny dla konfiguracji. Model, harness agenta, dostępne narzędzia i ustawienia wykonania — wszystko to wpływa na wydajność. Dwa przebiegi tego samego modelu z różnymi harnessami mogą dać różne rezultaty.
Które modele AI wypadają najlepiej w DeepSWE?
Poniższa tabela odzwierciedla oficjalną tabelę liderów DeepSWE v1.1 na dzień 22 września, 2026. To wyniki specyficzne dla konfiguracji, a nie uniwersalne rankingi. Wszystkie wyniki mają 95% przedział ufności rzędu ±3–4 punktów procentowych na benchmarku z 113 zadaniami.
|
Model
|
DeepSWE v1.1 pass@1
|
|
GPT-6 Astra (xhigh)
|
74%
|
|
Gemini 3.8 Flash (high)
|
74%
|
|
Claude Opus 5 (max)
|
74%
|
|
GPT-5.6 Sol (max)
|
73%
|
|
Claude Fable 5 (xhigh)
|
70%
|
|
GLM-5.3 (max)
|
69%
|
Trzy modele z wynikiem 74% brzmią jak trzystronny remis. Ale przedziały ufności i różnice w konfiguracji sprawiają, że taka interpretacja jest wątpliwa. Od ostatniej oficjalnej aktualizacji listy laboratoria publikują wyniki DeepSWE 1.1 dla modeli, w tym GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon i innych, więc obraz konkurencji zmienia się szybciej, niż oddaje to oficjalna tabela. Różnica jednego czy dwóch punktów procentowych między najlepszymi nie jest znaczącym sygnałem — nie przy 113 zadaniach i nie biorąc pod uwagę opisanych poniżej problemów z oceną.
DeepSWE a inne benchmarki kodowania AI
DeepSWE vs. SWE-bench
SWE-bench ujął ewaluację inżynierii oprogramowania jako rozwiązywanie rzeczywistych zgłoszeń na GitHubie na 2294 instancjach zadań wydobytych ze zmergowanych pull requestów. Zadania są prawdziwe, ale to źródło tworzy problem zanieczyszczeń: rozwiązania są publicznie dostępne w tych samych repozytoriach, na których trenowano modele. Oryginalne zadania DeepSWE są napisane specjalnie, by tego uniknąć. Kompromisem jest skala: 113 zadań versus tysiące.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro sięga dalej niż oryginalny SWE-bench, ale ma problem z oceną, który okazał się istotny. Audyt Datacurve wykazał, że automatyczni graderzy SWE-bench Pro odrzucali poprawne rozwiązania w 24% przypadków i akceptowali błędne w 8,5% przypadków — czyli mniej więcej jedna trzecia decyzji zaliczone/niezaliczone jest wątpliwa. Claude Opus wykazuje też tendencję do odzyskiwania złotych rozwiązań z historii gita w ponad 12% prób SWE-bench Pro, czemu podejście płytkiego klonowania w DeepSWE zapobiega. Większa liczba zadań w SWE-bench Pro to realna przewaga dla pewności statystycznej; czystsza ocena w DeepSWE to przewaga dla ważności wyników. Tu nie ma jednoznacznego zwycięzcy.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 to benchmark 66 zadań w środowiskach terminalowych w siedmiu domenach: software, nauka, uczenie maszynowe, operacje, hardware, bezpieczeństwo i media. Podczas gdy DeepSWE ocenia inżynierię na poziomie repozytorium, Terminal-Bench ocenia kompleksową pracę techniczną w terminalu i tylko 18 jego zadań dotyczy oprogramowania. Wyniki Terminal-Bench należą do pary model+harmonogram (harness), co czyni go częściowo porównaniem narzędzi; DeepSWE utrzymuje harness bez zmian i informuje o modelu. Oba zostały ocenione jako wadliwe przez Epoch AI, przy czym Terminal-Bench 4.0 ma wady w 30 z 66 zadań.
| | Terminal-Bench 4.0 |
|---|
| Źródło zadań | Wkład społeczności, przegląd opiekunów |
| Liczba zadań | 66 |
| Główny fokus | Kompleksowe zadania terminalowe, siedem domen |
| Ocenianie | Weryfikator sprawdza końcowy stan systemu |
| Ryzyko zanieczyszczeń | Niskie–umiarkowane |
Na ile wiarygodny jest DeepSWE?
Po stronie mocnych stron: oryginalne zadania znacząco redukują ryzyko zanieczyszczeń, weryfikatory behawioralne są dokładniejsze niż w SWE-bench Pro, a opublikowane trajektorie czynią wyniki możliwymi do wglądu. Niezależna firma benchmarkingowa Artificial Analysis zastąpiła SWE-bench Pro DeepSWE w swoich indeksach Intelligence i Coding Agent (istotna rekomendacja od organizacji, która nie ma udziału w sukcesie Datacurve).
Po stronie problemów: niezależna recenzja zidentyfikowała wady oceniania w co najmniej 23 z 113 zadań, przekraczając próg oznaczenia benchmarku jako wadliwy. Recenzję opublikowano 7 września 2026 r. przez Epoch AI w ramach niezależnego programu Benchmark Reviews. Wady ocen wynikały głównie z kolizji ukrytych testów z testami pisanymi przez agenta — strukturalny problem, w którym weryfikator DeepSWE aplikuje zgłoszenie, przywraca pliki wymienione w patchu testu, następnie uruchamia zestawy z przesłanego repozytorium i ocenia ich raporty. To zostawia część infrastruktury testowej pod kontrolą zgłoszenia.
To nie czyni DeepSWE bezużytecznym. To sprawia, że precyzyjne rankingi są niewiarygodne. Szeroki porządek modeli jest prawdopodobnie znaczący; różnica jednego–dwóch punktów procentowych między konfiguracjami — nie.
Co DeepSWE mówi nam o agentach kodujących AI
Modele, które dobrze wypadają w DeepSWE, nie tylko piszą lepsze funkcje. Nawigują po nieznanych bazach kodu, planują wieloetapowe zmiany i samodzielnie się weryfikują poprzez testy. Każda rodzina modeli AI również zawodzi na swój specyficzny sposób. Datacurve raportuje, że duża część porażek Claude’a w DeepSWE ma wzorzec „wysłano jedną gałąź”: częściowe implementacje spełniające część, ale nie wszystkie wymagania. To inny tryb porażki niż w GPT, a jeszcze inny niż w Gemini.
Nakład rozumowania, koszt i wydajność wchodzą w interakcję w sposób, który nie daje się prosto uprościć. Limit kroków rzadko wiąże: tylko 67 z 7174 ocenionych rolloutów osiągnęło limit. Więcej tokenów i więcej kroków nie zawsze oznacza rozwiązanie większej liczby zadań — warto to wiedzieć, zanim skonfigurujesz agenta do produkcji.
Trudniejsza prawda jest taka, że postęp na benchmarkach, choć realny, nie dowodzi, iż agenci mogą samodzielnie utrzymywać złożone systemy produkcyjne. Wskaźnik pass 74% na 113 starannie zaprojektowanych zadaniach mówi coś istotnego o względnych możliwościach modeli. Nie mówi, że agentowi można zaufać bez nadzoru w produkcyjnej bazie kodu, że poradzi sobie z niejasnymi wymaganiami czy że odnajdzie się w dynamice zespołu inżynierskiego. Tych luk nie mierzy żaden obecny benchmark.
Wnioski
DeepSWE to realne usprawnienie względem benchmarków, które miał zastąpić. Oryginalne zadania, weryfikacja behawioralna i opublikowane trajektorie sprawiają, że jest bardziej godny zaufania niż SWE-bench Pro do porównywania czołowych modeli przy trudnej pracy inżynierskiej. Wskaźniki pass DeepSWE rozciągają się mniej więcej na 70 punktów procentowych między najgorszymi a najlepszymi, wobec około 30 punktów w publicznie raportowanych wynikach SWE-bench Pro — i ta szersza separacja jest realna i informatywna.
Ale wyniki tabeli liderów wymagają uważnej lektury. Konfiguracja ma ogromne znaczenie: nakład rozumowania, koszt i wybór harnessu wszystkie przesuwają wyniki. A niezależna recenzja oceniania wykryła wady w ponad 20% zadań — dość, by traktować precyzyjne rankingi jako kierunkowe, a nie rozstrzygające. Projektowanie benchmarków wciąż jest naprawdę trudne, a DeepSWE to uczciwa próba rozwiązania problemu, który nie ma jeszcze czystego rozwiązania.
Jeśli chcesz szlifować umiejętności mierzone przez benchmarki takie jak DeepSWE, nasz kurs AI-Assisted Coding for Developers obejmuje inżynierię promptów, debugowanie i workflowy testowania z asystentami kodowania AI. Kurs kontynuacyjny, Advanced AI-Assisted Coding for Developers, wchodzi głębiej w analizę baz kodu, optymalizację wydajności i bezpieczeństwo — ten rodzaj wieloetapowej pracy inżynierskiej, z którym dziś nawet najlepiej punktujące agenty wciąż mają trudności.
Co kilka miesięcy pojawia się nowy benchmark kodowania z tą samą obietnicą: oryginalny, wolny od zanieczyszczeń, najwierniejsza jak dotąd miara inżynierii AI.
DeepSWE jest inny. Nie dlatego, że te twierdzenia są fałszywe, lecz dlatego, że stoi za nimi rzeczywisty materiał dowodowy — i dlatego, że Datacurve wyjątkowo szczerze wskazało, gdzie benchmark wciąż ma braki. Przyjrzyjmy się temu.
Czym jest DeepSWE?
DeepSWE to wolny od zanieczyszczeń benchmark kodowania od Datacurve, który testuje czołowe LLM-y na 113 oryginalnych, długohoryzontalnych zadaniach inżynierii oprogramowania w 91 repozytoriach i pięciu językach: TypeScript, Go, Python, JavaScript i Rust. Zadebiutował w maju jako pierwszy publiczny produkt Datacurve.
Dla jasności: DeepSWE to benchmark, nie model AI ani agent kodujący. Nie pisze kodu. Ocenia agentów, którzy to robią. Jego celem jest sprawdzenie, czy duże modele językowe potrafią zmierzyć się z rzeczywistymi, złożonymi zadaniami inżynierii oprogramowania, korzystając z oryginalnych problemów napisanych specjalnie na potrzeby benchmarku, a nie zaczerpniętych z wcześniej zmergowanych pull requestów na GitHubie.
W tym duchu DeepSWE wyraźnie oddziela generowanie kodu od sprawczości w kodowaniu. Generowanie kodu to wyprodukowanie funkcji w polu tekstowym. Sprawcze kodowanie oznacza czytanie repozytorium, rozumienie, jak elementy do siebie pasują, pisanie kodu współdziałającego z istniejącymi systemami, uruchamianie testów i iterowanie.
Jak działa DeepSWE
Agent oceniany w DeepSWE nie dostaje tylko promptu i nie pisze kodu w próżni. Działa w żywym środowisku wytwarzania oprogramowania:
DeepSWE używa mini-swe-agent (harnessu stworzonego przez zespół z Princeton i Stanforda stojący za SWE-bench i SWE-agent), utrzymanego bez zmian dla każdego modelu. Warto podkreślić: wynik DeepSWE danego modelu odzwierciedla jego wydajność w konkretnej konfiguracji, a nie jakiś abstrakcyjny miernik umiejętności kodowania.
Co wyróżnia DeepSWE?
Benchmarków kodowania jest wiele i większość zaczyna się zlewać. Oto, co rzeczywiście odróżnia DeepSWE.
Oryginalne zadania inżynierii oprogramowania
Główną różnicą DeepSWE względem SWE-bench i jego wariantów jest kontrola zanieczyszczeń. Każde zadanie jest pisane od zera przez inżynierów Datacurve, a nie adaptowane z istniejących commitów lub pull requestów na GitHubie. Problem zanieczyszczeń jest prosty: jeśli model był trenowany na danych zawierających zarówno zgłoszony problem na GitHubie, jak i ostateczną poprawkę, to nie rozwiązuje on problemu, tylko odtwarza rozwiązanie z pamięci. DeepSWE wykonuje płytki klon bazowego commitu, więc nie ma zmergowanego hasha poprawki do odczytania — zamyka to lukę, którą dało się wykorzystać w SWE-bench Pro.
Długohoryzontalne problemy inżynierskie
Zadania w SWE-bench Pro wymagają średnio 120 linii kodu w pięciu plikach. Rozwiązania referencyjne w DeepSWE to średnio 668 dodanych linii w siedmiu plikach — około 5,5 razy więcej. To nie są poprawki jednej funkcji. To skoordynowane zmiany w wielu plikach, takie, które wymagają faktycznego zrozumienia, jak spina się baza kodu. Krótsze prompty, większe rozwiązania.
Weryfikacja niestandardowa
Każde zadanie jest oceniane przez ręcznie napisany weryfikator, który sprawdza żądaną funkcjonalność i akceptuje dowolną implementację, która ją dostarcza. To różni się od oceny testowej, gdzie kryterium jest zaliczenie konkretnych przypadków testowych. Weryfikatory DeepSWE sprawdzają zachowanie, a nie implementację. Gdy niezależny LLM ponownie przegląda ocenione przebiegi, nie zgadza się z weryfikatorem DeepSWE o rząd wielkości rzadziej niż z odziedziczonymi testami SWE-bench Pro (1,4% vs 32,4%).
Reprodukowalne ewaluacje
Rewizja v1.1 DeepSWE dodatkowo to wzmacnia, oceniając wyłącznie zacommitowany patch w czystym, odizolowanym kontenerze weryfikatora i prezentując bardziej naturalny workspace gita na mainie. Opublikowane trajektorie ewaluacji pozwalają każdemu prześledzić nie tylko wyniki, ale i rzeczywiste rozumowanie za nimi. Możesz przejrzeć każdy rollout w repozytorium GitHuba DeepSWE.
Jak działa tabela liderów DeepSWE
Tabela liderów na deepswe.datacurve.ai to nie tylko ranking. To tabela konfiguracji — i zrozumienie tego zmienia sposób jej czytania.
Wskaźnik zaliczeń
Kluczowa metryka to pass@1: odsetek zadań, które model rozwiązuje przy pierwszej próbie. Na wielu publicznych listach czołowe modele gromadzą się w wąskim przedziale. DeepSWE jest zbudowany tak, by odzwierciedlać to, jak deweloperzy faktycznie doświadczają agentów na co dzień — co oznacza znacznie szerszy rozrzut między najlepszymi a najsłabszymi.
Nakład rozumowania
Ten sam model może pojawiać się wielokrotnie z różnymi ustawieniami nakładu rozumowania (high, xhigh, max) i uzyskiwać istotnie różne wyniki. Wyższy nakład rozumowania na ogół oznacza większe zużycie tokenów i wyższy koszt na zadanie. Czy ten kompromis się opłaca, zależy od twojego przypadku użycia.
Koszt na zadanie
Benchmark śledzi efektywność tokenową i koszt. Model, który osiąga 70% przy koszcie 4 USD za zadanie, w porównaniu z takim, który osiąga 68% przy 1,50 USD za zadanie, opowiada zupełnie inną historię dla zespołu rozważającego wdrożenie produkcyjne.
Tokeny i kroki agenta
Zużycie tokenów i liczba kroków użycia narzędzi dają wgląd w efektywność. Niektóre konfiguracje intensywnie piszą i uruchamiają własne testy. W DeepSWE najlepsze modele robiły to nawet w 85% przebiegów. To samoweryfikujące zachowanie jest jednym z najjaśniejszych wyróżników silnych agentów względem słabszych.
Konfiguracja ewaluacji
Wynik w tabeli liderów jest specyficzny dla konfiguracji. Model, harness agenta, dostępne narzędzia i ustawienia wykonania — wszystko to wpływa na wydajność. Dwa przebiegi tego samego modelu z różnymi harnessami mogą dać różne rezultaty.
Które modele AI wypadają najlepiej w DeepSWE?
Poniższa tabela odzwierciedla oficjalną tabelę liderów DeepSWE v1.1 na dzień 22 września, 2026. To wyniki specyficzne dla konfiguracji, a nie uniwersalne rankingi. Wszystkie wyniki mają 95% przedział ufności rzędu ±3–4 punktów procentowych na benchmarku z 113 zadaniami.
Model
DeepSWE v1.1 pass@1
GPT-6 Astra (xhigh)
74%
Gemini 3.8 Flash (high)
74%
Claude Opus 5 (max)
74%
GPT-5.6 Sol (max)
73%
Claude Fable 5 (xhigh)
70%
GLM-5.3 (max)
69%
Trzy modele z wynikiem 74% brzmią jak trzystronny remis. Ale przedziały ufności i różnice w konfiguracji sprawiają, że taka interpretacja jest wątpliwa. Od ostatniej oficjalnej aktualizacji listy laboratoria publikują wyniki DeepSWE 1.1 dla modeli, w tym GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon i innych, więc obraz konkurencji zmienia się szybciej, niż oddaje to oficjalna tabela. Różnica jednego czy dwóch punktów procentowych między najlepszymi nie jest znaczącym sygnałem — nie przy 113 zadaniach i nie biorąc pod uwagę opisanych poniżej problemów z oceną.
DeepSWE a inne benchmarki kodowania AI
DeepSWE vs. SWE-bench
SWE-bench ujął ewaluację inżynierii oprogramowania jako rozwiązywanie rzeczywistych zgłoszeń na GitHubie na 2294 instancjach zadań wydobytych ze zmergowanych pull requestów. Zadania są prawdziwe, ale to źródło tworzy problem zanieczyszczeń: rozwiązania są publicznie dostępne w tych samych repozytoriach, na których trenowano modele. Oryginalne zadania DeepSWE są napisane specjalnie, by tego uniknąć. Kompromisem jest skala: 113 zadań versus tysiące.
DeepSWE vs. SWE-bench Pro
SWE-bench Pro sięga dalej niż oryginalny SWE-bench, ale ma problem z oceną, który okazał się istotny. Audyt Datacurve wykazał, że automatyczni graderzy SWE-bench Pro odrzucali poprawne rozwiązania w 24% przypadków i akceptowali błędne w 8,5% przypadków — czyli mniej więcej jedna trzecia decyzji zaliczone/niezaliczone jest wątpliwa. Claude Opus wykazuje też tendencję do odzyskiwania złotych rozwiązań z historii gita w ponad 12% prób SWE-bench Pro, czemu podejście płytkiego klonowania w DeepSWE zapobiega. Większa liczba zadań w SWE-bench Pro to realna przewaga dla pewności statystycznej; czystsza ocena w DeepSWE to przewaga dla ważności wyników. Tu nie ma jednoznacznego zwycięzcy.
DeepSWE vs. Terminal-Bench
Terminal-Bench 4.0 to benchmark 66 zadań w środowiskach terminalowych w siedmiu domenach: software, nauka, uczenie maszynowe, operacje, hardware, bezpieczeństwo i media. Podczas gdy DeepSWE ocenia inżynierię na poziomie repozytorium, Terminal-Bench ocenia kompleksową pracę techniczną w terminalu i tylko 18 jego zadań dotyczy oprogramowania. Wyniki Terminal-Bench należą do pary model+harmonogram (harness), co czyni go częściowo porównaniem narzędzi; DeepSWE utrzymuje harness bez zmian i informuje o modelu. Oba zostały ocenione jako wadliwe przez Epoch AI, przy czym Terminal-Bench 4.0 ma wady w 30 z 66 zadań.
Na ile wiarygodny jest DeepSWE?
Po stronie mocnych stron: oryginalne zadania znacząco redukują ryzyko zanieczyszczeń, weryfikatory behawioralne są dokładniejsze niż w SWE-bench Pro, a opublikowane trajektorie czynią wyniki możliwymi do wglądu. Niezależna firma benchmarkingowa Artificial Analysis zastąpiła SWE-bench Pro DeepSWE w swoich indeksach Intelligence i Coding Agent (istotna rekomendacja od organizacji, która nie ma udziału w sukcesie Datacurve).
Po stronie problemów: niezależna recenzja zidentyfikowała wady oceniania w co najmniej 23 z 113 zadań, przekraczając próg oznaczenia benchmarku jako wadliwy. Recenzję opublikowano 7 września 2026 r. przez Epoch AI w ramach niezależnego programu Benchmark Reviews. Wady ocen wynikały głównie z kolizji ukrytych testów z testami pisanymi przez agenta — strukturalny problem, w którym weryfikator DeepSWE aplikuje zgłoszenie, przywraca pliki wymienione w patchu testu, następnie uruchamia zestawy z przesłanego repozytorium i ocenia ich raporty. To zostawia część infrastruktury testowej pod kontrolą zgłoszenia.
To nie czyni DeepSWE bezużytecznym. To sprawia, że precyzyjne rankingi są niewiarygodne. Szeroki porządek modeli jest prawdopodobnie znaczący; różnica jednego–dwóch punktów procentowych między konfiguracjami — nie.
Co DeepSWE mówi nam o agentach kodujących AI
Modele, które dobrze wypadają w DeepSWE, nie tylko piszą lepsze funkcje. Nawigują po nieznanych bazach kodu, planują wieloetapowe zmiany i samodzielnie się weryfikują poprzez testy. Każda rodzina modeli AI również zawodzi na swój specyficzny sposób. Datacurve raportuje, że duża część porażek Claude’a w DeepSWE ma wzorzec „wysłano jedną gałąź”: częściowe implementacje spełniające część, ale nie wszystkie wymagania. To inny tryb porażki niż w GPT, a jeszcze inny niż w Gemini.
Nakład rozumowania, koszt i wydajność wchodzą w interakcję w sposób, który nie daje się prosto uprościć. Limit kroków rzadko wiąże: tylko 67 z 7174 ocenionych rolloutów osiągnęło limit. Więcej tokenów i więcej kroków nie zawsze oznacza rozwiązanie większej liczby zadań — warto to wiedzieć, zanim skonfigurujesz agenta do produkcji.
Trudniejsza prawda jest taka, że postęp na benchmarkach, choć realny, nie dowodzi, iż agenci mogą samodzielnie utrzymywać złożone systemy produkcyjne. Wskaźnik pass 74% na 113 starannie zaprojektowanych zadaniach mówi coś istotnego o względnych możliwościach modeli. Nie mówi, że agentowi można zaufać bez nadzoru w produkcyjnej bazie kodu, że poradzi sobie z niejasnymi wymaganiami czy że odnajdzie się w dynamice zespołu inżynierskiego. Tych luk nie mierzy żaden obecny benchmark.
Wnioski
DeepSWE to realne usprawnienie względem benchmarków, które miał zastąpić. Oryginalne zadania, weryfikacja behawioralna i opublikowane trajektorie sprawiają, że jest bardziej godny zaufania niż SWE-bench Pro do porównywania czołowych modeli przy trudnej pracy inżynierskiej. Wskaźniki pass DeepSWE rozciągają się mniej więcej na 70 punktów procentowych między najgorszymi a najlepszymi, wobec około 30 punktów w publicznie raportowanych wynikach SWE-bench Pro — i ta szersza separacja jest realna i informatywna.
Ale wyniki tabeli liderów wymagają uważnej lektury. Konfiguracja ma ogromne znaczenie: nakład rozumowania, koszt i wybór harnessu wszystkie przesuwają wyniki. A niezależna recenzja oceniania wykryła wady w ponad 20% zadań — dość, by traktować precyzyjne rankingi jako kierunkowe, a nie rozstrzygające. Projektowanie benchmarków wciąż jest naprawdę trudne, a DeepSWE to uczciwa próba rozwiązania problemu, który nie ma jeszcze czystego rozwiązania.
Jeśli chcesz szlifować umiejętności mierzone przez benchmarki takie jak DeepSWE, nasz kurs AI-Assisted Coding for Developers obejmuje inżynierię promptów, debugowanie i workflowy testowania z asystentami kodowania AI. Kurs kontynuacyjny, Advanced AI-Assisted Coding for Developers, wchodzi głębiej w analizę baz kodu, optymalizację wydajności i bezpieczeństwo — ten rodzaj wieloetapowej pracy inżynierskiej, z którym dziś nawet najlepiej punktujące agenty wciąż mają trudności.