DeepSWE Açıklaması: Yapay Zekâ Kodlama Kıyaslaması Nasıl Çalışır

Her birkaç ayda bir, aynı vaadi taşıyan yeni bir kodlama kıyaslaması çıkar: özgün, bulaşmasız, şimdiye kadarki en gerçekçi yapay zekâ mühendisliği ölçütü.

DeepSWE farklı. Bu iddialar yanlış olduğu için değil, arkalarında somut kanıt olduğu ve Datacurve kıyaslamanın nerelerde eksik kaldığı konusunda olağanüstü derecede açık davrandığı için. Bir göz atalım.

DeepSWE Nedir?

DeepSWE, Datacurve tarafından geliştirilen ve TypeScript, Go, Python, JavaScript ve Rust olmak üzere beş dilde 91 depo genelinde 113 özgün, uzun vadeli yazılım mühendisliği görevinde sınır LLM'leri test eden bulaşmasız bir kodlama kıyaslamasıdır. Geçtiğimiz mayıs ayında Datacurve'un ilk halka açık ürünü olarak yayımlandı.

Açık olmak gerekirse, DeepSWE bir kıyaslama aracıdır, bir yapay zekâ modeli veya kodlama ajanı değildir. Kod yazmaz. Kod yazan ajanları değerlendirir. Amacı, büyük dil modellerinin, daha önce birleştirilmiş GitHub çekme isteklerinden derlenmek yerine, kıyaslama için özel olarak yazılmış özgün problemleri kullanarak gerçek dünya, karmaşık yazılım mühendisliği görevlerini ele alıp alamadığını ölçmektir.

Bu amaçla DeepSWE, kod üretimi ile ajansal (agentic) kodlama arasında net bir çizgi çizer. Kod üretimi, bir metin kutusunda bir fonksiyon üretmektir. Ajansal kodlama ise bir depoyu okumak, parçaların nasıl bir araya geldiğini anlamak, mevcut sistemlerle etkileşen kod yazmak, testleri çalıştırmak ve yinelemektir.

DeepSWE Nasıl Çalışır?

DeepSWE üzerinde değerlendirilen bir ajan yalnızca bir komut alıp boşluğa kod yazmaz. Canlı bir yazılım geliştirme ortamında çalışır:

1. Ajan bir görev açıklaması alır (ortalama yaklaşık 2.158 karakter; tipik bir SWE-bench Pro isteminin kabaca yarısı uzunlukta).
2. Depoyu inceler, dosyalar arasında gezinir ve kod tabanını anlar.
3. Kodu değiştirir, ilgili komutları çalıştırır ve testleri yürütür.
4. Uygulamasını gönderir.
5. DeepSWE, istenen işlevselliğin gerçekten mevcut olup olmadığını kontrol eden göreve özgü bir doğrulayıcıyla sonucu değerlendirir.
6. Sonuç, modelin kıyaslamadaki genel geçiş oranına (pass rate) yansır.

DeepSWE, SWE-bench ve SWE-agent'ın arkasındaki Princeton ve Stanford ekibinin geliştirdiği mini-swe-agent (koşum takımı) kullanır ve tüm modellerde sabit tutulur. Önemli bir not: Bir modelin DeepSWE puanı, soyut bir kodlama yeteneği ölçüsü değil, belirli bir yapılandırma altındaki performansını yansıtır.

DeepSWE'yi Farklı Kılan Nedir?

Çok sayıda kodlama kıyaslaması var ve çoğu birbirine benzemeye başladı. DeepSWE'yi gerçekten farklı kılanlar şunlar.

Özgün yazılım mühendisliği görevleri

DeepSWE'nin SWE-bench ve türevlerinden temel farkı, bulaşma kontrolüdür. Her görev, mevcut GitHub commit'leri veya çekme isteklerinden uyarlanmamış, Datacurve mühendisleri tarafından sıfırdan yazılmıştır. Bulaşma endişesi açıktır: Bir model, hem GitHub sorusunu hem de nihai düzeltmeyi içeren verilerle eğitildiyse, problemi çözmüyor, çözümü hatırlıyordur. DeepSWE, temel commit'i sığ klonlayarak okunacak birleştirilmiş düzeltme karmasını ortadan kaldırır; bu da SWE-bench Pro'da kullanılabilen bir açığı kapatır.

Uzun ufuklu mühendislik problemleri

SWE-bench Pro görevleri ortalama beş dosyada 120 satır kod gerektirir. DeepSWE referans çözümleri ortalama yedi dosyada 668 ek satır içerir; kabaca 5,5 kat daha büyük. Bunlar tek fonksiyonluk düzeltmeler değildir. Bir kod tabanının nasıl bir arada durduğunu gerçekten anlamayı gerektiren, birden fazla dosya boyunca eşgüdümlü değişikliklerdir. Daha kısa istemler, daha büyük çözümler.

Özel doğrulama

Her görev, istenen işlevselliği kontrol eden ve bunu sağlayan herhangi bir uygulamayı kabul eden el yazması bir doğrulayıcıyla notlandırılır. Bu, ölçütü belirli test vakalarını geçmek olan test tabanlı notlandırmadan farklıdır. DeepSWE'nin doğrulayıcıları uygulamayı değil, davranışı kontrol eder. Bağımsız bir LLM derecelendirilen çalışmaları yeniden incelediğinde, DeepSWE doğrulayıcısıyla, SWE-bench Pro'nun devralınmış testlerine kıyasla yaklaşık bir büyüklük mertebesi daha az sıklıkta (yüzde 1,4'e karşı yüzde 32,4) aynı fikirde değildir.

Yeniden üretilebilir değerlendirmeler

DeepSWE'nin v1.1 revizyonu bunu daha da sağlamlaştırır; yalnızca temiz, izole bir doğrulayıcı konteynerinde işlenen yaması notlandırır ve main dalında daha doğal bir git çalışma alanı sunar. Yayımlanan değerlendirme yörüngeleri, yalnızca puanları değil, bunların arkasındaki gerçek muhakemeyi de herkesin incelemesine olanak tanır. Tüm yayılımları DeepSWE GitHub deposunda gezebilirsiniz.

DeepSWE Sıralaması Nasıl Çalışır?

deepswe.datacurve.ai üzerindeki sıralama yalnızca bir derecelendirme değildir. Bu bir yapılandırma tablosudur; bunu anlamak, onu okuma biçiminizi değiştirir.

Geçiş oranı

Temel metrik pass@1'dir: modelin ilk denemesinde çözdüğü görevlerin payı. Birçok halka açık sıralamada üst modeller dar bir bantta kümelenir. DeepSWE, geliştiricilerin ajanları günlük hayatta gerçekten nasıl deneyimlediğini yansıtacak şekilde tasarlanmıştır; bu da en iyi ve en kötü performans gösterenler arasında çok daha geniş bir yayıma yol açar.

Muhakeme çabası

Aynı model, farklı muhakeme çabası ayarlarıyla (high, xhigh, max) birden fazla kez görünebilir ve anlamlı şekilde farklı puanlar elde edebilir. Daha yüksek muhakeme çabası genellikle daha fazla token tüketimi ve görev başına daha yüksek maliyet demektir. Bu değiş tokuşun değip değmeyeceği, kullanım durumunuza bağlıdır.

Görev başına maliyet

Kıyaslama, token verimliliğini ve maliyeti izler. Görev başına 4 $ maliyetle %70 puan alan bir model ile görev başına 1,50 $ maliyetle %68 alan bir model, üretime geçmeyi düşünen bir ekip için çok farklı bir hikâye anlatır.

Token'lar ve ajan adımları

Token tüketimi ve araç kullanımı adım sayıları, verimliliğe dair bir pencere sunar. Bazı yapılandırmalar kendi testlerini yoğun biçimde yazar ve çalıştırır. DeepSWE üzerinde, üst modeller bunu koşuların %85'ine varan oranlarda yaptı. Bu öz-doğrulama davranışı, güçlü ajanları zayıf olanlardan ayıran en net göstergelerden biridir.

Değerlendirme yapılandırması

Bir sıralama puanı yapılandırmaya özgüdür. Model, ajan koşum takımı, mevcut araçlar ve yürütme ayarlarının tümü performansı etkiler. Aynı modelin iki farklı koşumla iki çalıştırması farklı sonuçlar üretebilir. 

Hangi Yapay Zekâ Modelleri DeepSWE'de En İyi Performansı Gösteriyor?

Aşağıdaki tablo, 22 Eylül 2026 itibarıyla resmi DeepSWE v1.1 sıralamasını yansıtmaktadır. Bunlar evrensel sıralamalar değil, yapılandırmaya özgü sonuçlardır. Tüm puanlar, 113 görevli bir kıyaslamada yaklaşık ±%3-4'lük %95 güven aralığı taşır.

Üç modelin %74'te olması üçlü beraberlik gibi geliyor. Ancak güven aralıkları ve yapılandırma farkları bu yorumu zayıflatır. Laboratuvarlar, son resmi pano güncellemesinden bu yana GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon ve diğer modeller için DeepSWE 1.1 sayıları yayımlamaya devam etti; bu nedenle rekabet tablosu, resmi sıralamanın yakaladığından daha hızlı değişiyor. En iyi performans gösterenler arasında bir veya iki puanlık fark anlamlı bir sinyal değildir; 113 görevli bir kıyaslamada ve aşağıda açıklanan notlandırma sorunları göz önüne alındığında hiç değildir.

DeepSWE ve Diğer Yapay Zekâ Kodlama Kıyaslamaları

DeepSWE ve SWE-bench

SWE-bench, yazılım mühendisliği değerlendirmesini, birleştirilmiş çekme isteklerinden çıkarılan 2.294 görev örneği üzerinden gerçek GitHub sorunlarını çözme olarak çerçeveledi. Görevler gerçektir, ancak bu köken, çözümlerin modellerin eğitildiği aynı depolarda herkese açık olması nedeniyle bir bulaşma sorunu yaratır. DeepSWE'nin özgün görevleri bunu özellikle önlemek için yazılmıştır. Değiş tokuş ise ölçektir: binlerce yerine 113 görev.

DeepSWE ve SWE-bench Pro

SWE-bench Pro, orijinal SWE-bench'in ötesine geçer; ancak önemli olduğu ortaya çıkan bir notlandırma sorunu vardır. Datacurve'un denetimi, SWE-bench Pro'nun otomatik değerlendiricilerinin doğru çözümleri %24 oranında reddettiğini ve yanlışları %8,5 oranında kabul ettiğini buldu; bu da geçme/kalma kararlarının kabaca üçte birinin kuşkulu olduğu anlamına gelir. Claude Opus'un ayrıca SWE-bench Pro denemelerinin %12'sinden fazlasında git geçmişinden altın çözümleri geri çağırma eğilimi gösterdiği, DeepSWE'nin sığ klon yaklaşımının ise bunu engellediği görülüyor. SWE-bench Pro'nun daha büyük görev sayısı, istatistiksel güven için gerçek bir avantajdır; DeepSWE'nin daha temiz notlandırması ise sonuç geçerliliği için avantajdır. Burada net bir kazanan yok.

DeepSWE ve Terminal-Bench

Terminal-Bench 4.0, yedi alanda (yazılım, bilim, makine öğrenimi, operasyonlar, donanım, güvenlik ve medya) terminal ortamlarında 66 görevden oluşan bir kıyaslamadır. DeepSWE depo düzeyinde yazılım mühendisliğini değerlendirirken, Terminal-Bench terminalde uçtan uca teknik çalışmayı değerlendirir ve görevlerinin yalnızca 18'i yazılımdır. Terminal-Bench puanları bir model-koşum takımı çiftine aittir; bu da kısmen bir araç karşılaştırması olduğu anlamına gelir. DeepSWE koşumu sabit tutar ve size model hakkında bilgi verir. Her ikisi de Epoch AI tarafından Kusurlu olarak derecelendirilmiştir; Terminal-Bench 4.0'da 66 görevin 30'unda kusur bulunmuştur.

DeepSWE Ne Kadar Güvenilir?

Güçlü yönler: özgün görevler bulaşma riskini önemli ölçüde azaltır, davranışsal doğrulayıcılar SWE-bench Pro'nunkinden daha isabetlidir ve yayımlanan yörüngeler sonuçların incelenebilir olmasını sağlar. Bağımsız kıyaslama firması Artificial Analysis, Zekâ ve Kodlama Ajanı endeksleri için SWE-bench Pro'nun yerine DeepSWE'yi koydu (Datacurve'un başarısında payı olmayan bir kuruluştan anlamlı bir onay).

Sorunlar: bağımsız bir inceleme, 113 görevin en az 23'ünde notlandırma kusurları tespit ederek kıyaslamanın Kusurlu olarak işaretlenme eşiğini aştı. İnceleme, Epoch AI tarafından Bağımsız Kıyaslama İncelemeleri programının bir parçası olarak 7 Eylül 2026'da yayımlandı. Notlandırma kusurları çoğunlukla ajanın yazdığı testlerle çakışan gizli testlerden kaynaklanıyordu; burada DeepSWE'nin doğrulayıcısı gönderimi uygular, test yamada listelenen dosyaları geri yükler, ardından gönderilen depodaki paketleri çalıştırır ve raporlarını notlandırır. Bu da bazı test altyapılarının gönderim kontrolünde kalmasına yol açar.

Bu, DeepSWE'yi işe yaramaz kılmaz. Sadece hassas sıralamaları güvenilmez kılar. Modellerin geniş hatlarıyla sıralaması muhtemelen anlamlıdır; yapılandırmalar arasında bir-iki puanlık farklar değildir.

DeepSWE Bize Yapay Zekâ Kodlama Ajanları Hakkında Ne Söyler?

DeepSWE'de iyi performans gösteren modeller sadece daha iyi fonksiyonlar yazmıyor. Yabancı kod tabanlarında gezinip çok adımlı değişiklikleri planlıyor ve testler yoluyla öz-doğrulama yapıyorlar. Her yapay zekâ model ailesi, kendine özgü biçimde de başarısız oluyor. Datacurve, Claude'un DeepSWE'deki başarısızlıklarının büyük bir bölümünün "tek dal gönderildi" kalıbını izlediğini bildiriyor: bazı gereksinimleri karşılayan, ancak hepsini değil, kısmi uygulamalar. Bu, GPT'nin başarısızlıklarından ve yine Gemini'ninkilerden farklı bir başarısızlık modu.

Muhakeme çabası, maliyet ve performans, basitçe indirgenemeyen şekillerde etkileşir. Adım sınırı nadiren bağlayıcıdır: 7.174 puanlanan yayılımın yalnızca 67'si sınıra takılmıştır. Daha fazla token ve daha fazla adım, görevleri tutarlı şekilde daha fazla çözmez; bu, bir ajanı üretim için yapılandırmadan önce bilinmeye değer bir noktadır.

Daha zor gerçek şu ki, kıyaslama ilerlemesi ne kadar gerçek olursa olsun, ajanların karmaşık üretim sistemlerini bağımsızca sürdürebileceğini kanıtlamaz. Özenle tasarlanmış 113 görevde %74 geçiş oranı, göreli model yeteneği hakkında anlamlı bir şey söyler. Bir ajanın üretim kod tabanında gözetimsiz olarak güvenilebileceğini, muğlak gereksinimlerle başa çıkabileceğini veya gerçek bir mühendislik ekibinin sosyal dinamiklerinde yol alabileceğini söylemez. Bu boşluklar, bugün var olan hiçbir kıyaslama tarafından ölçülmüyor.

Sonuç

DeepSWE, yerini alması için tasarlanan kıyaslamalara karşı gerçek bir iyileştirmedir. Özgün görevler, davranışsal doğrulama ve yayımlanan yörüngeler, öncü modelleri zorlu mühendislik işlerinde karşılaştırmak için onu SWE-bench Pro'dan daha güvenilir kılar. DeepSWE geçiş oranları, en kötüden en iyiye kabaca 70 puanlık bir aralığa yayılır; halka açık SWE-bench Pro skorlarında bildirilen yaklaşık 30 puana kıyasla ve bu daha geniş ayrışma gerçektir ve bilgi vericidir.

Ancak sıralama sonuçları dikkatli okunmalıdır. Yapılandırma son derece önemlidir: muhakeme çabası, maliyet ve koşum tercihleri puanları değiştirir. Ayrıca bağımsız notlandırma incelemesi, görevlerin %20'sinden fazlasında kusur buldu; bu da hassas sıralamaların kesin değil, yön gösterici olarak ele alınması gerektiğine işaret eder. Kıyaslama tasarımı gerçekten zordur ve DeepSWE, henüz temiz bir çözümü olmayan bir probleme dürüst bir yaklaşımdır.

DeepSWE gibi kıyaslamaların ölçmeyi hedeflediği becerileri keskinleştirmek istiyorsanız, Geliştiriciler için Yapay Zekâ Destekli Kodlama kursumuz, yapay zekâ kodlama asistanlarıyla istem mühendisliği, hata ayıklama ve test iş akışlarını kapsar. Devam niteliğindeki Geliştiriciler için İleri Düzey Yapay Zekâ Destekli Kodlama kursu ise kod tabanı analizi, performans optimizasyonu ve güvenliğe, yani bugün en yüksek puanlı ajanların hâlâ zorlandığı çok adımlı mühendislik çalışmalarına daha derinlemesine iner.