DeepSWE Dijelaskan: Cara Tolok Ukur Koding AI Bekerja

Setiap beberapa bulan, muncul tolok ukur koding baru dengan janji yang sama: orisinal, bebas kontaminasi, ukuran paling sahih untuk rekayasa AI sejauh ini.

DeepSWE berbeda. Bukan karena klaim-klaim itu keliru, melainkan karena ada bukti nyata di baliknya, dan karena Datacurve secara tidak biasa terbuka tentang di mana tolok ukur ini masih kurang. Mari kita lihat.

Apa Itu DeepSWE?

DeepSWE adalah tolok ukur koding bebas kontaminasi dari Datacurve yang menguji LLM frontier pada 113 tugas rekayasa perangkat lunak orisinal, long-horizon di 91 repositori dan lima bahasa: TypeScript, Go, Python, JavaScript, dan Rust. Dirilis Mei lalu sebagai produk publik pertama Datacurve.

Perlu diluruskan, DeepSWE adalah tolok ukur, bukan model AI atau agen koding. Ia tidak menulis kode. Ia mengevaluasi agen yang melakukannya. Tujuannya adalah mengukur apakah model bahasa besar dapat menangani tugas rekayasa perangkat lunak kompleks di dunia nyata, dengan menggunakan masalah orisinal yang ditulis khusus untuk tolok ukur ini alih-alih diambil dari pull request GitHub yang sudah digabungkan sebelumnya.

Untuk itu, DeepSWE menarik garis tegas antara pembuatan kode dan koding agensi. Pembuatan kode adalah menghasilkan sebuah fungsi di kotak teks. Koding agensi berarti membaca sebuah repositori, memahami bagaimana bagian-bagiannya saling terkait, menulis kode yang berinteraksi dengan sistem yang sudah ada, menjalankan pengujian, dan melakukan iterasi.

Cara Kerja DeepSWE

Agen yang dievaluasi di DeepSWE tidak hanya menerima prompt dan menulis kode di ruang hampa. Ia beroperasi di dalam lingkungan pengembangan perangkat lunak yang hidup:

1. Agen menerima deskripsi tugas (rata-rata sekitar 2.158 karakter, kira-kira setengah panjang prompt SWE-bench Pro pada umumnya).
2. Ia memeriksa repositori, menavigasi file, dan memahami basis kode.
3. Ia memodifikasi kode, menjalankan perintah yang relevan, dan mengeksekusi pengujian.
4. Ia mengirimkan implementasinya.
5. DeepSWE mengevaluasi hasil menggunakan verifier khusus tugas yang memeriksa apakah fungsi yang diminta benar-benar ada.
6. Hasilnya masuk ke tingkat kelulusan keseluruhan model pada tolok ukur.

DeepSWE menggunakan mini-swe-agent (harness yang dibuat oleh tim Princeton dan Stanford di balik SWE-bench dan SWE-agent) yang ditahan tetap untuk setiap model. Perlu dicatat: skor DeepSWE suatu model mencerminkan kinerjanya di bawah konfigurasi tertentu, bukan ukuran abstrak dari kemampuan koding.

Apa yang Membuat DeepSWE Berbeda?

Ada banyak tolok ukur koding, dan sebagian besar mulai terlihat mirip. Inilah yang benar-benar membedakan DeepSWE.

Tugas rekayasa perangkat lunak orisinal

Pembeda utama DeepSWE dari SWE-bench dan variannya adalah kontrol kontaminasi. Setiap tugas ditulis dari nol oleh engineer Datacurve, bukan diadaptasi dari commit atau pull request GitHub yang sudah ada. Kekhawatiran soal kontaminasi itu sederhana: jika model dilatih pada data yang mencakup baik isu GitHub maupun solusinya, model itu bukan memecahkan masalah, melainkan mengingat solusi. DeepSWE melakukan shallow-clone pada base commit sehingga tidak ada hash perbaikan yang sudah digabung untuk dibaca, menutup celah yang dapat dieksploitasi pada SWE-bench Pro.

Masalah rekayasa long-horizon

Tugas SWE-bench Pro membutuhkan rata-rata 120 baris kode di lima file. Solusi referensi DeepSWE rata-rata menambahkan 668 baris di tujuh file, kira-kira 5,5 kali lebih besar. Ini bukan tambalan satu fungsi. Ini adalah perubahan terkoordinasi di banyak file, jenis yang menuntut pemahaman nyata tentang bagaimana sebuah basis kode tersusun. Prompt lebih pendek, solusi lebih besar.

Verifikasi kustom

Setiap tugas dinilai oleh verifier yang ditulis manual yang memeriksa fungsi yang diminta dan menerima implementasi apa pun yang menyediakannya. Ini berbeda dari penilaian berbasis tes, di mana kriteria adalah lolos kasus uji tertentu. Verifier DeepSWE memeriksa perilaku, bukan implementasi. Ketika sebuah LLM independen meninjau ulang run yang telah dinilai, ia tidak sependapat dengan verifier DeepSWE sekitar satu orde besaran lebih jarang dibandingkan dengan tes turunan SWE-bench Pro (1,4% versus 32,4%).

Evaluasi yang dapat direproduksi

Revisi v1.1 DeepSWE memperkuat ini lebih jauh, hanya menilai patch yang dikomit di dalam kontainer verifier terisolasi yang bersih dan menyajikan workspace git di main yang lebih natural. Trajektori evaluasi yang dipublikasikan memungkinkan siapa pun meninjau bukan hanya skor tetapi juga penalaran di baliknya. Anda dapat menelusuri setiap rollout di repositori GitHub DeepSWE.

Cara Kerja Papan Peringkat DeepSWE

Papan peringkat di deepswe.datacurve.ai bukan sekadar peringkat. Itu adalah tabel konfigurasi, dan memahaminya akan mengubah cara Anda membacanya.

Tingkat kelulusan

Metrik inti adalah pass@1: fraksi tugas yang diselesaikan model pada percobaan pertamanya. Di banyak papan peringkat publik, model teratas berkumpul di rentang sempit. DeepSWE dirancang untuk mencerminkan bagaimana developer benar-benar mengalami agen sehari-hari, yang berarti sebaran yang jauh lebih lebar antara yang terbaik dan terburuk.

Upaya penalaran

Model yang sama dapat muncul beberapa kali dengan pengaturan upaya penalaran yang berbeda (high, xhigh, max) dan menghasilkan skor yang berbeda secara bermakna. Upaya penalaran yang lebih tinggi umumnya berarti lebih banyak token yang digunakan dan biaya per tugas yang lebih tinggi. Apakah pertukaran itu layak tergantung pada kasus penggunaan Anda.

Biaya per tugas

Tolok ukur melacak efisiensi token dan biaya. Model yang mencetak 70% dengan biaya $4 per tugas dibandingkan dengan yang mencetak 68% dengan biaya $1,50 per tugas menyampaikan cerita yang sangat berbeda bagi tim yang memikirkan penerapan produksi.

Token dan langkah agen

Konsumsi token dan jumlah langkah penggunaan alat memberi jendela ke efisiensi. Beberapa konfigurasi banyak menulis dan menjalankan pengujiannya sendiri. Di DeepSWE, model teratas melakukan ini pada hingga 85% run. Perilaku verifikasi mandiri itu adalah salah satu penanda paling jelas yang memisahkan agen kuat dari yang lebih lemah.

Konfigurasi evaluasi

Skor papan peringkat spesifik terhadap konfigurasi. Model, harness agen, alat yang tersedia, dan pengaturan eksekusi semuanya memengaruhi kinerja. Dua run dari model yang sama dengan harness berbeda dapat menghasilkan hasil yang berbeda. 

Model AI Mana yang Berkinerja Terbaik di DeepSWE?

Tabel di bawah ini mencerminkan papan peringkat resmi DeepSWE v1.1 per 22 September, 2026. Ini adalah hasil spesifik konfigurasi, bukan peringkat universal. Semua skor memiliki interval kepercayaan 95% sekitar ±3-4 poin persentase pada tolok ukur 113 tugas.

Tiga model di 74% terdengar seperti seri tiga arah. Namun interval kepercayaan dan perbedaan konfigurasi membuat pembacaan itu rapuh. Laboratorium terus menerbitkan angka DeepSWE 1.1 untuk model termasuk GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon, dan lainnya sejak pembaruan resmi terakhir, sehingga peta persaingan bergeser lebih cepat daripada yang ditangkap papan peringkat resmi. Kesenjangan satu atau dua poin persentase antara para penampil teratas bukan sinyal yang bermakna, bukan pada tolok ukur 113 tugas, dan bukan mengingat isu penilaian yang dijelaskan di bawah.

DeepSWE vs Tolok Ukur Koding AI Lainnya

DeepSWE vs. SWE-bench

SWE-bench membingkai evaluasi rekayasa perangkat lunak sebagai menyelesaikan isu GitHub nyata terhadap 2.294 instance tugas yang ditambang dari pull request yang telah digabung. Tugasnya nyata, tetapi asal-usul itu menciptakan masalah kontaminasi: solusi tersedia secara publik di repositori yang sama tempat model dilatih. Tugas orisinal DeepSWE ditulis khusus untuk menghindari ini. Konsekuensinya adalah skala: 113 tugas versus ribuan.

DeepSWE vs. SWE-bench Pro

SWE-bench Pro melangkah lebih jauh daripada SWE-bench asli, tetapi memiliki masalah penilaian yang ternyata substansial. Audit Datacurve menemukan bahwa penilai otomatis SWE-bench Pro menolak solusi yang benar 24% dari waktu dan menerima yang salah 8,5% dari waktu, yang berarti kira-kira sepertiga keputusan lulus/gagalnya dapat diragukan. Claude Opus juga menunjukkan kecenderungan memulihkan solusi emas dari riwayat git di lebih dari 12% uji coba SWE-bench Pro, sesuatu yang dicegah oleh pendekatan shallow-clone DeepSWE. Jumlah tugas yang lebih besar di SWE-bench Pro merupakan keunggulan nyata untuk kepercayaan statistik; penilaian yang lebih bersih di DeepSWE merupakan keunggulan untuk validitas hasil. Tidak ada pemenang yang jelas di sini.

DeepSWE vs. Terminal-Bench

Terminal-Bench 4.0 adalah tolok ukur 66 tugas di lingkungan terminal di tujuh domain: perangkat lunak, sains, machine learning, operasi, perangkat keras, keamanan, dan media. Jika DeepSWE mengevaluasi rekayasa perangkat lunak tingkat repositori, Terminal-Bench mengevaluasi pekerjaan teknis end-to-end di terminal, dan hanya 18 dari tugasnya yang merupakan tugas perangkat lunak. Skor Terminal-Bench milik pasangan model-dan-harness, sehingga sebagian merupakan perbandingan alat; DeepSWE menahan harness tetap dan memberi tahu Anda tentang modelnya. Keduanya dinilai Flawed oleh Epoch AI, Terminal-Bench 4.0 dengan cacat pada 30 dari 66 tugas.

Seberapa Andal DeepSWE?

Di sisi kekuatan: tugas orisinal secara signifikan mengurangi risiko kontaminasi, verifier perilaku lebih akurat daripada milik SWE-bench Pro, dan trajektori yang dipublikasikan membuat hasil dapat diperiksa. Firma tolok ukur independen Artificial Analysis mengganti SWE-bench Pro dengan DeepSWE untuk indeks Intelligence dan Coding Agent mereka (sebuah dukungan bermakna dari organisasi yang tidak berkepentingan dalam kesuksesan Datacurve).

Di sisi masalah: sebuah tinjauan independen mengidentifikasi cacat penilaian pada setidaknya 23 dari 113 tugas, melampaui ambang untuk menandai tolok ukur sebagai Flawed. Tinjauan tersebut dipublikasikan pada 7 September 2026 oleh Epoch AI sebagai bagian dari program Benchmark Reviews independennya. Cacat penilaian sebagian besar berupa tes tersembunyi yang bertabrakan dengan tes yang ditulis agen, sebuah isu struktural di mana verifier DeepSWE menerapkan submission, memulihkan file yang tercantum dalam patch tes, lalu menjalankan suite dari repositori yang diserahkan dan menilai laporannya. Itu membuat sebagian infrastruktur pengujian berada di bawah kendali submission.

Ini tidak membuat DeepSWE tidak berguna. Ini membuat peringkat yang presisi menjadi tidak andal. Urutan luas antar model mungkin bermakna; kesenjangan satu atau dua poin persentase antar konfigurasi tidak.

Apa yang Dikatakan DeepSWE tentang Agen Koding AI

Model yang berkinerja baik di DeepSWE bukan hanya menulis fungsi yang lebih bagus. Mereka menavigasi basis kode yang asing, merencanakan perubahan multi-langkah, dan memverifikasi diri melalui pengujian. Setiap keluarga model AI juga gagal dengan caranya sendiri yang khas. Datacurve melaporkan bahwa porsi besar dari kegagalan Claude di DeepSWE mengikuti pola "satu cabang dikirim": implementasi parsial yang memenuhi sebagian tetapi tidak semua persyaratan. Itu adalah modus kegagalan yang berbeda dari kegagalan GPT, yang berbeda lagi dari Gemini.

Upaya penalaran, biaya, dan kinerja berinteraksi dengan cara yang tidak dapat disederhanakan secara bersih. Batas langkah jarang mengikat: hanya 67 dari 7.174 rollout yang dinilai yang mencapai batas. Lebih banyak token dan lebih banyak langkah tidak secara konsisten menyelesaikan lebih banyak tugas, yang patut diketahui sebelum Anda mengonfigurasi agen untuk produksi.

Kenyataan yang lebih berat adalah bahwa kemajuan tolok ukur, betapapun nyatanya, tidak membuktikan bahwa agen dapat secara mandiri memelihara sistem produksi yang kompleks. Tingkat kelulusan 74% pada 113 tugas yang dirancang dengan cermat memang mengatakan sesuatu yang bermakna tentang kemampuan relatif model. Itu tidak mengatakan bahwa agen dapat dipercaya tanpa pengawasan di basis kode produksi, menangani persyaratan yang ambigu, atau menavigasi dinamika sosial tim rekayasa nyata. Kesenjangan tersebut tidak diukur oleh tolok ukur mana pun yang saat ini ada.

Kesimpulan

DeepSWE adalah peningkatan nyata dibandingkan tolok ukur yang dimaksudkan untuk digantikannya. Tugas orisinal, verifikasi perilaku, dan trajektori yang dipublikasikan membuatnya lebih dapat dipercaya daripada SWE-bench Pro untuk membandingkan model frontier pada pekerjaan rekayasa yang sulit. Tingkat kelulusan DeepSWE membentang sekitar 70 poin persentase dari yang terburuk hingga terbaik, dibandingkan sekitar 30 poin pada skor SWE-bench Pro yang dilaporkan publik, dan pemisahan yang lebih lebar itu nyata dan informatif.

Namun hasil papan peringkat perlu dibaca dengan saksama. Konfigurasi sangat penting: upaya penalaran, biaya, dan pilihan harness semuanya menggeser skor. Dan tinjauan penilaian independen menemukan cacat di lebih dari 20% tugas, cukup untuk memperlakukan peringkat presisi sebagai indikatif alih-alih definitif. Desain tolok ukur tetap benar-benar sulit, dan DeepSWE adalah upaya jujur pada masalah yang belum memiliki solusi yang rapi.

Jika Anda ingin mengasah keterampilan yang dirancang untuk diukur oleh tolok ukur seperti DeepSWE, kursus AI-Assisted Coding for Developers kami membahas prompt engineering, debugging, dan alur kerja pengujian dengan asisten koding AI. Kursus lanjutan, Advanced AI-Assisted Coding for Developers, melangkah lebih jauh ke analisis basis kode, optimalisasi kinerja, dan keamanan, jenis pekerjaan rekayasa multi-langkah di mana agen dengan skor tertinggi saat ini masih kesulitan.