DeepSWE समझाया गया: AI कोडिंग बेंचमार्क कैसे काम करता है

हर कुछ महीनों में एक नया कोडिंग बेंचमार्क आता है, उसी वादे के साथ: मौलिक, संदूषण-रहित, अब तक का AI इंजीनियरिंग का सबसे सटीक माप।

DeepSWE अलग है। इसलिए नहीं कि वे दावे गलत हैं, बल्कि इसलिए कि उनके पीछे ठोस सबूत हैं—और इसलिए भी कि Datacurve ने असामान्य रूप से ईमानदारी से बताया कि यह बेंचमार्क अभी कहां कमज़ोर पड़ता है। आइए नज़दीक से देखते हैं।

DeepSWE क्या है?

DeepSWE Datacurve का एक संदूषण-रहित कोडिंग बेंचमार्क है जो 91 रिपॉज़िटरीज़ और पाँच भाषाओं—TypeScript, Go, Python, JavaScript, और Rust—में फैले 113 मौलिक, लम्बे क्षितिज वाले सॉफ्टवेयर इंजीनियरिंग कार्यों पर अग्रणी LLMs को परखता है। इसका शुभारंभ इसी साल मई में Datacurve के पहले सार्वजनिक प्रोडक्ट के रूप में हुआ।

स्पष्ट रहे, DeepSWE एक बेंचमार्क है—कोई AI मॉडल या कोडिंग एजेंट नहीं। यह कोड नहीं लिखता। यह उन एजेंट्स का मूल्यांकन करता है जो कोड लिखते हैं। इसका लक्ष्य यह मापना है कि बड़े भाषा मॉडल वास्तविक दुनिया के जटिल सॉफ्टवेयर इंजीनियरिंग कार्यों को संभाल सकते हैं या नहीं—ऐसे मूल समस्याओं के साथ जो खासतौर पर बेंचमार्क के लिए लिखी गई हैं, न कि पहले से मर्ज हुए GitHub पुल रिक्वेस्ट्स से उठाई गई।

इसी उद्देश्य से, DeepSWE कोड जनरेशन और एजेंटिक कोडिंग के बीच एक साफ़ रेखा खींचता है। कोड जनरेशन का मतलब है टेक्स्ट बॉक्स में एक फ़ंक्शन बनाना। एजेंटिक कोडिंग का मतलब है रिपॉज़िटरी पढ़ना, यह समझना कि हिस्से एक-दूसरे से कैसे मेल खाते हैं, मौजूद सिस्टम्स के साथ इंटरैक्ट करने वाला कोड लिखना, टेस्ट चलाना, और पुनरावृति करना।

DeepSWE कैसे काम करता है

DeepSWE पर मूल्यांकन किया जा रहा एजेंट केवल एक प्रॉम्प्ट पाकर खाली जगह में कोड नहीं लिखता। वह एक लाइव सॉफ्टवेयर डेवलपमेंट परिवेश के अंदर काम करता है:

1. एजेंट को एक टास्क विवरण मिलता है (औसतन लगभग 2,158 अक्षर—टिपिकल SWE-bench Pro प्रॉम्प्ट की लंबाई का लगभग आधा)।
2. वह रिपॉज़िटरी का निरीक्षण करता है, फ़ाइलों में नेविगेट करता है और कोडबेस को समझता है।
3. वह कोड में बदलाव करता है, प्रासंगिक कमांड्स चलाता है, और टेस्ट्स निष्पादित करता है।
4. वह अपना इम्प्लीमेंटेशन जमा करता है।
5. DeepSWE परिणाम का मूल्यांकन एक टास्क-विशिष्ट वेरिफ़ायर से करता है जो यह जांचता है कि अनुरोधित फ़ंक्शनैलिटी वास्तव में मौजूद है या नहीं।
6. यह निष्कर्ष मॉडल की बेंचमार्क पर समग्र पास दर में फ़ीड होता है।

DeepSWE हर मॉडल में एक समान रखे गए mini-swe-agent (वह हार्नेस जिसे SWE-bench और SWE-agent के पीछे Princeton और Stanford टीम ने बनाया) का उपयोग करता है। ध्यान देने योग्य बात: किसी मॉडल का DeepSWE स्कोर एक विशिष्ट कॉन्फ़िगरेशन के तहत उसके प्रदर्शन को दर्शाता है, न कि कोडिंग क्षमता का कोई एब्स्ट्रैक्ट माप।

DeepSWE को अलग क्या बनाता है?

बहुत सारे कोडिंग बेंचमार्क हैं, और अधिकतर अब एक-दूसरे में घुलने लगे हैं। DeepSWE को सच में अलग क्या करता है, यह रहा।

मौलिक सॉफ्टवेयर इंजीनियरिंग कार्य

SWE-bench और उसके वेरिएंट्स से DeepSWE का मुख्य अंतर संदूषण नियंत्रण है। हर कार्य Datacurve के इंजीनियर्स द्वारा बिल्कुल नए सिरे से लिखा गया है—मौजूदा GitHub कमिट्स या पुल रिक्वेस्ट्स से अनुकूलित नहीं। संदूषण की चिंता सीधी है: अगर किसी मॉडल को उस डेटा पर प्रशिक्षित किया गया है जिसमें GitHub इश्यू और उसका अंतिम फिक्स—दोनों शामिल हैं—तो वह समस्या हल नहीं कर रहा, बस समाधान याद कर रहा है। DeepSWE बेस कमिट को शैलो-क्लोन करता है, ताकि पढ़ने के लिए कोई मर्ज्ड फिक्स हैश न रहे—यह SWE-bench Pro पर इस्तेमाल किए जा सकने वाले एक लूपहोल को बंद करता है।

लंबी अवधि के इंजीनियरिंग समस्याएँ

SWE-bench Pro कार्यों में औसतन पाँच फ़ाइलों में 120 लाइनों के कोड की ज़रूरत होती है। DeepSWE संदर्भ समाधानों में औसतन सात फ़ाइलों में 668 जोड़ी गई लाइनें होती हैं—लगभग 5.5 गुना बड़ी। ये एक-फ़ंक्शन वाले फिक्स नहीं हैं। ये कई फ़ाइलों में समन्वित बदलाव हैं—ऐसे जो सचमुच यह समझने की माँग करते हैं कि कोई कोडबेस कैसे एक साथ टिका है। छोटे प्रॉम्प्ट, बड़े समाधान।

कस्टम सत्यापन

हर कार्य का मूल्यांकन एक हाथ से लिखे वेरिफ़ायर से होता है जो अनुरोधित फ़ंक्शनैलिटी की जांच करता है और कोई भी ऐसा इम्प्लीमेंटेशन स्वीकार करता है जो उसे उपलब्ध कराता है। यह टेस्ट-आधारित ग्रेडिंग से अलग है, जहाँ विशिष्ट टेस्ट केस पास करना मापदंड होता है। DeepSWE के वेरिफ़ायर्स इम्प्लीमेंटेशन नहीं, व्यवहार जांचते हैं। जब कोई स्वतंत्र LLM ग्रेडेड रन का पुनरीक्षण करता है, तो वह DeepSWE के वेरिफ़ायर से SWE-bench Pro के विरासत में मिले टेस्ट्स की तुलना में लगभग दस गुना कम असहमत होता है (1.4% बनाम 32.4%)।

दोहराने योग्य मूल्यांकन

DeepSWE का v1.1 संशोधन इसे और मजबूत बनाता है: एक स्वच्छ, आइसोलेटेड वेरिफ़ायर कंटेनर में केवल कमिटेड पैच को ग्रेड करना और मुख्य ब्रांच पर एक अधिक स्वाभाविक git कार्यक्षेत्र प्रस्तुत करना। प्रकाशित इवैल्यूएशन ट्राजेक्टरीज़ किसी को भी सिर्फ स्कोर नहीं, बल्कि उनके पीछे की वास्तविक तर्क-श्रृंखला देखने देती हैं। आप DeepSWE की GitHub रिपॉज़िटरी पर हर रोलआउट ब्राउज़ कर सकते हैं।

DeepSWE लीडरबोर्ड कैसे काम करता है

deepswe.datacurve.ai पर लीडरबोर्ड सिर्फ रैंकिंग नहीं है। यह एक कॉन्फ़िगरेशन तालिका है—और इसे समझना बदल देता है कि आप इसे कैसे पढ़ते हैं।

पास दर

मुख्य मीट्रिक pass@1 है: वे कार्यों का अंश जिन्हें मॉडल पहली कोशिश में हल कर देता है। कई सार्वजनिक लीडरबोर्ड्स पर शीर्ष मॉडल एक संकीर्ण दायरे में सिमट जाते हैं। DeepSWE को इस तरह बनाया गया है कि यह दर्शा सके डेवलपर्स एजेंट्स को रोज़मर्रा में कैसे अनुभव करते हैं—यानी सर्वश्रेष्ठ और सबसे खराब प्रदर्शनकर्ताओं के बीच कहीं अधिक चौड़ा अंतर।

विवेचनात्मक प्रयास

एक ही मॉडल अलग-अलग reasoning-effort सेटिंग्स (high, xhigh, max) के साथ कई बार दिख सकता है और अर्थपूर्ण रूप से अलग स्कोर दे सकता है। अधिक विवेचनात्मक प्रयास का सामान्यतः मतलब है अधिक टोकन खपत और प्रति टास्क अधिक लागत। यह सौदा आपके उपयोग-केस पर निर्भर करता है कि कितना सार्थक है।

प्रति कार्य लागत

बेंचमार्क टोकन दक्षता और लागत को ट्रैक करता है। 70% स्कोर वाला कोई मॉडल यदि प्रति टास्क $4 में आता है, बनाम 68% स्कोर वाला $1.50 प्रति टास्क—तो प्रोडक्शन डिप्लॉयमेंट सोच रही टीम के लिए कहानी बिल्कुल अलग होती है।

टोकन और एजेंट स्टेप्स

टोकन खपत और टूल-यूज़ स्टेप काउंट्स आपको दक्षता की एक खिड़की देते हैं। कुछ कॉन्फ़िगरेशन अपने खुद के टेस्ट बड़े पैमाने पर लिखते और चलाते हैं। DeepSWE पर, शीर्ष मॉडलों ने ऐसा 85% तक रन में किया। यह स्व-सत्यापन व्यवहार मज़बूत एजेंट्स को कमज़ोरों से अलग करने वाले सबसे साफ़ संकेतों में से एक है।

मूल्यांकन कॉन्फ़िगरेशन

लीडरबोर्ड स्कोर कॉन्फ़िगरेशन-विशिष्ट होता है। मॉडल, एजेंट हार्नेस, उपलब्ध टूल्स, और एक्ज़ीक्यूशन सेटिंग्स—सब प्रदर्शन को प्रभावित करते हैं। एक ही मॉडल की दो रन यदि अलग हार्नेस के साथ हों, तो नतीजे अलग हो सकते हैं। 

DeepSWE पर कौन से AI मॉडल सबसे अच्छा प्रदर्शन करते हैं?

नीचे दी गई तालिका 22 सितंबर, 2026 तक के आधिकारिक DeepSWE v1.1 लीडरबोर्ड को दर्शाती है। ये कॉन्फ़िगरेशन-विशिष्ट परिणाम हैं, सार्वभौमिक रैंकिंग नहीं। सभी स्कोर 113-टास्क बेंचमार्क पर लगभग ±3-4 प्रतिशत बिंदुओं के 95% विश्वास अंतराल के साथ आते हैं।

तीन मॉडल 74% पर हैं—यह तीन-तरफ़ा टाई जैसा लगता है। लेकिन विश्वास अंतराल और कॉन्फ़िगरेशन में अंतर इसे संदिग्ध पढ़ाई बना देता है। पिछली आधिकारिक बोर्ड अपडेट के बाद से लैब्स GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon, और अन्य मॉडलों के लिए DeepSWE 1.1 के आंकड़े प्रकाशित करती रही हैं, इसलिए प्रतिस्पर्धी तस्वीर आधिकारिक लीडरबोर्ड से तेज़ी से बदल रही है। शीर्ष प्रदर्शनकर्ताओं के बीच एक-दो प्रतिशत बिंदु का अंतर कोई अर्थपूर्ण संकेत नहीं है—न 113-टास्क बेंचमार्क पर, और न ही नीचे वर्णित ग्रेडिंग मुद्दों को देखते हुए।

DeepSWE बनाम अन्य AI कोडिंग बेंचमार्क

DeepSWE बनाम SWE-bench

SWE-bench ने सॉफ्टवेयर इंजीनियरिंग मूल्यांकन को 2,294 टास्क इंस्टैंसेज़ पर वास्तविक GitHub इश्यू को सुलझाने के रूप में फ़्रेम किया, जिन्हें मर्ज किए गए पुल रिक्वेस्ट्स से निकाला गया था। कार्य वास्तविक हैं, लेकिन यह उत्पत्ति एक संदूषण समस्या पैदा करती है: समाधान उसी रिपॉज़िटरीज़ में सार्वजनिक रूप से उपलब्ध हैं जिन पर मॉडलों को प्रशिक्षित किया गया था। DeepSWE के मौलिक कार्य विशेष रूप से इसे टालने के लिए लिखे गए हैं। समझौता यह है: पैमाना—हज़ारों की जगह 113 कार्य।

DeepSWE बनाम SWE-bench Pro

SWE-bench Pro मूल SWE-bench से आगे तक पहुँचता है, लेकिन इसमें ग्रेडिंग की एक समस्या है जो काफ़ी बड़ी निकली। Datacurve के ऑडिट में पाया गया कि SWE-bench Pro के स्वचालित ग्रेडर सही समाधानों को 24% समय खारिज कर देते हैं और गलत समाधानों को 8.5% समय स्वीकार कर लेते हैं—यानी इसकी लगभग एक-तिहाई पास/फेल निर्णायकताएँ संदिग्ध हैं। Claude Opus भी SWE-bench Pro ट्रायल्स में 12% से अधिक मामलों में git हिस्ट्री से गोल्ड सॉल्यूशन्स पुनः प्राप्त करने की प्रवृत्ति दिखाता है—कुछ ऐसा जिसे DeepSWE का शैलो-क्लोन दृष्टिकोण रोकता है। SWE-bench Pro की बड़ी टास्क गिनती सांख्यिकीय भरोसे के लिए वास्तविक लाभ है; DeepSWE की साफ़-सुथरी ग्रेडिंग परिणामों की वैधता के लिए लाभ है। यहाँ कोई स्पष्ट विजेता नहीं।

DeepSWE बनाम Terminal-Bench

Terminal-Bench 4.0 सात डोमेन्स—सॉफ्टवेयर, विज्ञान, मशीन लर्निंग, ऑपरेशंस, हार्डवेयर, सुरक्षा, और मीडिया—में टर्मिनल वातावरणों के 66 कार्यों का बेंचमार्क है। जहाँ DeepSWE रिपॉज़िटरी-स्तरीय सॉफ्टवेयर इंजीनियरिंग का मूल्यांकन करता है, वहीं Terminal-Bench टर्मिनल में एंड-टू-एंड तकनीकी काम का मूल्यांकन करता है—और उसके केवल 18 कार्य सॉफ्टवेयर कार्य हैं। Terminal-Bench के स्कोर किसी मॉडल-और-हार्नेस जोड़ी से संबंधित होते हैं, जिससे यह आंशिक रूप से टूल तुलना बन जाता है; DeepSWE हार्नेस को स्थिर रखता है और आपको मॉडल के बारे में बताता है। दोनों को Epoch AI ने Flawed का दर्जा दिया है—Terminal-Bench 4.0 में 66 में से 30 कार्यों में खामियाँ हैं।

DeepSWE कितना भरोसेमंद है?

मज़बूती की तरफ़: मौलिक कार्य संदूषण जोखिम को काफ़ी हद तक घटाते हैं, व्यवहार-आधारित वेरिफ़ायर SWE-bench Pro से अधिक सटीक हैं, और प्रकाशित ट्राजेक्टरीज़ परिणामों को निरीक्षण योग्य बनाती हैं। स्वतंत्र बेंचमार्क फ़र्म Artificial Analysis ने अपने Intelligence और Coding Agent इंडेक्स के लिए SWE-bench Pro की जगह DeepSWE अपनाया है (Datacurve की सफलता में कोई हित न रखने वाले संगठन से यह अर्थपूर्ण समर्थन है)।

समस्याओं की तरफ़: एक स्वतंत्र समीक्षा में 113 में से कम से कम 23 कार्यों में ग्रेडिंग दोषों की पहचान हुई—जो बेंचमार्क को Flawed चिह्नित करने की सीमा से अधिक है। यह समीक्षा 7 सितंबर, 2026 को Epoch AI द्वारा उसके स्वतंत्र Benchmark Reviews प्रोग्राम के हिस्से के रूप में प्रकाशित हुई। ग्रेडिंग दोष मुख्यतः छिपे हुए टेस्ट्स के एजेंट द्वारा लिखे गए टेस्ट्स से टकरा जाने से थे—एक संरचनात्मक मुद्दा, जहाँ DeepSWE का वेरिफ़ायर सबमिशन लागू करता है, टेस्ट पैच में सूचीबद्ध फ़ाइलों को बहाल करता है, फिर सबमिटेड रिपॉज़िटरी से सूट्स चलाता है और उनकी रिपोर्ट्स को ग्रेड करता है—जिससे कुछ टेस्ट इन्फ्रास्ट्रक्चर सबमिशन के नियंत्रण में रह जाता है।

इससे DeepSWE बेकार नहीं हो जाता। इससे सटीक रैंकिंग अविश्वसनीय हो जाती है। मॉडलों का व्यापक क्रम संभवतः अर्थपूर्ण है; कॉन्फ़िगरेशन के बीच एक-दो प्रतिशत बिंदु का अंतर नहीं।

AI कोडिंग एजेंट्स के बारे में DeepSWE हमें क्या बताता है

DeepSWE पर अच्छा प्रदर्शन करने वाले मॉडल सिर्फ़ बेहतर फ़ंक्शंस नहीं लिख रहे। वे अपरिचित कोडबेस में नेविगेट कर रहे हैं, बहु-चरणीय बदलावों की योजना बना रहे हैं, और टेस्ट्स के ज़रिए स्व-सत्यापन कर रहे हैं। हर AI मॉडल परिवार अपनी विशिष्ट ढंग से असफल भी होता है। Datacurve की रिपोर्ट है कि DeepSWE पर Claude की विफलताओं का बड़ा हिस्सा "one branch shipped" पैटर्न का अनुसरण करता है: आंशिक इम्प्लीमेंटेशन जो कुछ आवश्यकताओं को पूरा करते हैं, सबको नहीं। यह GPT की विफलताओं से अलग फ़ेल्योर मोड है, और Gemini से फिर अलग।

विवेचनात्मक प्रयास, लागत, और प्रदर्शन ऐसे तरीकों से परस्पर क्रिया करते हैं जो आसानी से सरल नहीं होते। स्टेप लिमिट शायद ही कभी बाधक बनती है: 7,174 स्कोर किए गए रोलआउट्स में से केवल 67 ने कैप को छुआ। अधिक टोकन और अधिक स्टेप्स लगातार अधिक कार्य नहीं सुलझाते—यह जानना उपयोगी है, इससे पहले कि आप किसी एजेंट को प्रोडक्शन के लिए कॉन्फ़िगर करें।

कठिन सच्चाई यह है कि बेंचमार्क प्रगति—चाहे जितनी वास्तविक क्यों न हो—यह स्थापित नहीं करती कि एजेंट्स जटिल प्रोडक्शन सिस्टम्स को स्वतंत्र रूप से मेंटेन कर सकते हैं। 113 सावधानी से बनाए गए कार्यों पर 74% पास दर हमें मॉडलों की तुलनात्मक क्षमता के बारे में कुछ अर्थपूर्ण बताती है। यह नहीं बताती कि किसी प्रोडक्शन कोडबेस में एजेंट पर बिना देखरेख भरोसा किया जा सकता है, अस्पष्ट आवश्यकताओं को संभाल सकता है, या किसी वास्तविक इंजीनियरिंग टीम की सामाजिक गतिशीलता में नेविगेट कर सकता है। ये अंतराल किसी भी मौजूदा बेंचमार्क से मापे नहीं जाते।

निष्कर्ष

DeepSWE उन बेंचमार्क्स पर एक वास्तविक सुधार है जिन्हें यह प्रतिस्थापित करने के लिए डिज़ाइन किया गया था। मौलिक कार्य, व्यवहार-आधारित सत्यापन, और प्रकाशित ट्राजेक्टरीज़ इसे कठिन इंजीनियरिंग कार्य पर अग्रणी मॉडलों की तुलना के लिए SWE-bench Pro से अधिक भरोसेमंद बनाते हैं। DeepSWE पास दरें सबसे खराब से सबसे अच्छे तक लगभग 70 प्रतिशत अंक तक फैली हैं—जबकि सार्वजनिक रूप से रिपोर्ट किए गए SWE-bench Pro स्कोर पर यह लगभग 30 अंकों तक है—और यह व्यापक अलगाव वास्तविक और सूचनाप्रदाक है।

लेकिन लीडरबोर्ड परिणामों को सावधानी से पढ़ने की ज़रूरत है। कॉन्फ़िगरेशन का बहुत बड़ा महत्व है: विवेचनात्मक प्रयास, लागत, और हार्नेस विकल्प स्कोर बदल देते हैं। और स्वतंत्र ग्रेडिंग समीक्षा ने 20% से अधिक कार्यों में खामियाँ पाईं—काफी ताकि सटीक रैंकिंग्स को निर्णायक नहीं, दिशा-सूचक माना जाए। बेंचमार्क डिज़ाइन अब भी सचमुच कठिन है—और DeepSWE एक ईमानदार कोशिश है ऐसे मसले पर जिसका अभी साफ़ समाधान नहीं है।

यदि आप वे कौशल निखारना चाहते हैं जिन्हें DeepSWE जैसे बेंचमार्क नापने के लिए बनाए गए हैं, तो हमारा AI-Assisted Coding for Developers कोर्स प्रॉम्प्ट इंजीनियरिंग, डीबगिंग, और AI कोडिंग असिस्टेंट्स के साथ टेस्टिंग वर्कफ़्लोज़ को कवर करता है। फॉलो-अप कोर्स, Advanced AI-Assisted Coding for Developers, कोडबेस विश्लेषण, परफॉर्मेंस ऑप्टिमाइज़ेशन, और सुरक्षा में और आगे जाता है—वही बहु-चरणीय इंजीनियरिंग कार्य जहाँ आज के टॉप-स्कोरिंग एजेंट्स अब भी जूझते हैं।