ทุก ๆ ไม่กี่เดือน จะมีเกณฑ์การทดสอบการเขียนโค้ดตัวใหม่เปิดตัวพร้อมคำสัญญาเดิม ๆ: ต้นฉบับ ปราศจากการปนเปื้อน เป็นมาตรวัดความสามารถด้านวิศวกรรมของ AI ที่แท้ที่สุดจนถึงตอนนี้
DeepSWE แตกต่างออกไป ไม่ใช่เพราะคำกล่าวอ้างเหล่านั้นผิด แต่เพราะมีหลักฐานรองรับจริง และเพราะ Datacurve เปิดเผยอย่างผิดปกติเกี่ยวกับข้อจำกัดที่เกณฑ์นี้ยังมีอยู่ มาดูกันใกล้ ๆ
DeepSWE คืออะไร?
DeepSWE เป็นเกณฑ์การทดสอบการเขียนโค้ดที่ปราศจากการปนเปื้อนจาก Datacurve ซึ่งทดสอบ LLM แนวหน้าบนงานวิศวกรรมซอฟต์แวร์แบบระยะยาว 113 งาน ครอบคลุม 91 รีโพซิทอรีและ 5 ภาษา ได้แก่ TypeScript, Go, Python, JavaScript และ Rust เปิดตัวเมื่อพฤษภาคมที่ผ่านมาในฐานะผลิตภัณฑ์สาธารณะตัวแรกของ Datacurve
เพื่อให้ชัดเจน DeepSWE เป็นเกณฑ์ประเมิน ไม่ใช่โมเดล AI หรือเอเจนต์เขียนโค้ด มันไม่เขียนโค้ด แต่ประเมินเอเจนต์ที่ทำเช่นนั้น เป้าหมายคือวัดว่าโมเดลภาษาขนาดใหญ่สามารถรับมือกับงานวิศวกรรมซอฟต์แวร์ที่ซับซ้อนในโลกจริงได้หรือไม่ โดยใช้งานต้นฉบับที่เขียนขึ้นเฉพาะสำหรับเกณฑ์นี้ แทนที่จะดึงมาจากคำขอ pull request ที่ถูกรวมเข้าก่อนหน้าใน GitHub
เพื่อจุดประสงค์นั้น DeepSWE ขีดเส้นแบ่งชัดเจนระหว่างการสร้างโค้ดกับการเขียนโค้ดแบบเอเจนต์ การสร้างโค้ดคือการผลิตฟังก์ชันในกล่องข้อความ ส่วนการเขียนโค้ดแบบเอเจนต์หมายถึงการอ่านรีโพซิทอรี ทำความเข้าใจการเชื่อมโยงของชิ้นส่วนต่าง ๆ เขียนโค้ดที่โต้ตอบกับระบบที่มีอยู่ รันเทสต์ และทำซ้ำปรับปรุง
DeepSWE ทำงานอย่างไร
เอเจนต์ที่ถูกประเมินบน DeepSWE ไม่ได้แค่รับพรอมป์ตแล้วเขียนโค้ดในสุญญากาศ มันทำงานภายในสภาพแวดล้อมการพัฒนาซอฟต์แวร์จริง:
- เอเจนต์ได้รับคำอธิบายงาน (เฉลี่ยราว 2,158 อักขระ ประมาณครึ่งหนึ่งของความยาวพรอมป์ต SWE-bench Pro ทั่วไป)
- ตรวจสอบรีโพซิทอรี เดินดูไฟล์ และทำความเข้าใจโค้ดเบส
- ปรับแก้โค้ด รันคำสั่งที่เกี่ยวข้อง และรันเทสต์
- ส่งผลงานที่ทำเสร็จ
- DeepSWE ประเมินผลโดยใช้ตัวตรวจสอบเฉพาะงานเพื่อตรวจว่าฟังก์ชันที่ร้องขอมีอยู่จริงหรือไม่
- ผลลัพธ์จะถูกรวมเข้าอัตราผ่านโดยรวมของโมเดลบนเกณฑ์นี้
DeepSWE ใช้ mini-swe-agent (ฮาร์เนสที่สร้างโดยทีม Princeton และ Stanford ผู้อยู่เบื้องหลัง SWE-bench และ SWE-agent) และคงที่เหมือนกันทุกโมเดล ควรสังเกตว่า คะแนน DeepSWE ของโมเดลสะท้อนประสิทธิภาพภายใต้การตั้งค่าเฉพาะ ไม่ใช่มาตรวัดความสามารถในการเขียนโค้ดในนามธรรม
อะไรทำให้ DeepSWE แตกต่าง?
มีเกณฑ์การทดสอบการเขียนโค้ดมากมาย และส่วนใหญ่เริ่มจะคล้ายกัน นี่คือสิ่งที่ทำให้ DeepSWE แตกต่างจริง ๆ
งานวิศวกรรมซอฟต์แวร์ต้นฉบับ
ความต่างหลักของ DeepSWE จาก SWE-bench และสายพันธุ์ต่าง ๆ คือการควบคุมการปนเปื้อน ทุกงานถูกเขียนขึ้นใหม่ทั้งหมดโดยวิศวกรของ Datacurve ไม่ได้ดัดแปลงจากคอมมิตหรือ pull request ที่มีอยู่ใน GitHub ประเด็นความกังวลเรื่องการปนเปื้อนนั้นตรงไปตรงมา: หากโมเดลถูกฝึกบนข้อมูลที่มีทั้งประเด็นใน GitHub และคำตอบสุดท้าย โมเดลไม่ได้แก้ปัญหา แต่กำลังเรียกคืนคำตอบ DeepSWE ทำ shallow-clone ที่คอมมิตฐาน จึงไม่มีแฮชของวิธีแก้ที่ถูกรวมให้อ่าน ปิดช่องโหว่ที่เคยใช้ได้ใน SWE-bench Pro
ปัญหาวิศวกรรมระยะยาว
งานของ SWE-bench Pro ต้องแก้โค้ดเฉลี่ย 120 บรรทัดครอบคลุม 5 ไฟล์ ส่วนวิธีแก้อ้างอิงของ DeepSWE เฉลี่ยเพิ่ม 668 บรรทัดครอบคลุม 7 ไฟล์ ใหญ่กว่าประมาณ 5.5 เท่า งานเหล่านี้ไม่ใช่การแก้ฟังก์ชันเดียว แต่เป็นการเปลี่ยนแปลงที่ประสานกันข้ามหลายไฟล์ ซึ่งต้องเข้าใจจริง ๆ ว่าโค้ดเบสประกอบกันอย่างไร พรอมป์ตสั้นลง แต่วิธีแก้ใหญ่ขึ้น
ตัวตรวจสอบแบบกำหนดเอง
แต่ละงานถูกให้คะแนนโดยตัวตรวจสอบที่เขียนด้วยมือ เพื่อตรวจฟังก์ชันที่ร้องขอและยอมรับการนำไปใช้ใด ๆ ที่ส่งมอบฟังก์ชันนั้นได้ แตกต่างจากการให้คะแนนด้วยเทสต์ ซึ่งเกณฑ์คือการผ่านเคสทดสอบที่เฉพาะเจาะจง ตัวตรวจสอบของ DeepSWE ตรวจพฤติกรรม ไม่ใช่การนำไปใช้ เมื่อให้ LLM อิสระตรวจทานรันที่ให้คะแนนอีกครั้ง พบว่ามีความเห็นไม่ตรงกับตัวตรวจสอบของ DeepSWE น้อยกว่าของเทสต์ที่สืบทอดจาก SWE-bench Pro ประมาณหนึ่งลำดับขั้น (1.4% เทียบกับ 32.4%)
การประเมินที่ทำซ้ำได้
การปรับเป็น v1.1 ของ DeepSWE ทำให้แข็งแรงยิ่งขึ้น โดยให้คะแนนเฉพาะแพตช์ที่คอมมิตในคอนเทนเนอร์ตัวตรวจสอบที่สะอาดและแยกขาด และนำเสนอเวิร์กสเปซ git บน main ที่เป็นธรรมชาติมากขึ้น เส้นทางการประเมินที่เผยแพร่ช่วยให้ทุกคนตรวจสอบได้ไม่ใช่แค่คะแนน แต่รวมถึงเหตุผลจริงเบื้องหลัง คุณสามารถเรียกดูทุก ๆ rollout ได้ในรีโพซิทอรี GitHub ของ DeepSWE
กระดานผู้นำของ DeepSWE ทำงานอย่างไร
กระดานผู้นำที่ deepswe.datacurve.ai ไม่ได้เป็นเพียงการจัดอันดับ แต่มันคือ ตารางการตั้งค่า และเมื่อเข้าใจเช่นนั้น วิธีอ่านก็จะเปลี่ยนไป
อัตราผ่าน
เมตริกหลักคือ pass@1: สัดส่วนของงานที่โมเดลแก้ได้ตั้งแต่ความพยายามแรก บนกระดานสาธารณะหลายแห่ง โมเดลระดับท็อปมักกระจุกตัวในช่วงแคบ ๆ DeepSWE ถูกสร้างมาให้สะท้อนประสบการณ์จริงของนักพัฒนาที่ใช้เอเจนต์ในชีวิตประจำวัน ซึ่งหมายถึงช่องว่างที่กว้างกว่ามากระหว่างผู้ที่ทำได้ดีที่สุดกับแย่ที่สุด
ความพยายามในการให้เหตุผล
โมเดลเดียวกันสามารถปรากฏหลายครั้งด้วยการตั้งค่าความพยายามในการให้เหตุผลที่ต่างกัน (high, xhigh, max) และให้คะแนนที่ต่างกันอย่างมีนัยยะ โดยทั่วไปความพยายามที่สูงกว่าหมายถึงการใช้โทเคนมากขึ้นและมีค่าใช้จ่ายต่อหนึ่งงานสูงขึ้น การแลกเปลี่ยนนั้นคุ้มค่าหรือไม่ขึ้นกับกรณีการใช้งาน
ต้นทุนต่อหนึ่งงาน
เกณฑ์ติดตามประสิทธิภาพการใช้โทเคนและต้นทุน โมเดลที่ได้ 70% ที่ $4 ต่อหนึ่งงาน เทียบกับโมเดลที่ได้ 68% ที่ $1.50 ต่อหนึ่งงาน ส่งสารที่ต่างกันมากสำหรับทีมที่คิดเรื่องนำไปใช้จริง
โทเคนและจำนวนก้าวของเอเจนต์
การใช้โทเคนและจำนวนขั้นตอนการใช้เครื่องมือช่วยให้เห็นหน้าต่างของประสิทธิภาพ การตั้งค่าบางแบบจะเขียนและรันเทสต์ของตัวเองอย่างหนัก บน DeepSWE โมเดลแถวหน้าทำเช่นนี้มากถึง 85% ของการรัน พฤติกรรมการตรวจสอบตัวเองนี้เป็นหนึ่งในตัวชี้วัดที่ชัดเจนที่สุดที่แยกเอเจนต์ที่แข็งแกร่งออกจากเอเจนต์ที่อ่อนกว่า
การตั้งค่าการประเมิน
คะแนนบนกระดานผู้นำขึ้นกับการตั้งค่า โมเดล ฮาร์เนสของเอเจนต์ เครื่องมือที่มี และการตั้งค่าการรัน ล้วนมีอิทธิพลต่อประสิทธิภาพ การรันโมเดลเดียวกันสองครั้งด้วยฮาร์เนสที่ต่างกันอาจให้ผลต่างกัน
โมเดล AI ใดทำได้ดีที่สุดบน DeepSWE?
ตารางด้านล่างสะท้อนกระดานผู้นำ DeepSWE v1.1 อย่างเป็นทางการ ณ วันที่ 22 กันยายน 2026 ผลเหล่านี้เป็นแบบผูกกับการตั้งค่า ไม่ใช่อันดับสากล ทุกคะแนนมีช่วงความเชื่อมั่น 95% ประมาณ ±3-4 จุดเปอร์เซ็นต์บนเกณฑ์ 113 งาน
|
โมเดล
|
DeepSWE v1.1 pass@1
|
|
GPT-6 Astra (xhigh)
|
74%
|
|
Gemini 3.8 Flash (high)
|
74%
|
|
Claude Opus 5 (max)
|
74%
|
|
GPT-5.6 Sol (max)
|
73%
|
|
Claude Fable 5 (xhigh)
|
70%
|
|
GLM-5.3 (max)
|
69%
|
มีสามโมเดลที่ 74% ฟังดูเหมือนเสมอกันสามทาง แต่ช่วงความเชื่อมั่นและความแตกต่างด้านการตั้งค่าทำให้การตีความนั้นไม่มั่นคง ห้องแล็บต่าง ๆ ยังคงเผยแพร่ตัวเลข DeepSWE 1.1 สำหรับโมเดลอย่าง GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon และอื่น ๆ นับตั้งแต่การอัปเดตบอร์ดอย่างเป็นทางการครั้งล่าสุด ทำให้ภาพการแข่งขันเปลี่ยนเร็วกว่าที่กระดานผู้นำอย่างเป็นทางการสะท้อน ช่องว่างหนึ่งหรือสองจุดเปอร์เซ็นต์ระหว่างผู้ทำคะแนนสูงสุดไม่ใช่สัญญาณที่มีความหมาย ไม่ใช่บนเกณฑ์ 113 งาน และไม่ใช่เมื่อพิจารณาปัญหาการให้คะแนนด้านล่าง
DeepSWE เทียบกับเกณฑ์การเขียนโค้ด AI อื่น
DeepSWE เทียบกับ SWE-bench
SWE-bench วางกรอบการประเมินวิศวกรรมซอฟต์แวร์เป็นการแก้ปัญหา GitHub จริง กับงาน 2,294 อินสแตนซ์ที่ดึงมาจาก pull request ที่ถูกรวม งานนั้นเป็นของจริง แต่ที่มาดังกล่าวก่อให้เกิดปัญหาการปนเปื้อน: วิธีแก้อยู่สาธารณะในรีโพซิทอรีเดียวกับที่โมเดลถูกฝึกมา DeepSWE ใช้งานต้นฉบับที่เขียนขึ้นมาเพื่อหลีกเลี่ยงสิ่งนี้ ข้อแลกเปลี่ยนคือขนาด: 113 งาน เทียบกับหลักหลายพัน
DeepSWE เทียบกับ SWE-bench Pro
SWE-bench Pro ไปไกลกว่ารุ่นดั้งเดิม แต่มีปัญหาการให้คะแนนที่กลายเป็นเรื่องใหญ่ การตรวจสอบของ Datacurve พบว่าเกรดเดอร์อัตโนมัติของ SWE-bench Pro ปฏิเสธคำตอบที่ถูกต้อง 24% และยอมรับคำตอบที่ผิด 8.5% ซึ่งหมายความว่าประมาณหนึ่งในสามของการตัดสินผ่าน/ไม่ผ่านน่ากังขา Claude Opus ยังแสดงแนวโน้มที่จะกู้คืนคำตอบทองจากประวัติ git มากกว่า 12% ของการทดลอง SWE-bench Pro ซึ่งวิธี shallow-clone ของ DeepSWE ป้องกันได้ จำนวนงานที่มากกว่าของ SWE-bench Pro เป็นข้อได้เปรียบจริงด้านความเชื่อมั่นเชิงสถิติ ส่วนการให้คะแนนที่สะอาดกว่าของ DeepSWE เป็นข้อได้เปรียบด้านความถูกต้องของผลลัพธ์ ยังไม่มีผู้ชนะที่ชัดเจนตรงนี้
DeepSWE เทียบกับ Terminal-Bench
Terminal-Bench 4.0 เป็นเกณฑ์ 66 งานในสภาพแวดล้อมเทอร์มินัล ครอบคลุม 7 โดเมน: ซอฟต์แวร์ วิทยาศาสตร์ แมชีนเลิร์นนิง โอเปอเรชัน ฮาร์ดแวร์ ความปลอดภัย และมีเดีย ขณะที่ DeepSWE ประเมินระดับรีโพซิทอรีของวิศวกรรมซอฟต์แวร์ Terminal-Bench ประเมินงานเทคนิครอบด้านในเทอร์มินัล และมีเพียง 18 งานเท่านั้นที่เป็นงานซอฟต์แวร์ คะแนนของ Terminal-Bench ผูกกับคู่โมเดล-ฮาร์เนส ทำให้เป็นการเปรียบเทียบเครื่องมือบางส่วน ส่วน DeepSWE คงฮาร์เนสไว้คงที่และบอกเล่าเรื่องของโมเดล ทั้งสองถูกจัดเรตว่า Flawed โดย Epoch AI โดย Terminal-Bench 4.0 มีข้อบกพร่องใน 30 จาก 66 งาน
| | Terminal-Bench 4.0 |
|---|
| แหล่งที่มาของงาน | ชุมชนมีส่วนร่วม ผู้ดูแลตรวจทาน |
| จำนวนงาน | 66 |
| โฟกัสหลัก | งานเทอร์มินัลแบบครบวงจร เจ็ดโดเมน |
| การให้คะแนน | ตัวตรวจสอบตรวจสภาพสุดท้ายของระบบ |
| ความเสี่ยงการปนเปื้อน | ต่ำถึงปานกลาง |
DeepSWE เชื่อถือได้แค่ไหน?
ด้านจุดแข็ง: งานต้นฉบับช่วยลดความเสี่ยงการปนเปื้อนได้มาก ตัวตรวจสอบเชิงพฤติกรรมแม่นยำกว่า SWE-bench Pro และเส้นทางที่เผยแพร่ทำให้ผลลัพธ์ตรวจสอบย้อนกลับได้ บริษัทเกณฑ์อิสระ Artificial Analysis ได้แทนที่ SWE-bench Pro ด้วย DeepSWE ในดัชนี Intelligence และ Coding Agent (เป็นการรับรองที่มีนัยยะจากองค์กรที่ไม่มีส่วนได้เสียในความสำเร็จของ Datacurve)
ด้านปัญหา: การทบทวนอิสระระบุข้อบกพร่องในการให้คะแนนอย่างน้อย 23 จาก 113 งาน เกินเกณฑ์ที่ทำให้ระบุว่าเป็นเกณฑ์ Flawed การทบทวนเผยแพร่เมื่อ 7 กันยายน 2026 โดย Epoch AI ในโครงการ Benchmark Reviews อิสระของตน ข้อบกพร่องส่วนใหญ่เกิดจากเทสต์ที่ซ่อนอยู่ชนกับเทสต์ที่เอเจนต์เขียน เป็นปัญหาเชิงโครงสร้างที่ตัวตรวจสอบของ DeepSWE นำการส่งงานไปใช้ กู้ไฟล์ที่ระบุในแพตช์เทสต์ จากนั้นรันชุดเทสต์จากรีโพซิทอรีที่ส่งมาและให้เกรดตามรายงาน ส่งผลให้โครงสร้างพื้นฐานการทดสอบบางส่วนอยู่ภายใต้การควบคุมของผู้ส่งงาน
นี่ไม่ได้ทำให้ DeepSWE ใช้การไม่ได้ แต่มันทำให้การจัดอันดับแบบละเอียดไม่เชื่อถือได้ ลำดับกว้าง ๆ ระหว่างโมเดลน่าจะมีความหมาย ส่วนช่องว่างหนึ่งหรือสองจุดเปอร์เซ็นต์ระหว่างการตั้งค่าไม่น่าถือเป็นสัญญาณที่มีนัยยะ
DeepSWE บอกอะไรเราเกี่ยวกับเอเจนต์ AI เขียนโค้ด
โมเดลที่ทำได้ดีบน DeepSWE ไม่ได้แค่เขียนฟังก์ชันได้ดีขึ้น พวกมันกำลังนำทางโค้ดเบสที่ไม่คุ้นเคย วางแผนการเปลี่ยนแปลงหลายขั้น และตรวจสอบตัวเองผ่านเทสต์ แต่ละครอบครัวของโมเดล AI ก็ล้มเหลวในรูปแบบเฉพาะของตัวเอง Datacurve รายงานว่าสัดส่วนมากของความล้มเหลวของ Claude บน DeepSWE เป็นรูปแบบ "ปล่อยเพียงกิ่งเดียว" คือการนำไปใช้บางส่วนที่ตอบสนองได้เพียงบางข้อกำหนด รูปแบบความล้มเหลวนี้ต่างจากของ GPT และต่างจากของ Gemini อีกที
ความพยายามในการให้เหตุผล ต้นทุน และประสิทธิภาพ โต้ตอบกันในแบบที่สรุปง่าย ๆ ไม่ได้ ขีดจำกัดจำนวนก้าวแทบไม่เป็นข้อผูกมัด: มีเพียง 67 จาก 7,174 rollout ที่มีคะแนนเท่านั้นที่ชนเพดาน โทเคนมากขึ้นและก้าวมากขึ้นไม่ได้ทำให้งานสำเร็จมากขึ้นอย่างสม่ำเสมอ ซึ่งควรรู้ไว้ก่อนตั้งค่าเอเจนต์เพื่อใช้งานจริง
ความจริงที่ยากกว่าคือ แม้ความก้าวหน้าในเกณฑ์ทดสอบจะจริง แต่ก็ไม่ได้ยืนยันว่าเอเจนต์สามารถดูแลระบบโปรดักชันที่ซับซ้อนได้อย่างอิสระ อัตราผ่าน 74% บน 113 งานที่ออกแบบมาอย่างรอบคอบบอกอะไรที่มีนัยยะเกี่ยวกับความสามารถเชิงเปรียบเทียบของโมเดล แต่มันไม่ได้บอกว่าเอเจนต์จะไว้ใจได้แบบไม่มีผู้ดูแลในโค้ดเบสโปรดักชัน จัดการข้อกำหนดที่คลุมเครือ หรือรับมือพลวัตทางสังคมของทีมวิศวกรรมจริง ๆ ช่องว่างเหล่านี้ยังไม่มีเกณฑ์ไหนวัดได้ในปัจจุบัน
ข้อสรุป
DeepSWE คือการปรับปรุงอย่างแท้จริงเหนือเกณฑ์ที่ออกแบบมาเพื่อมาแทน งานต้นฉบับ การตรวจสอบเชิงพฤติกรรม และเส้นทางที่เผยแพร่ ทำให้เชื่อถือได้มากกว่า SWE-bench Pro สำหรับการเปรียบเทียบโมเดลแนวหน้าบนงานวิศวกรรมที่ยาก อัตราผ่านของ DeepSWE ครอบคลุมช่วงประมาณ 70 จุดเปอร์เซ็นต์จากแย่สุดถึงดีที่สุด เทียบกับประมาณ 30 จุดบนคะแนน SWE-bench Pro ที่รายงานสาธารณะ และการแยกที่กว้างกว่านั้นเป็นของจริงและให้ข้อมูล
แต่อ่านผลบนกระดานผู้นำต้องระวัง การตั้งค่าสำคัญอย่างยิ่ง: ความพยายามในการให้เหตุผล ต้นทุน และการเลือกฮาร์เนส ล้วนเขยิบคะแนนได้ และการทบทวนการให้คะแนนโดยอิสระพบข้อบกพร่องเกิน 20% ของงาน เพียงพอที่จะมองว่าการจัดอันดับแบบละเอียดเป็นเชิงทิศทางมากกว่าข้อสรุปเด็ดขาด การออกแบบเกณฑ์ยังคงยากจริง และ DeepSWE เป็นความพยายามที่ซื่อสัตย์ต่อปัญหาที่ยังไม่มีคำตอบที่สะอาด
หากต้องการเพิ่มพูนทักษะที่เกณฑ์อย่าง DeepSWE ตั้งใจจะวัด คอร์ส AI-Assisted Coding for Developers ของเราครอบคลุมการออกแบบพรอมป์ต การดีบัก และเวิร์กโฟลว์การทดสอบกับผู้ช่วยเขียนโค้ด AI และคอร์สต่อยอด Advanced AI-Assisted Coding for Developers เจาะลึกการวิเคราะห์โค้ดเบส การเพิ่มประสิทธิภาพ และความปลอดภัย งานวิศวกรรมหลายขั้นที่เอเจนต์ที่ทำคะแนนสูงวันนี้ยังคงลำบาก
ทุก ๆ ไม่กี่เดือน จะมีเกณฑ์การทดสอบการเขียนโค้ดตัวใหม่เปิดตัวพร้อมคำสัญญาเดิม ๆ: ต้นฉบับ ปราศจากการปนเปื้อน เป็นมาตรวัดความสามารถด้านวิศวกรรมของ AI ที่แท้ที่สุดจนถึงตอนนี้
DeepSWE แตกต่างออกไป ไม่ใช่เพราะคำกล่าวอ้างเหล่านั้นผิด แต่เพราะมีหลักฐานรองรับจริง และเพราะ Datacurve เปิดเผยอย่างผิดปกติเกี่ยวกับข้อจำกัดที่เกณฑ์นี้ยังมีอยู่ มาดูกันใกล้ ๆ
DeepSWE คืออะไร?
DeepSWE เป็นเกณฑ์การทดสอบการเขียนโค้ดที่ปราศจากการปนเปื้อนจาก Datacurve ซึ่งทดสอบ LLM แนวหน้าบนงานวิศวกรรมซอฟต์แวร์แบบระยะยาว 113 งาน ครอบคลุม 91 รีโพซิทอรีและ 5 ภาษา ได้แก่ TypeScript, Go, Python, JavaScript และ Rust เปิดตัวเมื่อพฤษภาคมที่ผ่านมาในฐานะผลิตภัณฑ์สาธารณะตัวแรกของ Datacurve
เพื่อให้ชัดเจน DeepSWE เป็นเกณฑ์ประเมิน ไม่ใช่โมเดล AI หรือเอเจนต์เขียนโค้ด มันไม่เขียนโค้ด แต่ประเมินเอเจนต์ที่ทำเช่นนั้น เป้าหมายคือวัดว่าโมเดลภาษาขนาดใหญ่สามารถรับมือกับงานวิศวกรรมซอฟต์แวร์ที่ซับซ้อนในโลกจริงได้หรือไม่ โดยใช้งานต้นฉบับที่เขียนขึ้นเฉพาะสำหรับเกณฑ์นี้ แทนที่จะดึงมาจากคำขอ pull request ที่ถูกรวมเข้าก่อนหน้าใน GitHub
เพื่อจุดประสงค์นั้น DeepSWE ขีดเส้นแบ่งชัดเจนระหว่างการสร้างโค้ดกับการเขียนโค้ดแบบเอเจนต์ การสร้างโค้ดคือการผลิตฟังก์ชันในกล่องข้อความ ส่วนการเขียนโค้ดแบบเอเจนต์หมายถึงการอ่านรีโพซิทอรี ทำความเข้าใจการเชื่อมโยงของชิ้นส่วนต่าง ๆ เขียนโค้ดที่โต้ตอบกับระบบที่มีอยู่ รันเทสต์ และทำซ้ำปรับปรุง
DeepSWE ทำงานอย่างไร
เอเจนต์ที่ถูกประเมินบน DeepSWE ไม่ได้แค่รับพรอมป์ตแล้วเขียนโค้ดในสุญญากาศ มันทำงานภายในสภาพแวดล้อมการพัฒนาซอฟต์แวร์จริง:
DeepSWE ใช้ mini-swe-agent (ฮาร์เนสที่สร้างโดยทีม Princeton และ Stanford ผู้อยู่เบื้องหลัง SWE-bench และ SWE-agent) และคงที่เหมือนกันทุกโมเดล ควรสังเกตว่า คะแนน DeepSWE ของโมเดลสะท้อนประสิทธิภาพภายใต้การตั้งค่าเฉพาะ ไม่ใช่มาตรวัดความสามารถในการเขียนโค้ดในนามธรรม
อะไรทำให้ DeepSWE แตกต่าง?
มีเกณฑ์การทดสอบการเขียนโค้ดมากมาย และส่วนใหญ่เริ่มจะคล้ายกัน นี่คือสิ่งที่ทำให้ DeepSWE แตกต่างจริง ๆ
งานวิศวกรรมซอฟต์แวร์ต้นฉบับ
ความต่างหลักของ DeepSWE จาก SWE-bench และสายพันธุ์ต่าง ๆ คือการควบคุมการปนเปื้อน ทุกงานถูกเขียนขึ้นใหม่ทั้งหมดโดยวิศวกรของ Datacurve ไม่ได้ดัดแปลงจากคอมมิตหรือ pull request ที่มีอยู่ใน GitHub ประเด็นความกังวลเรื่องการปนเปื้อนนั้นตรงไปตรงมา: หากโมเดลถูกฝึกบนข้อมูลที่มีทั้งประเด็นใน GitHub และคำตอบสุดท้าย โมเดลไม่ได้แก้ปัญหา แต่กำลังเรียกคืนคำตอบ DeepSWE ทำ shallow-clone ที่คอมมิตฐาน จึงไม่มีแฮชของวิธีแก้ที่ถูกรวมให้อ่าน ปิดช่องโหว่ที่เคยใช้ได้ใน SWE-bench Pro
ปัญหาวิศวกรรมระยะยาว
งานของ SWE-bench Pro ต้องแก้โค้ดเฉลี่ย 120 บรรทัดครอบคลุม 5 ไฟล์ ส่วนวิธีแก้อ้างอิงของ DeepSWE เฉลี่ยเพิ่ม 668 บรรทัดครอบคลุม 7 ไฟล์ ใหญ่กว่าประมาณ 5.5 เท่า งานเหล่านี้ไม่ใช่การแก้ฟังก์ชันเดียว แต่เป็นการเปลี่ยนแปลงที่ประสานกันข้ามหลายไฟล์ ซึ่งต้องเข้าใจจริง ๆ ว่าโค้ดเบสประกอบกันอย่างไร พรอมป์ตสั้นลง แต่วิธีแก้ใหญ่ขึ้น
ตัวตรวจสอบแบบกำหนดเอง
แต่ละงานถูกให้คะแนนโดยตัวตรวจสอบที่เขียนด้วยมือ เพื่อตรวจฟังก์ชันที่ร้องขอและยอมรับการนำไปใช้ใด ๆ ที่ส่งมอบฟังก์ชันนั้นได้ แตกต่างจากการให้คะแนนด้วยเทสต์ ซึ่งเกณฑ์คือการผ่านเคสทดสอบที่เฉพาะเจาะจง ตัวตรวจสอบของ DeepSWE ตรวจพฤติกรรม ไม่ใช่การนำไปใช้ เมื่อให้ LLM อิสระตรวจทานรันที่ให้คะแนนอีกครั้ง พบว่ามีความเห็นไม่ตรงกับตัวตรวจสอบของ DeepSWE น้อยกว่าของเทสต์ที่สืบทอดจาก SWE-bench Pro ประมาณหนึ่งลำดับขั้น (1.4% เทียบกับ 32.4%)
การประเมินที่ทำซ้ำได้
การปรับเป็น v1.1 ของ DeepSWE ทำให้แข็งแรงยิ่งขึ้น โดยให้คะแนนเฉพาะแพตช์ที่คอมมิตในคอนเทนเนอร์ตัวตรวจสอบที่สะอาดและแยกขาด และนำเสนอเวิร์กสเปซ git บน main ที่เป็นธรรมชาติมากขึ้น เส้นทางการประเมินที่เผยแพร่ช่วยให้ทุกคนตรวจสอบได้ไม่ใช่แค่คะแนน แต่รวมถึงเหตุผลจริงเบื้องหลัง คุณสามารถเรียกดูทุก ๆ rollout ได้ในรีโพซิทอรี GitHub ของ DeepSWE
กระดานผู้นำของ DeepSWE ทำงานอย่างไร
กระดานผู้นำที่ deepswe.datacurve.ai ไม่ได้เป็นเพียงการจัดอันดับ แต่มันคือ ตารางการตั้งค่า และเมื่อเข้าใจเช่นนั้น วิธีอ่านก็จะเปลี่ยนไป
อัตราผ่าน
เมตริกหลักคือ pass@1: สัดส่วนของงานที่โมเดลแก้ได้ตั้งแต่ความพยายามแรก บนกระดานสาธารณะหลายแห่ง โมเดลระดับท็อปมักกระจุกตัวในช่วงแคบ ๆ DeepSWE ถูกสร้างมาให้สะท้อนประสบการณ์จริงของนักพัฒนาที่ใช้เอเจนต์ในชีวิตประจำวัน ซึ่งหมายถึงช่องว่างที่กว้างกว่ามากระหว่างผู้ที่ทำได้ดีที่สุดกับแย่ที่สุด
ความพยายามในการให้เหตุผล
โมเดลเดียวกันสามารถปรากฏหลายครั้งด้วยการตั้งค่าความพยายามในการให้เหตุผลที่ต่างกัน (high, xhigh, max) และให้คะแนนที่ต่างกันอย่างมีนัยยะ โดยทั่วไปความพยายามที่สูงกว่าหมายถึงการใช้โทเคนมากขึ้นและมีค่าใช้จ่ายต่อหนึ่งงานสูงขึ้น การแลกเปลี่ยนนั้นคุ้มค่าหรือไม่ขึ้นกับกรณีการใช้งาน
ต้นทุนต่อหนึ่งงาน
เกณฑ์ติดตามประสิทธิภาพการใช้โทเคนและต้นทุน โมเดลที่ได้ 70% ที่ $4 ต่อหนึ่งงาน เทียบกับโมเดลที่ได้ 68% ที่ $1.50 ต่อหนึ่งงาน ส่งสารที่ต่างกันมากสำหรับทีมที่คิดเรื่องนำไปใช้จริง
โทเคนและจำนวนก้าวของเอเจนต์
การใช้โทเคนและจำนวนขั้นตอนการใช้เครื่องมือช่วยให้เห็นหน้าต่างของประสิทธิภาพ การตั้งค่าบางแบบจะเขียนและรันเทสต์ของตัวเองอย่างหนัก บน DeepSWE โมเดลแถวหน้าทำเช่นนี้มากถึง 85% ของการรัน พฤติกรรมการตรวจสอบตัวเองนี้เป็นหนึ่งในตัวชี้วัดที่ชัดเจนที่สุดที่แยกเอเจนต์ที่แข็งแกร่งออกจากเอเจนต์ที่อ่อนกว่า
การตั้งค่าการประเมิน
คะแนนบนกระดานผู้นำขึ้นกับการตั้งค่า โมเดล ฮาร์เนสของเอเจนต์ เครื่องมือที่มี และการตั้งค่าการรัน ล้วนมีอิทธิพลต่อประสิทธิภาพ การรันโมเดลเดียวกันสองครั้งด้วยฮาร์เนสที่ต่างกันอาจให้ผลต่างกัน
โมเดล AI ใดทำได้ดีที่สุดบน DeepSWE?
ตารางด้านล่างสะท้อนกระดานผู้นำ DeepSWE v1.1 อย่างเป็นทางการ ณ วันที่ 22 กันยายน 2026 ผลเหล่านี้เป็นแบบผูกกับการตั้งค่า ไม่ใช่อันดับสากล ทุกคะแนนมีช่วงความเชื่อมั่น 95% ประมาณ ±3-4 จุดเปอร์เซ็นต์บนเกณฑ์ 113 งาน
โมเดล
DeepSWE v1.1 pass@1
GPT-6 Astra (xhigh)
74%
Gemini 3.8 Flash (high)
74%
Claude Opus 5 (max)
74%
GPT-5.6 Sol (max)
73%
Claude Fable 5 (xhigh)
70%
GLM-5.3 (max)
69%
มีสามโมเดลที่ 74% ฟังดูเหมือนเสมอกันสามทาง แต่ช่วงความเชื่อมั่นและความแตกต่างด้านการตั้งค่าทำให้การตีความนั้นไม่มั่นคง ห้องแล็บต่าง ๆ ยังคงเผยแพร่ตัวเลข DeepSWE 1.1 สำหรับโมเดลอย่าง GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon และอื่น ๆ นับตั้งแต่การอัปเดตบอร์ดอย่างเป็นทางการครั้งล่าสุด ทำให้ภาพการแข่งขันเปลี่ยนเร็วกว่าที่กระดานผู้นำอย่างเป็นทางการสะท้อน ช่องว่างหนึ่งหรือสองจุดเปอร์เซ็นต์ระหว่างผู้ทำคะแนนสูงสุดไม่ใช่สัญญาณที่มีความหมาย ไม่ใช่บนเกณฑ์ 113 งาน และไม่ใช่เมื่อพิจารณาปัญหาการให้คะแนนด้านล่าง
DeepSWE เทียบกับเกณฑ์การเขียนโค้ด AI อื่น
DeepSWE เทียบกับ SWE-bench
SWE-bench วางกรอบการประเมินวิศวกรรมซอฟต์แวร์เป็นการแก้ปัญหา GitHub จริง กับงาน 2,294 อินสแตนซ์ที่ดึงมาจาก pull request ที่ถูกรวม งานนั้นเป็นของจริง แต่ที่มาดังกล่าวก่อให้เกิดปัญหาการปนเปื้อน: วิธีแก้อยู่สาธารณะในรีโพซิทอรีเดียวกับที่โมเดลถูกฝึกมา DeepSWE ใช้งานต้นฉบับที่เขียนขึ้นมาเพื่อหลีกเลี่ยงสิ่งนี้ ข้อแลกเปลี่ยนคือขนาด: 113 งาน เทียบกับหลักหลายพัน
DeepSWE เทียบกับ SWE-bench Pro
SWE-bench Pro ไปไกลกว่ารุ่นดั้งเดิม แต่มีปัญหาการให้คะแนนที่กลายเป็นเรื่องใหญ่ การตรวจสอบของ Datacurve พบว่าเกรดเดอร์อัตโนมัติของ SWE-bench Pro ปฏิเสธคำตอบที่ถูกต้อง 24% และยอมรับคำตอบที่ผิด 8.5% ซึ่งหมายความว่าประมาณหนึ่งในสามของการตัดสินผ่าน/ไม่ผ่านน่ากังขา Claude Opus ยังแสดงแนวโน้มที่จะกู้คืนคำตอบทองจากประวัติ git มากกว่า 12% ของการทดลอง SWE-bench Pro ซึ่งวิธี shallow-clone ของ DeepSWE ป้องกันได้ จำนวนงานที่มากกว่าของ SWE-bench Pro เป็นข้อได้เปรียบจริงด้านความเชื่อมั่นเชิงสถิติ ส่วนการให้คะแนนที่สะอาดกว่าของ DeepSWE เป็นข้อได้เปรียบด้านความถูกต้องของผลลัพธ์ ยังไม่มีผู้ชนะที่ชัดเจนตรงนี้
DeepSWE เทียบกับ Terminal-Bench
Terminal-Bench 4.0 เป็นเกณฑ์ 66 งานในสภาพแวดล้อมเทอร์มินัล ครอบคลุม 7 โดเมน: ซอฟต์แวร์ วิทยาศาสตร์ แมชีนเลิร์นนิง โอเปอเรชัน ฮาร์ดแวร์ ความปลอดภัย และมีเดีย ขณะที่ DeepSWE ประเมินระดับรีโพซิทอรีของวิศวกรรมซอฟต์แวร์ Terminal-Bench ประเมินงานเทคนิครอบด้านในเทอร์มินัล และมีเพียง 18 งานเท่านั้นที่เป็นงานซอฟต์แวร์ คะแนนของ Terminal-Bench ผูกกับคู่โมเดล-ฮาร์เนส ทำให้เป็นการเปรียบเทียบเครื่องมือบางส่วน ส่วน DeepSWE คงฮาร์เนสไว้คงที่และบอกเล่าเรื่องของโมเดล ทั้งสองถูกจัดเรตว่า Flawed โดย Epoch AI โดย Terminal-Bench 4.0 มีข้อบกพร่องใน 30 จาก 66 งาน
DeepSWE เชื่อถือได้แค่ไหน?
ด้านจุดแข็ง: งานต้นฉบับช่วยลดความเสี่ยงการปนเปื้อนได้มาก ตัวตรวจสอบเชิงพฤติกรรมแม่นยำกว่า SWE-bench Pro และเส้นทางที่เผยแพร่ทำให้ผลลัพธ์ตรวจสอบย้อนกลับได้ บริษัทเกณฑ์อิสระ Artificial Analysis ได้แทนที่ SWE-bench Pro ด้วย DeepSWE ในดัชนี Intelligence และ Coding Agent (เป็นการรับรองที่มีนัยยะจากองค์กรที่ไม่มีส่วนได้เสียในความสำเร็จของ Datacurve)
ด้านปัญหา: การทบทวนอิสระระบุข้อบกพร่องในการให้คะแนนอย่างน้อย 23 จาก 113 งาน เกินเกณฑ์ที่ทำให้ระบุว่าเป็นเกณฑ์ Flawed การทบทวนเผยแพร่เมื่อ 7 กันยายน 2026 โดย Epoch AI ในโครงการ Benchmark Reviews อิสระของตน ข้อบกพร่องส่วนใหญ่เกิดจากเทสต์ที่ซ่อนอยู่ชนกับเทสต์ที่เอเจนต์เขียน เป็นปัญหาเชิงโครงสร้างที่ตัวตรวจสอบของ DeepSWE นำการส่งงานไปใช้ กู้ไฟล์ที่ระบุในแพตช์เทสต์ จากนั้นรันชุดเทสต์จากรีโพซิทอรีที่ส่งมาและให้เกรดตามรายงาน ส่งผลให้โครงสร้างพื้นฐานการทดสอบบางส่วนอยู่ภายใต้การควบคุมของผู้ส่งงาน
นี่ไม่ได้ทำให้ DeepSWE ใช้การไม่ได้ แต่มันทำให้การจัดอันดับแบบละเอียดไม่เชื่อถือได้ ลำดับกว้าง ๆ ระหว่างโมเดลน่าจะมีความหมาย ส่วนช่องว่างหนึ่งหรือสองจุดเปอร์เซ็นต์ระหว่างการตั้งค่าไม่น่าถือเป็นสัญญาณที่มีนัยยะ
DeepSWE บอกอะไรเราเกี่ยวกับเอเจนต์ AI เขียนโค้ด
โมเดลที่ทำได้ดีบน DeepSWE ไม่ได้แค่เขียนฟังก์ชันได้ดีขึ้น พวกมันกำลังนำทางโค้ดเบสที่ไม่คุ้นเคย วางแผนการเปลี่ยนแปลงหลายขั้น และตรวจสอบตัวเองผ่านเทสต์ แต่ละครอบครัวของโมเดล AI ก็ล้มเหลวในรูปแบบเฉพาะของตัวเอง Datacurve รายงานว่าสัดส่วนมากของความล้มเหลวของ Claude บน DeepSWE เป็นรูปแบบ "ปล่อยเพียงกิ่งเดียว" คือการนำไปใช้บางส่วนที่ตอบสนองได้เพียงบางข้อกำหนด รูปแบบความล้มเหลวนี้ต่างจากของ GPT และต่างจากของ Gemini อีกที
ความพยายามในการให้เหตุผล ต้นทุน และประสิทธิภาพ โต้ตอบกันในแบบที่สรุปง่าย ๆ ไม่ได้ ขีดจำกัดจำนวนก้าวแทบไม่เป็นข้อผูกมัด: มีเพียง 67 จาก 7,174 rollout ที่มีคะแนนเท่านั้นที่ชนเพดาน โทเคนมากขึ้นและก้าวมากขึ้นไม่ได้ทำให้งานสำเร็จมากขึ้นอย่างสม่ำเสมอ ซึ่งควรรู้ไว้ก่อนตั้งค่าเอเจนต์เพื่อใช้งานจริง
ความจริงที่ยากกว่าคือ แม้ความก้าวหน้าในเกณฑ์ทดสอบจะจริง แต่ก็ไม่ได้ยืนยันว่าเอเจนต์สามารถดูแลระบบโปรดักชันที่ซับซ้อนได้อย่างอิสระ อัตราผ่าน 74% บน 113 งานที่ออกแบบมาอย่างรอบคอบบอกอะไรที่มีนัยยะเกี่ยวกับความสามารถเชิงเปรียบเทียบของโมเดล แต่มันไม่ได้บอกว่าเอเจนต์จะไว้ใจได้แบบไม่มีผู้ดูแลในโค้ดเบสโปรดักชัน จัดการข้อกำหนดที่คลุมเครือ หรือรับมือพลวัตทางสังคมของทีมวิศวกรรมจริง ๆ ช่องว่างเหล่านี้ยังไม่มีเกณฑ์ไหนวัดได้ในปัจจุบัน
ข้อสรุป
DeepSWE คือการปรับปรุงอย่างแท้จริงเหนือเกณฑ์ที่ออกแบบมาเพื่อมาแทน งานต้นฉบับ การตรวจสอบเชิงพฤติกรรม และเส้นทางที่เผยแพร่ ทำให้เชื่อถือได้มากกว่า SWE-bench Pro สำหรับการเปรียบเทียบโมเดลแนวหน้าบนงานวิศวกรรมที่ยาก อัตราผ่านของ DeepSWE ครอบคลุมช่วงประมาณ 70 จุดเปอร์เซ็นต์จากแย่สุดถึงดีที่สุด เทียบกับประมาณ 30 จุดบนคะแนน SWE-bench Pro ที่รายงานสาธารณะ และการแยกที่กว้างกว่านั้นเป็นของจริงและให้ข้อมูล
แต่อ่านผลบนกระดานผู้นำต้องระวัง การตั้งค่าสำคัญอย่างยิ่ง: ความพยายามในการให้เหตุผล ต้นทุน และการเลือกฮาร์เนส ล้วนเขยิบคะแนนได้ และการทบทวนการให้คะแนนโดยอิสระพบข้อบกพร่องเกิน 20% ของงาน เพียงพอที่จะมองว่าการจัดอันดับแบบละเอียดเป็นเชิงทิศทางมากกว่าข้อสรุปเด็ดขาด การออกแบบเกณฑ์ยังคงยากจริง และ DeepSWE เป็นความพยายามที่ซื่อสัตย์ต่อปัญหาที่ยังไม่มีคำตอบที่สะอาด
หากต้องการเพิ่มพูนทักษะที่เกณฑ์อย่าง DeepSWE ตั้งใจจะวัด คอร์ส AI-Assisted Coding for Developers ของเราครอบคลุมการออกแบบพรอมป์ต การดีบัก และเวิร์กโฟลว์การทดสอบกับผู้ช่วยเขียนโค้ด AI และคอร์สต่อยอด Advanced AI-Assisted Coding for Developers เจาะลึกการวิเคราะห์โค้ดเบส การเพิ่มประสิทธิภาพ และความปลอดภัย งานวิศวกรรมหลายขั้นที่เอเจนต์ที่ทำคะแนนสูงวันนี้ยังคงลำบาก