Giải thích DeepSWE: Cách bộ kiểm chuẩn viết mã AI hoạt động

Cứ vài tháng, một bộ kiểm chuẩn viết mã mới lại xuất hiện với lời hứa quen thuộc: nguyên bản, không nhiễm bẩn dữ liệu, là thước đo chuẩn xác nhất cho kỹ thuật AI.

DeepSWE thì khác. Không phải vì các tuyên bố kia sai, mà vì có bằng chứng thực sự đứng sau, và vì Datacurve thẳng thắn hiếm thấy về những điểm bộ kiểm chuẩn vẫn còn hạn chế. Hãy cùng xem.

DeepSWE là gì?

DeepSWE là một bộ kiểm chuẩn viết mã không nhiễm bẩn dữ liệu từ Datacurve, kiểm tra các LLM tiên phong trên 113 tác vụ kỹ thuật phần mềm nguyên bản, dài hạn, trải rộng 91 kho mã và năm ngôn ngữ: TypeScript, Go, Python, JavaScript và Rust. Bộ kiểm chuẩn ra mắt vào tháng Năm vừa qua như sản phẩm công khai đầu tiên của Datacurve.

Cần nói rõ: DeepSWE là bộ kiểm chuẩn, không phải mô hình AI hay tác nhân viết mã. Nó không viết mã. Nó đánh giá các tác nhân thực hiện việc đó. Mục tiêu là đo lường xem các mô hình ngôn ngữ lớn có xử lý được các tác vụ kỹ thuật phần mềm phức tạp trong thế giới thực hay không, bằng các bài toán nguyên bản được viết riêng cho bộ kiểm chuẩn thay vì lấy từ các pull request đã được hợp nhất trên GitHub.

Vì thế, DeepSWE vạch rõ ranh giới giữa sinh mã và mã tác nhân. Sinh mã là viết ra một hàm trong ô văn bản. Mã tác nhân nghĩa là đọc kho mã, hiểu cách các phần khớp với nhau, viết mã tương tác với hệ thống hiện có, chạy kiểm thử và lặp lại.

DeepSWE hoạt động như thế nào

Một tác nhân được đánh giá trên DeepSWE không chỉ nhận một nhắc lệnh rồi viết mã trong khoảng trống. Nó vận hành trong một môi trường phát triển phần mềm sống:

1. Tác nhân nhận mô tả tác vụ (trung bình khoảng 2.158 ký tự, xấp xỉ một nửa độ dài một nhắc lệnh điển hình của SWE-bench Pro).
2. Nó kiểm tra kho mã, điều hướng tệp và hiểu cơ sở mã.
3. Nó chỉnh sửa mã, chạy các lệnh liên quan và thực thi kiểm thử.
4. Nó nộp phần triển khai.
5. DeepSWE đánh giá kết quả bằng một bộ kiểm định riêng cho tác vụ để kiểm tra xem chức năng được yêu cầu có thực sự hiện diện.
6. Kết quả này được tổng hợp vào tỷ lệ pass chung của mô hình trên bộ kiểm chuẩn.

DeepSWE sử dụng mini-swe-agent (bộ khung do nhóm Princeton và Stanford đứng sau SWE-bench và SWE-agent xây dựng) và giữ cố định cho mọi mô hình. Cần lưu ý: điểm DeepSWE của một mô hình phản ánh hiệu năng dưới một cấu hình cụ thể, không phải thước đo trừu tượng về khả năng viết mã.

Điều gì khiến DeepSWE khác biệt?

Có rất nhiều bộ kiểm chuẩn viết mã, và phần lớn đang trở nên na ná nhau. Đây là những điểm thực sự tạo nên khác biệt của DeepSWE.

Tác vụ kỹ thuật phần mềm nguyên bản

Khác biệt chính giữa DeepSWE với SWE-bench và các biến thể là kiểm soát nhiễm bẩn. Mọi tác vụ đều được kỹ sư của Datacurve viết từ đầu, không phải chuyển thể từ các commit hay pull request sẵn có trên GitHub. Lo ngại về nhiễm bẩn rất rõ: nếu một mô hình được huấn luyện trên dữ liệu gồm cả issue trên GitHub lẫn bản vá cuối cùng, thì nó không giải bài toán mà đang hồi tưởng lời giải. DeepSWE thực hiện shallow-clone commit gốc để không có hash bản vá đã hợp nhất để đọc, đóng lại một lỗ hổng từng bị khai thác trên SWE-bench Pro.

Bài toán kỹ thuật dài hạn

Các tác vụ của SWE-bench Pro yêu cầu trung bình 120 dòng mã trên năm tệp. Lời giải tham chiếu của DeepSWE trung bình thêm 668 dòng trên bảy tệp, lớn hơn khoảng 5,5 lần. Đây không phải các bản vá một hàm. Chúng là thay đổi phối hợp trên nhiều tệp, kiểu thay đổi đòi hỏi thật sự hiểu cách một cơ sở mã kết nối với nhau. Nhắc lệnh ngắn hơn, lời giải lớn hơn.

Xác minh tùy chỉnh

Mỗi tác vụ được chấm bằng một bộ kiểm định viết tay, kiểm tra chức năng được yêu cầu và chấp nhận bất kỳ cách triển khai nào đáp ứng được. Điều này khác với chấm dựa trên kiểm thử, nơi tiêu chí là vượt qua các ca kiểm thử cụ thể. Bộ kiểm định của DeepSWE kiểm tra hành vi, không phải cách triển khai. Khi một LLM độc lập rà soát lại các lượt đã chấm, mức bất đồng với bộ kiểm định của DeepSWE thấp hơn cả bậc độ lớn so với kiểm thử kế thừa của SWE-bench Pro (1,4% so với 32,4%).

Đánh giá có thể tái lập

Bản v1.1 của DeepSWE củng cố điều này hơn nữa, chỉ chấm bản vá đã commit trong một container kiểm định cô lập, sạch và trình bày một không gian làm việc git tự nhiên hơn trên nhánh main. Các quỹ đạo đánh giá được công bố cho phép bất kỳ ai kiểm tra không chỉ điểm số mà cả lập luận thực tế đằng sau. Bạn có thể duyệt mọi rollout trên kho GitHub của DeepSWE.

Bảng xếp hạng DeepSWE vận hành ra sao

Bảng xếp hạng tại deepswe.datacurve.ai không chỉ là danh sách thứ hạng. Nó là một bảng cấu hình, và hiểu điều đó sẽ thay đổi cách bạn đọc nó.

Tỷ lệ pass

Chỉ số cốt lõi là pass@1: tỷ lệ tác vụ mô hình giải được ngay ở lần thử đầu tiên. Trên nhiều bảng công khai, các mô hình top tụ lại trong một dải hẹp. DeepSWE được xây dựng để phản ánh cách nhà phát triển thực sự trải nghiệm tác nhân hằng ngày, nghĩa là độ phân tán rộng hơn nhiều giữa kẻ tệ nhất và người giỏi nhất.

Nỗ lực lập luận

Cùng một mô hình có thể xuất hiện nhiều lần với các thiết lập nỗ lực lập luận khác nhau (high, xhigh, max) và cho điểm số khác biệt có ý nghĩa. Nỗ lực cao hơn thường đồng nghĩa tiêu thụ nhiều token hơn và chi phí mỗi tác vụ cao hơn. Đổi chác đó có đáng không còn tùy trường hợp sử dụng của bạn.

Chi phí mỗi tác vụ

Bộ kiểm chuẩn theo dõi hiệu quả token và chi phí. Một mô hình đạt 70% với 4 đô mỗi tác vụ so với mô hình đạt 68% với 1,50 đô mỗi tác vụ sẽ kể hai câu chuyện rất khác cho một đội ngũ đang cân nhắc triển khai sản xuất.

Token và bước tác nhân

Lượng token tiêu thụ và số bước dùng công cụ cho bạn cái nhìn về hiệu suất. Một số cấu hình viết và chạy kiểm thử riêng khá nhiều. Trên DeepSWE, các mô hình top làm điều này tới 85% lượt chạy. Hành vi tự xác minh đó là một trong những dấu hiệu rõ nhất phân tách tác nhân mạnh và yếu.

Cấu hình đánh giá

Điểm trên bảng xếp hạng gắn với cấu hình cụ thể. Mô hình, bộ khung tác nhân, công cụ sẵn có và thiết lập thực thi đều ảnh hưởng hiệu năng. Hai lượt chạy của cùng một mô hình với các bộ khung khác nhau có thể cho kết quả khác nhau. 

Những mô hình AI nào đạt thành tích tốt nhất trên DeepSWE?

Bảng dưới phản ánh bảng xếp hạng chính thức DeepSWE v1.1 tính đến ngày 22 tháng 9, 2026. Đây là các kết quả theo cấu hình cụ thể, không phải xếp hạng phổ quát. Mọi điểm số đều có khoảng tin cậy 95% khoảng ±3–4 điểm phần trăm trên bộ 113 tác vụ.

Ba mô hình ở mức 74% nghe như đồng hạng ba. Nhưng khoảng tin cậy và khác biệt về cấu hình khiến cách đọc đó trở nên mong manh. Các phòng lab liên tục công bố số DeepSWE 1.1 cho các mô hình gồm GPT-6.1 Sol, Claude Opus 5.5, Sonnet 5.5, Gemini 4 Argon và các mô hình khác kể từ lần cập nhật chính thức gần nhất, nên bức tranh cạnh tranh đang dịch chuyển nhanh hơn những gì bảng chính thức bắt kịp. Chênh lệch một hai điểm phần trăm giữa các mô hình dẫn đầu không phải tín hiệu có ý nghĩa, không phải trên bộ 113 tác vụ, và cũng không xét tới các vấn đề chấm điểm nêu dưới đây.

DeepSWE so với các bộ kiểm chuẩn viết mã AI khác

DeepSWE vs. SWE-bench

SWE-bench định hình đánh giá kỹ thuật phần mềm là giải quyết các issue thực trên GitHub qua 2.294 phiên bản tác vụ khai thác từ các pull request đã hợp nhất. Các tác vụ là thật, nhưng nguồn gốc đó tạo ra vấn đề nhiễm bẩn: lời giải có sẵn công khai ngay trong các kho mà mô hình được huấn luyện. Các tác vụ nguyên bản của DeepSWE được viết riêng để tránh điều này. Đánh đổi là quy mô: 113 tác vụ so với hàng nghìn.

DeepSWE vs. SWE-bench Pro

SWE-bench Pro tiến xa hơn bản gốc, nhưng gặp vấn đề chấm điểm hóa ra đáng kể. Kiểm toán của Datacurve phát hiện bộ chấm tự động của SWE-bench Pro từ chối lời giải đúng 24% và chấp nhận lời giải sai 8,5%, nghĩa là xấp xỉ một phần ba quyết định đỗ/trượt là đáng nghi. Claude Opus cũng thể hiện xu hướng khôi phục lời giải vàng từ lịch sử git trong hơn 12% thử nghiệm SWE-bench Pro, điều mà cách shallow-clone của DeepSWE ngăn chặn. Số lượng tác vụ lớn hơn của SWE-bench Pro là lợi thế thực cho độ tin cậy thống kê; chấm điểm sạch hơn của DeepSWE là lợi thế cho tính hợp lệ của kết quả. Không bên nào thắng rõ ràng ở đây.

DeepSWE vs. Terminal-Bench

Terminal-Bench 4.0 là bộ kiểm chuẩn gồm 66 tác vụ trong môi trường terminal trên bảy miền: phần mềm, khoa học, máy học, vận hành, phần cứng, bảo mật và media. Nếu DeepSWE đánh giá kỹ thuật phần mềm ở cấp độ kho mã, thì Terminal-Bench đánh giá công việc kỹ thuật đầu-cuối trong terminal, và chỉ 18 trong số các tác vụ của nó là tác vụ phần mềm. Điểm Terminal-Bench thuộc về một cặp mô hình-và-bộ khung, khiến nó phần nào là so sánh công cụ; DeepSWE giữ cố định bộ khung và cho bạn biết về mô hình. Cả hai đều bị Epoch AI xếp hạng Flawed, Terminal-Bench 4.0 có khiếm khuyết ở 30/66 tác vụ.

DeepSWE đáng tin cậy đến mức nào?

Về điểm mạnh: các tác vụ nguyên bản làm giảm đáng kể rủi ro nhiễm bẩn, các bộ kiểm định hành vi chính xác hơn so với SWE-bench Pro, và các quỹ đạo được công bố giúp kết quả có thể kiểm chứng. Công ty kiểm chuẩn độc lập Artificial Analysis đã thay SWE-bench Pro bằng DeepSWE cho các chỉ số Trí tuệ và Tác nhân viết mã của họ (một sự chứng thực đáng kể từ tổ chức không có lợi ích trong thành công của Datacurve).

Về vấn đề: một rà soát độc lập xác định khiếm khuyết chấm điểm ở ít nhất 23 trong 113 tác vụ, vượt ngưỡng để đánh dấu bộ kiểm chuẩn là Flawed. Bản rà soát được Epoch AI công bố ngày 7 tháng 9 năm 2026 như một phần chương trình Benchmark Reviews độc lập. Khiếm khuyết chủ yếu là các kiểm thử ẩn va chạm với kiểm thử do tác nhân viết, một vấn đề cấu trúc khi bộ kiểm định của DeepSWE áp dụng phần nộp, khôi phục các tệp liệt kê trong bản vá kiểm thử, rồi chạy bộ kiểm thử từ kho được nộp và chấm theo báo cáo của chúng. Điều đó để lại một phần hạ tầng kiểm thử nằm dưới quyền kiểm soát của phần nộp.

Điều này không khiến DeepSWE vô dụng. Nó khiến xếp hạng chi tiết trở nên thiếu tin cậy. Thứ tự rộng giữa các mô hình có lẽ có ý nghĩa; chênh lệch một hai điểm phần trăm giữa các cấu hình thì không.

DeepSWE cho chúng ta biết gì về tác nhân AI viết mã

Những mô hình đạt điểm cao trên DeepSWE không chỉ viết các hàm tốt hơn. Chúng điều hướng các cơ sở mã xa lạ, lập kế hoạch thay đổi nhiều bước và tự xác minh qua kiểm thử. Mỗi họ mô hình AI cũng thất bại theo một cách đặc trưng. Datacurve báo cáo một phần lớn lỗi của Claude trên DeepSWE theo mẫu “một nhánh đã giao”: triển khai một phần thỏa một số nhưng không phải tất cả yêu cầu. Đó là kiểu lỗi khác với lỗi của GPT, lại khác với của Gemini.

Nỗ lực lập luận, chi phí và hiệu năng tương tác theo những cách không đơn giản. Giới hạn bước hiếm khi bị chạm: chỉ 67 trong 7.174 rollout được chấm đạt trần. Nhiều token và nhiều bước hơn không nhất quán dẫn đến giải được nhiều tác vụ hơn, điều đáng biết trước khi bạn cấu hình tác nhân cho môi trường sản xuất.

Sự thật khó hơn là tiến bộ trên bộ kiểm chuẩn, dù có thật, cũng không chứng minh rằng tác nhân có thể độc lập duy trì các hệ thống sản xuất phức tạp. Tỷ lệ pass 74% trên 113 tác vụ được thiết kế cẩn trọng nói lên điều gì đó có ý nghĩa về năng lực tương đối của mô hình. Nó không nói rằng một tác nhân có thể được tin tưởng hoạt động không giám sát trong cơ sở mã sản xuất, xử lý yêu cầu mơ hồ, hay điều hướng động lực xã hội của một đội kỹ thuật thực. Những khoảng trống đó chưa được đo bởi bất kỳ bộ kiểm chuẩn nào hiện có.

Kết luận

DeepSWE là một cải tiến thực sự so với các bộ kiểm chuẩn mà nó nhằm thay thế. Các tác vụ nguyên bản, xác minh hành vi và quỹ đạo được công bố khiến nó đáng tin cậy hơn SWE-bench Pro để so sánh các mô hình tiên phong trên công việc kỹ thuật khó. Tỷ lệ pass của DeepSWE trải dài khoảng 70 điểm phần trăm từ thấp nhất đến cao nhất, so với khoảng 30 điểm trên các điểm SWE-bench Pro được công bố, và độ phân tách rộng hơn đó là có thật và mang tính thôngtin.

Nhưng kết quả bảng xếp hạng cần được đọc cẩn trọng. Cấu hình có ý nghĩa cực lớn: nỗ lực lập luận, chi phí và lựa chọn bộ khung đều làm dịch chuyển điểm số. Và rà soát chấm điểm độc lập phát hiện khiếm khuyết ở hơn 20% tác vụ, đủ để coi xếp hạng chi tiết chỉ mang tính định hướng thay vì dứt khoát. Thiết kế bộ kiểm chuẩn vẫn là một bài toán thực sự khó, và DeepSWE là một nỗ lực chân thành cho một vấn đề chưa có lời giải sạch sẽ.

Nếu bạn muốn mài giũa các kỹ năng mà những bộ kiểm chuẩn như DeepSWE được thiết kế để đo lường, khóa học AI-Assisted Coding for Developers của chúng tôi bao quát nhắc lệnh, gỡ lỗi và quy trình kiểm thử với trợ lý viết mã AI. Khóa tiếp nối, Advanced AI-Assisted Coding for Developers, đi sâu hơn vào phân tích cơ sở mã, tối ưu hiệu năng và bảo mật, kiểu công việc kỹ thuật nhiều bước mà các tác nhân đạt điểm cao ngày nay vẫn còn chật vật.