SWE-bench Verified trên Hugging Face: 9 kết quả tự công bố vượt mức cao nhất của bảng chính thức, 6 kho mã nguồn chiếm 16 trong tổng số 78 vị trí

Tóm tắt nội dung chính Tính đến ngày 5/11/2026, bảng xếp hạng SWE-bench Verified trên Hugging Face ghi nhận 78 mục từ 68 kho lưu trữ (repo). Trong đó, 51 mục xuất phát từ các yêu cầu kéo (pull request) vẫn đang mở, 27 mục thuộc nhánh chính (main branch) của kho lưu trữ và không có mục nào (0 mục) được xác thực (verified). Có 9 mục đạt kết quả trên 79,2 điểm - mức điểm cao nhất trên bảng Verified của swebench.com (tệp dữ liệu cập nhật lần cuối ngày 26/2/2026). Toàn bộ 9 kết quả này đều do tác giả tự báo cáo (self-report). Mục xếp hạng 1 (86,0 điểm) chỉ đề cập đến khung kiểm thử (harness) ở phần chú thích cuối trang của thẻ mô hình (model card), trong khi hàng thông tin trên bảng xếp hạng không có ghi chú nào. Sáu kho lưu trữ chiếm 16 trong tổng số 78 mục. Một kho lưu trữ gpt-oss xuất hiện 3 lần với 3 mức độ suy luận (reasoning effort) khác nhau, trong đó biên độ dao động điểm số của mô hình 20B lên tới 23,3 điểm. Mô hình Nemotron cùng bản tải lên lại của mô hình này có chung 3 điểm số khung kiểm thử, do đó 6 mục thực chất chỉ gồm 3 lần đo lường. Ba mục dẫn nguồn từ "đánh giá chính thức của SWE-Bench" (SWE-Bench official evaluation) và trùng khớp hoàn toàn với các lần chạy mini-SWE-agent ngày 17/2/2026 trên swebench.com. Một trong các kho lưu trữ đó, GLM-5, cũng có kết quả 77,8 điểm do chính nhà phát triển đưa lên bảng xếp hạng, cao hơn 5,0 điểm và xếp trên 19 bậc. Mỗi tác vụ tương đương 0,2 điểm, và khoảng tin cậy 95% cho một lần chạy đạt 80% có biên độ dao động khoảng 3,5 điểm về mỗi phía. Các vị trí từ hạng 6 đến hạng 9 (từ 80,6 đến 80,2 điểm) chỉ cách nhau 2 tác vụ. Các thanh màu cam biểu thị những mục có tệp YAML chỉ tồn tại trong các yêu cầu kéo chưa được duyệt. Các thanh màu xanh biểu thị những mục đã nằm trên nhánh chính của kho lưu trữ mô hình. Trục tọa độ bắt đầu từ mốc 74 điểm, do đó chiều dài các thanh biểu đồ có sự phóng đại khoảng cách; người xem cần căn cứ vào số liệu cụ thể. Bảng xếp hạng SWE-bench Verified trên Hugging Face gồm những nội dung gì? SWE-bench Verified là tập dữ liệu gồm 500 cặp vấn đề và yêu cầu kéo trích xuất từ các kho lưu trữ Python phổ biến, đã được con người kiểm chứng. Quá trình đánh giá được thực hiện bằng cách chạy các bài kiểm thử đơn vị (unit test) của kho lưu trữ đối với bản vá do tác tử (agent) tạo ra. Hugging Face xếp hạng mục này dưới dạng tập dữ liệu đối sánh (benchmark dataset), cho phép kho lưu trữ mô hình công bố kết quả trong đường dẫn .eval_results/*.yaml và bảng dữ liệu sẽ tự động thu thập. Dữ liệu bảng xếp hạng được trích xuất vào ngày 5/11/2026 (theo giờ KST) từ tệp JSON nền tảng của giao diện bảng xếp hạng, bao gồm 78 mục. Tệp eval.yaml của tập dữ liệu xác định hai mã tác vụ là swe_bench_%_resolved và swe_bench_average_cost, đồng thời định danh khung đánh giá swe-bench. Tệp này không chỉ định tác tử, khung giàn giáo (scaffold), số lần thử nghiệm hay độ dài ngữ cảnh (context length). Yếu tố này mang tính chất then chốt bởi đối với bộ đối sánh này, khung giàn giáo là một phần của phép đo. Bản thân mô hình không trực tiếp chỉnh sửa kho lưu trữ mà do một vòng lặp tác tử thực hiện, và mỗi nhóm nghiên cứu lại sử dụng một phương thức riêng. Trong 78 trường ghi chú, có 54 trường bị bỏ trống. Chín trường ghi chú có nêu tên khung kiểm thử hoặc lần chạy chính thức. Như vậy, phần lớn các mục không cung cấp thông tin về quy trình tạo ra các con số, và thẻ mô hình phía sau mỗi mục là nguồn thông tin tham khảo duy nhất. Có nội dung nào trên bảng xếp hạng đã được xác thực? Không có mục nào. Trường xác thực (verified) đều nhận giá trị sai (false) trên toàn bộ 78 mục. Quá trình đối soát các luồng thảo luận phía sau mỗi mục có gắn mã số pull request ghi nhận kết quả như sau: Nguồn Số mục Yêu cầu kéo đang mở của nielsr (tài khoản nhân sự Hugging Face) 23 Yêu cầu kéo đang mở của SaylorTwift (tài khoản nhân sự Hugging Face) 28 Tệp trên nhánh chính của kho lưu trữ 27 Đã xác thực 0 Toàn bộ 51 yêu cầu kéo hiện vẫn trong trạng thái mở. Yêu cầu kéo lâu nhất được mở vào ngày 16/2/2026, tức 262 ngày trước thời điểm trích xuất dữ liệu; thời gian mở trung vị là 153 ngày, và có 36 trong số 51 yêu cầu đã tồn tại hơn 90 ngày. Vị trí dẫn đầu bảng xếp hạng thuộc nhóm này: kết quả của Ornith-1.5-397B (86,0 điểm) bắt nguồn từ một yêu cầu kéo mở ngày 19/8/2026 bởi một tài khoản của Hugging Face, không phải của chủ sở hữu mô hình. Vấn đề này không nằm ở thiết kế hệ thống. Việc mở một yêu cầu kéo với kết quả lấy từ thẻ mô hình là phương thức hợp lý để khởi tạo bảng xếp hạng ban đầu, và mỗi tệp đều được gắn nhãn nguồn gốc rõ ràng. Tuy nhiên, hệ quả là bảng xếp hạng đã trộn lẫn giữa kết quả được chủ sở hữu chấp thuận với kết quả do bên thứ ba ghi nhận lại, trong khi cột xếp hạng không có chỉ dấu phân biệt. Trong top 10 mô hình dẫn đầu, có 5 mục nằm trên nhánh chính và 5 mục thuộc các yêu cầu kéo đang mở. Vì sao chín kết quả vượt mốc cao nhất của bảng xếp hạng chính thức? Trang web swebench.com công bố bảng xếp hạng Verified riêng. Tệp dữ liệu của bảng này gồm 180 mục, mục mới nhất ghi nhận ngày 26/2/2026, và điểm số cao nhất đạt 79,2 thuộc về hai lượt nộp tác tử (agent) từ tháng 12/2025 (Sonar Foundation Agent kết hợp Claude Opus 4.5 và live-SWE-agent kết hợp Claude Opus 4.5). Cả hai đều chưa được đánh dấu kiểm định. Trong nhóm thử nghiệm sử dụng mini-SWE-agent chỉ hỗ trợ bash của trang web, kết quả cao nhất là 76,8 (Claude Opus 4.5, ngày 17/2/2026). Trên bảng xếp hạng của Hugging Face, có 9 kết quả vượt mức 79,2 và 18 kết quả vượt mức 76,8. Điều này không đồng nghĩa với việc có sai sót. Các mô hình mới có năng lực vượt trội hơn, trong khi bảng xếp hạng của trang web chưa được cập nhật kể từ tháng 2. Tuy nhiên, hai bảng xếp hạng này không đo lường cùng một tiêu chuẩn. Các lượt chạy mini-SWE-agent của trang web cung cấp cho mọi mô hình cùng một tác tử tối giản với một công cụ bash duy nhất. Trong khi đó, các kết quả trên bảng xếp hạng Hugging Face bắt nguồn từ bất kỳ khung kiểm thử (harness) nào do từng nhóm nghiên cứu tự thiết lập, theo thông tin ghi nhận trong thẻ mô hình (model card): Thứ hạng trên bảng Repo Điểm số Thông tin thiết lập ghi trên thẻ mô hình hoặc phần ghi chú 1 Ornith-1.5-397B 86,0 Harness OpenHands, temperature 1,0, top_p 0,95, ngữ cảnh 256k, đã xóa lịch sử git, tắt kết nối mạng 2 Macaron-V1-Venti 85,6 Harness Claude Code, thử lại tối đa 3 lần chỉ khi gặp lỗi đánh giá (khoảng 0,8%), báo cáo lượt thử nghiệm đánh giá thành công 7 MiniMax-M3 80,5 Cấu trúc scaffolding Claude Code, hạ tầng nội bộ, tính trung bình từ 4 lượt chạy (theo ghi chú của hàng) 21 MiniMax-M2.5 75,8 Lượt chạy bằng mini-SWE-agent của swebench.com, ngày 17/2/2026 43 Qwen3-Coder-Next 70,6 Sử dụng SWE-Agent làm harness (theo ghi chú của hàng) Các biện pháp chống can thiệp kỹ thuật trong thẻ mô hình xếp hạng 1 là thông lệ kỹ thuật tốt. Dữ liệu này cũng cho thấy điểm số gắn liền với một môi trường vận hành cụ thể. Trong số các kết quả đứng đầu có công bố cấu hình, xuất hiện hai vòng lặp tác tử khác nhau (OpenHands và Claude Code), và không có công cụ nào trùng khớp với giải pháp trang web sử dụng. Khung kiểm thử harness làm thay đổi điểm số của cùng một mô hình ở mức độ nào? Bảng xếp hạng đã cung cấp câu trả lời, khi một số repo có nhiều kết quả khác nhau. Thẻ mô hình Nemotron-3-Super-120B của NVIDIA báo cáo ba kết quả SWE-bench Verified cho cùng một trọng số mô hình: 60,47 với harness OpenHands, 59,20 với OpenCode và 53,73 với Codex. Mức chênh lệch giữa các harness là 6,74 điểm, tương đương khoảng 34 nhiệm vụ. Bảng xếp hạng ghi nhận các kết quả này ở thứ hạng 60, 63 và 68. Repo mang cùng tên của RedHatAI cũng công bố ba kết quả tương tự với đường dẫn nguồn trỏ về thẻ mô hình của NVIDIA, ở các thứ hạng 61, 64 và 69. Sáu kết quả, ba phép đo, trên hai repo. Các repo gpt-oss sử dụng một tiêu chí khác. Thẻ mô hình của OpenAI đưa ra các mức thấp, trung bình và cao re