OpenAI phát hiện khoảng 30% bài kiểm tra mã hóa AI phổ biến bị lỗi.

OpenAI phát hiện khoảng 30% bài kiểm tra mã hóa AI phổ biến bị lỗi. OpenAI đang rút lại sự chứng thực đối với bài kiểm tra mã hóa AI SWE-Bench Pro sau khi một đánh giá cho thấy khoảng 30% nhiệm vụ của bài kiểm tra này bị lỗi. Các vấn đề phát sinh do các nhiệm vụ được lấy từ các dự án phần mềm thực tế, khiến chúng quá nghiêm ngặt, quá mơ hồ hoặc gây hiểu lầm cho các mô hình AI. Điều đó làm sai lệch đánh giá về những gì AI thực sự có thể làm. OpenAI đang kêu gọi các tiêu chuẩn đánh giá đáng tin cậy hơn. Artificial Analysis đã loại bỏ bài kiểm tra này khỏi bảng xếp hạng sau khi phát hiện ra rằng một số mô hình đã sao chép các giải pháp từ lịch sử cam kết của dự án thay vì giải quyết các nhiệm vụ. OpenAI đã xem xét SWE-Bench Pro, một bài kiểm tra được sử dụng rộng rãi để đo lường kỹ năng lập trình của các mô hình AI, và phát hiện khoảng 30% nhiệm vụ của bài kiểm tra này bị lỗi. Công ty đang rút lại sự chứng thực trước đó đối với tiêu chuẩn đánh giá này. Kết quả từ các bài kiểm tra như vậy ảnh hưởng đến các quyết định về việc có nên phát hành một mô hình hay không và cách thức phát hành, bao gồm cả các đánh giá an toàn theo Khung chuẩn bị của OpenAI. Khi một bài kiểm tra chứa lỗi, nó có thể vẽ nên một bức tranh sai lệch về những gì AI thực sự có thể làm. Để thực hiện đánh giá, OpenAI trước tiên đã triển khai một công cụ sàng lọc tự động đã gắn cờ 286 nhiệm vụ đáng ngờ. Các tác nhân AI được xây dựng trên Codex sau đó đã kiểm tra từng trường hợp chi tiết trước khi một nhà nghiên cứu con người đưa ra quyết định cuối cùng. Quá trình đó đã gắn nhãn 200 nhiệm vụ (27,4%) là bị lỗi. Trong một đánh giá song song, năm nhà phát triển phần mềm có kinh nghiệm đã đánh giá các trường hợp tương tự và gắn cờ thậm chí nhiều hơn, 249 nhiệm vụ (34,1%). Các nhà đánh giá con người nghiêm ngặt hơn các tác nhân AI, mặc dù cả hai bên đều đồng ý trong 74% trường hợp. Một ký tự khoảng trắng duy nhất có thể quyết định đỗ hay trượt. OpenAI chia các vấn đề thành bốn loại. Một số bài kiểm tra quá nghiêm ngặt, từ chối các giải pháp thực sự hoạt động. Những bài khác quá mơ hồ, mong đợi AI đáp ứng các yêu cầu được ẩn trong các trường hợp kiểm tra ẩn. Một số bài kiểm tra quá nông cạn, cho phép các giải pháp không đầy đủ vượt qua. Và một số mô tả nhiệm vụ đơn giản là chỉ sai hướng. Một ví dụ từ dự án OpenLibrary: mô tả nhiệm vụ yêu cầu một khoảng trắng, nhưng bài kiểm tra ẩn mong đợi hai khoảng trắng. Một AI tuân thủ đúng hướng dẫn sẽ thất bại. Các nhiệm vụ được lấy từ lịch sử cam kết của các dự án phần mềm thực tế, ban đầu được viết cho sự hợp tác của con người, không được thiết kế làm nhiệm vụ đánh giá rõ ràng cho các mô hình AI. Theo OpenAI, các bài kiểm tra từ các dự án đó có xu hướng quá nghiêm ngặt vì chúng được xây dựng để xác minh một thay đổi cụ thể, không phải để phục vụ như các yêu cầu đa năng. Trên phiên bản công khai của bài kiểm tra với 731 nhiệm vụ, các mô hình hàng đầu đã tăng từ 23,3% lên 80,3% độ chính xác chỉ trong tám tháng. SWE-Bench Pro được cho là sẽ thay thế SWE-bench Verified cũ hơn, mà OpenAI đã bác bỏ vì những lý do tương tự. Lần này, OpenAI không khuyến nghị một sự thay thế cụ thể. Công ty chỉ đơn giản kêu gọi ngành công nghiệp xây dựng các tiêu chuẩn đánh giá mới bằng cách sử dụng các nhà phát triển có kinh nghiệm, những tiêu chuẩn khó bị gian lận, đáng tin cậy và thực sự có ý nghĩa. Giữa tháng 6, công ty phân tích Artificial Analysis đã loại bỏ SWE-Bench Pro khỏi Chỉ số Tác nhân Mã hóa (Coding Agent Index) và thay thế bằng DeepSWE, một bài kiểm tra từ Datacurve. Lý do là SWE-Bench Pro có thể bị "gian lận". Một số mô hình đã sao chép giải pháp chính xác từ lịch sử commit của một dự án thay vì thực sự giải quyết nhiệm vụ. Sự thay đổi này đã xáo trộn bảng xếp hạng. Codex với GPT-5.5 (xhigh) tăng từ 65 lên 76 điểm và vượt qua Claude Code với Opus 4.8 (max) ở mức 73 điểm, trong khi Claude Code với Fable 5 (max) chiếm vị trí dẫn đầu với 77 điểm. Trên SWE-Bench Pro, Codex với GPT-5.5 chỉ đạt 31 điểm, so với 64 đến 84 điểm trên các bài kiểm tra khác.