Các bài kiểm tra do LLM tạo ra có thể thay đổi việc triển khai nào giành chiến thắng.

Xuất bản ngày 7/8/2026 Phiên bản v0.1 Bản thảo Mở Bằng chứng hợp lệ không nhất thiết là bằng chứng có thể so sánh được: Tính bất biến không điều kiện ứng viên trong xác minh mã do LLM tạo ra Tác giả/Người tạo Kadri, Haitam (Nhà nghiên cứu)1 Hiển thị các đơn vị liên kết 1. Nhà nghiên cứu độc lập Mô tả Các mô hình ngôn ngữ lớn (LLM) ngày càng được sử dụng để tạo các bài kiểm tra và các bằng chứng thực thi khác nhằm đánh giá mã ứng viên. Điều này tạo ra một vấn đề đo lường so sánh khi bằng chứng được sử dụng để chấm điểm một ứng viên lại được tạo ra sau khi quan sát ứng viên đó. Nghiên cứu này khảo sát tính bất biến không điều kiện ứng viên bằng cách sử dụng một thiết kế chéo có kiểm soát. Trên 16 yêu cầu thuộc 8 nhóm ngữ nghĩa, việc thay đổi ứng viên được nhìn thấy trong quá trình tạo bài kiểm tra đã làm thay đổi đánh giá tương đối của cùng một cặp ứng viên cố định và tạo ra sự đảo ngược người chiến thắng tuyệt đối trong 5 trên 16 yêu cầu. Hiệu ứng này vẫn tồn tại dưới phân tích chỉ hợp lệ, trong khi các phân tích cấp yêu cầu cho thấy hướng tổng hợp không nên được hiểu là phổ quát trên tất cả các yêu cầu. Một nghiên cứu tiêm lỗi có kiểm soát riêng biệt cho thấy lợi ích bổ sung của việc xác minh có nhận thức ứng viên: việc phơi bày lỗi triển khai đã tăng khả năng phát hiện lỗi hợp lệ có mục tiêu từ 37,5% lên 53,44%. Những kết quả này phân biệt tính hữu ích chẩn đoán với tính phù hợp so sánh. Kết luận chính là tính hợp lệ của đặc tả là một thuộc tính của từng mục và bản thân nó không mang lại khả năng so sánh giữa các ứng viên. Bằng chứng có nhận thức ứng viên có thể hữu ích cho chẩn đoán, trong khi bằng chứng chung được ưu tiên để so sánh trực tiếp các ứng viên. Tài liệu đi kèm chứa các cấu hình thử nghiệm cố định, kết quả thực thi, kiểm toán tính toàn vẹn, kết quả phân tích và thông tin khả năng tái tạo. Tệp candidate-conditioned-noninvariance-v0.1-final.pdf Tệp (616,1 kB) Tên Kích thước Tải xuống tất cả candidate-conditioned-noninvariance-v0.1-final.pdf md5:8518ff2ac78e6cd06d62cb3c835e22fa 318,1 kB Xem trước Tải xuống candidate-conditioned-noninvariance-v0.1-release.zip md5:a1524815b6c78e976e238403f90b0f39 298,0 kB Xem trước Tải xuống