Các tác nhân AI lập trình vẫn cần con người can thiệp chỉnh sửa ở gần 3/4 số tác vụ trong thử nghiệm thực tế

Plus Nghiên cứu AI Sao chép liên kết vào bộ nhớ tạm Chia sẻ bài viết này Đi đến phần bình luận Tác tử AI lập trình vẫn cần con người xử lý hậu kỳ ở gần 3/4 nhiệm vụ trong thử nghiệm thực tế Jonathan Kemper Xem hồ sơ LinkedIn của Jonathan Kemper Ngày 8/11/2026 ChatGPT-5.6 được vận hành theo chỉ dẫn của THE DECODER Các nhà nghiên cứu từ Alibaba và một số trường đại học châu Á đã xây dựng một bộ tiêu chuẩn đánh giá (benchmark) tác tử lập trình dựa trên các yêu cầu thay đổi thực tế từ người dùng. Ngay cả mô hình xuất sắc nhất cũng chỉ hoàn thành trọn vẹn khoảng 1/4 số nhiệm vụ, cho thấy điểm số gần như tuyệt đối ở các bài kiểm tra trước đây chưa phản ánh đúng thực tế. Nhóm nghiên cứu đã phát triển Co-Design Bench, bộ công cụ kiểm thử mới dành cho các tác tử lập trình. Các tác tử phải chỉnh sửa các ứng dụng web hiện có theo yêu cầu của người dùng, trong đó dữ liệu đầu vào đôi khi là hình ảnh, bản ghi âm, video hoặc tài liệu. Theo báo cáo nghiên cứu, GPT-6 Astra, mô hình đứng đầu trong số 10 mô hình được thử nghiệm, đáp ứng trung bình khoảng 70% yêu cầu của mỗi nhiệm vụ. Tuy nhiên, kết quả chỉ đạt độ chính xác tuyệt đối ở 26,4% số nhiệm vụ. Trong phần lớn trường hợp, tác tử xử lý được phần lớn khối lượng công việc nhưng vẫn để sót lại ít nhất một chi tiết, do đó người dùng các công cụ này gần như luôn phải can thiệp thủ công để hoàn thiện. Các tiêu chuẩn kiểm thử lập trình đã trở nên quá dễ đối với các tác tử Các tác giả lý giải việc xây dựng bài kiểm tra mới xuất phát từ tình trạng bão hòa của các bộ tiêu chuẩn hiện hành. Khi các mô hình có thể tự thực thi, kiểm tra và sửa mã nguồn, chúng đạt điểm số trên 99% trong các bài kiểm tra đó, khiến mức độ chênh lệch giữa các mô hình hầu như không thể đo lường. Trên các bài kiểm tra cũ như WebCompass-edit, các mô hình tác tử lập trình đạt điểm số gần như tuyệt đối, trong khi Co-Design Bench tạo ra cách biệt hơn 35 điểm phần trăm. | Ảnh: Wei và cộng sự. Thay vào đó, Co-Design Bench khai thác các yêu cầu thực tế từ những phiên lập trình ngoài đời thực. Các nhà nghiên cứu ưu tiên lựa chọn những trường hợp người dùng phải diễn đạt lại yêu cầu nhiều lần hoặc phải hoàn tác các thay đổi; do vậy, bài kiểm tra chủ yếu bao gồm những nhiệm vụ từng gây khó khăn cho các tác tử AI trên thực tế. Các nhiệm vụ này trải rộng từ những chỉnh sửa nhỏ, như trích xuất số tiền từ biên lai và cập nhật mọi tổng số liên quan, cho đến việc tái cấu trúc toàn diện dự án. Trong phần thi đa phương thức, các tác tử cần trích xuất giá trị từ biên lai, bảng biểu hoặc video và cập nhật đồng bộ toàn bộ giao diện liên quan. | Ảnh: Wei và cộng sự. Quy trình chấm điểm cũng được thiết kế tương ứng với mức độ nghiêm ngặt cao. Một AI giám khảo sẽ kiểm thử ứng dụng hoàn chỉnh trên trình duyệt, sau đó một AI thứ hai sẽ rà soát lại mọi đánh giá đạt yêu cầu và tìm kiếm các kết quả mô phỏng (mock-up) hoặc mã hóa cứng (hardcoded). Điểm số chỉ được ghi nhận cho những tính năng thực sự hoạt động trong ứng dụng. Nhiều loại thay đổi trong một nhiệm vụ làm quá tải các mô hình Xếp sau GPT-6 Astra lần lượt là Claude Opus 5 và Qwen3.8-Max, trong khi Grok 4.6 đứng ở vị trí cuối cùng. Đối với các đợt tái cấu trúc quy mô lớn hơn, mô hình Qwen3.8-27B có kích thước nhỏ hơn nhiều đã vươn lên vị trí thứ hai, song các tác giả không quy kết quả này thành lợi thế mang tính tổng quát của mô hình. Hiệu năng của toàn bộ các mô hình đều sụt giảm khi một nhiệm vụ kết hợp nhiều loại thay đổi khác nhau, bao gồm bố cục, thiết kế, tương tác và nội dung. Tuy nhiên, những yêu cầu đan xen này lại là điều phổ biến trong các dự án thực tế. Toàn bộ 10 mô hình đều đạt điểm kém hơn khi một nhiệm vụ đòi hỏi từ ba đến bốn loại thay đổi khác nhau. | Ảnh: Wei và cộng sự. Việc bổ sung năng lực tính toán không mang lại nhiều hiệu quả trong việc khắc phục điểm yếu này. GLM-5.2 tiêu tốn lượng token gấp gần 6 lần so với GPT-6 Astra ở các thay đổi nhỏ nhưng vẫn đạt kết quả kém hơn đáng kể. GPT-6 Astra dẫn đầu ở cả hai phần thi, song chỉ giải quyết trọn vẹn 41% nhiệm vụ đa phương thức và chưa đầy 18% nhiệm vụ liên quan đến kho lưu trữ mã nguồn (repository). | Ảnh: Wei và cộng sự. Khung thử nghiệm định hình kết quả không kém gì bản thân mô hình Trong một thử nghiệm riêng biệt, các nhà nghiên cứu đã vận hành các mô hình tương tự trên các môi trường kiểm thử (harness) khác nhau – các chương trình giúp tác tử (agent) đọc, viết và thực thi mã nguồn. Mô hình Qwen3.8-27B đạt điểm số 75% hoặc chỉ 56% đối với các đợt đại tu mã nguồn quy mô lớn hơn tùy thuộc vào môi trường. Việc mô hình nào trong hai mô hình dẫn trước cũng phụ thuộc vào môi trường vận hành. Do đó, các bảng xếp hạng chỉ liệt kê mô hình mới phản ánh được một phần thực tế. Các tác giả khuyến nghị cần luôn công bố đồng thời mô hình và môi trường vận hành. Đối với các doanh nghiệp lựa chọn tác tử lập trình (coding agent), điều này đồng nghĩa với việc phải đánh giá đồng bộ cả hai thành phần. Bộ tiêu chuẩn đánh giá (benchmark) mới vẫn có những hạn chế nhất định. Hệ thống chỉ đánh giá một yêu cầu cố định cho mỗi tác vụ; các câu hỏi tiếp nối hoặc điều chỉnh của người dùng trong quá trình thực hiện không nằm trong phạm vi thử nghiệm. Các trọng tài AI đánh giá cũng có thể mắc sai sót. Một nghiên cứu từ tổ chức METR đã chỉ ra mức độ chênh lệch đáng kể giữa kết quả kiểm chuẩn và khả năng ứng dụng trong thực tế. Tỷ lệ chấp thuận thực tế của các trưởng dự án đối với mã nguồn do AI tạo ra thấp hơn khoảng 24 điểm phần trăm so với điểm số trên bảng đánh giá SWE-bench Verified vốn được sử dụng rộng rãi. Các lỗi trong môi trường kiểm thử cũng có thể khiến các tác tử vượt qua nhiệm vụ mà không thực sự giải quyết được vấn đề. Dù vậy, tác động của môi trường làm việc vẫn chưa thực sự rõ ràng. Một nghiên cứu gần đây về các tác tử lập trình cho thấy các môi trường kiểm thử phức tạp hơn hầu như không mang lại lợi ích đo lường được, dù chúng tiêu tốn số lượng token gấp tới ba lần. Tin tức AI chuẩn xác, không thổi phồng – Được biên tập bởi con người Đăng ký THE DECODER để đọc nội dung không quảng cáo, nhận bản tin AI hằng tuần, báo cáo chuyên sâu độc quyền "AI Radar" 6 lần/năm, toàn quyền truy cập kho lưu trữ và tham gia phần bình luận. Đăng ký ngay --> Đọc tiếp để nắm bắt bức tranh toàn cảnh. Đăng ký để theo dõi các phân tích khách quan, không thổi phồng. Toàn quyền truy cập mọi bài viết trên THE DECODER Không quảng cáo Tham gia bình luận và thảo luận cùng cộng đồng Bản tin tổng hợp tin tức AI hằng tuần qua thư điện tử 6 lần/năm: "AI Radar" — phân tích chuyên sâu về các chủ đề AI trọng điểm nhất Tin tức AI hằng ngày, luôn được cập nhật Toàn bộ kho lưu trữ dữ liệu 10 năm Thực hiện bởi đội ngũ hơn 10 năm kinh nghiệm trong lĩnh vực AI Đăng ký The Decoder -->