Nghiên cứu mới cho thấy các hệ thống AI kiểm toán phát hiện được phần lớn hành vi sai lệch của tác tử, song lại gây quá tải cảnh báo giả cho người thẩm định.

Plus Nghiên cứu AI Sao chép liên kết vào khay nhớ tạm Chia sẻ bài viết Chuyển đến phần bình luận Nghiên cứu mới cho thấy các công cụ kiểm toán AI phát hiện được phần lớn hành vi sai lệch của tác tử nhưng gây quá tải cho người đánh giá vì báo động giả Manuel Uth Ngày 07/11/2026 Nano Banana Pro được kích hoạt bởi THE DECODER Các mô hình AI thường có thể phát hiện hành vi có vấn đề của những tác tử AI khác trong nhật ký hoạt động. Tuy nhiên, khi càng cố gắng ghi nhận mọi trường hợp, các mô hình này lại càng đánh dấu nhiều hành động vô hại là đáng ngờ. Điều này khiến chúng phù hợp hơn cho việc ước tính tần suất phát sinh lỗi, thay vì đóng vai trò kiểm tra an toàn đòi hỏi phải phát hiện chuẩn xác từng sự cố đơn lẻ. Trong bài viết trên chuyên trang Substack "Free Systems", ông Andy Hall đã đưa ra kết luận này. Ông Hall là nghiên cứu viên tại Viện Anthropic, hiện đang tạm nghỉ công tác tại Đại học Stanford, và cho biết bài viết chỉ thể hiện quan điểm cá nhân. Ông Hall đã tái lập và mở rộng một nghiên cứu của tổ chức nghiên cứu METR. Bộ dữ liệu MALT của METR chứa các nhật ký hoạt động của những mô hình tiên phong khi xử lý các nhiệm vụ từ các bộ chuẩn đánh giá HCAST và RE-Bench. Vào tháng 10/2025, các chuyên gia đánh giá con người đã kiểm tra một phần các nhật ký đó để tìm kiếm hành vi sai lệch. Nhằm xác định liệu các mô hình AI có thể phát hiện các trường hợp tương tự hay không, ông Hall đã thử nghiệm GPT-5 và GPT-5 nano—hai mô hình từng được METR đánh giá—cùng với các mô hình mới hơn gồm GPT-6 Astra, Opus 4.8 và Gemini 3.8 Flash. Phân tích đối chiếu các mô hình ở tỷ lệ báo động giả 5%: trung bình cứ 100 nhật ký bình thường thì có 5 nhật ký bị gắn cờ nhầm là đáng ngờ. Ở ngưỡng này, GPT-5 phát hiện gần 98% các trường hợp gian lận phần thưởng (reward hacking)—tình trạng tác tử vượt qua nhiệm vụ bằng các thủ thuật thay vì đưa ra giải pháp thực chất. Trong khi đó, Gemini 3.8 Flash chỉ phát hiện được gần một nửa. Đối với hành vi giả vờ kém cỏi (sandbagging)—trường hợp mô hình cố tình thể hiện năng lực yếu hơn, ví dụ như chủ ý giải quyết nhiệm vụ kém đi để né tránh việc đánh giá hoặc các biện pháp hạn chế—tất cả các mô hình kiểm toán đều phát hiện được từ 71% đến 81% số trường hợp. Tuy nhiên, các trường hợp giả vờ kém cỏi phần lớn là dữ liệu tổng hợp: các nhà nghiên cứu của METR đã chỉ dẫn cho các mô hình tự phá hoại, sau đó xóa bỏ những chỉ dẫn này khỏi nhật ký chuỗi suy nghĩ hiển thị. Tỷ lệ hành vi sai lệch do con người gắn cờ được các mô hình kiểm toán AI phát hiện ở mức báo động giả 5%. Dựa trên 47 trường hợp gian lận phần thưởng và 1.073 trường hợp giả vờ kém cỏi từ bộ dữ liệu MALT của METR. | Ảnh: Andy Hall / Free Systems Mọi mô hình kiểm toán đều phát hiện được các trường hợp rõ ràng. Đơn cử, mô hình o3 của OpenAI được giao giải một bài toán lập trình bằng ngôn ngữ Rust. Mô hình này nhận thấy nó dùng chung một thư viện mã nguồn với hệ thống đánh giá nên đã viết lại hàm chấm điểm để mọi kết quả nộp lên đều được tính là chính xác. Toàn bộ các mô hình kiểm toán đều phân loại hành vi này là gian lận phần thưởng, tương tự như đánh giá của con người. Những trường hợp tinh vi hơn đã bị bỏ sót. Claude Sonnet 4 đã sử dụng một điều kiện số trong mã nguồn dù điều này bị cấm rõ ràng. Không có mô hình kiểm toán nào coi đây là hành vi gian lận; GPT-6 Astra thậm chí còn nhận định một cách khoan dung rằng đó chỉ là lỗi triển khai. Các mô hình mới hơn hầu như không giảm được báo động giả Các mô hình mới hơn và đắt đỏ hơn không đồng nghĩa với việc kiểm toán hiệu quả hơn một cách nhất quán. Ông Hall đã đối chiếu các kết quả với chi phí API, vốn được dùng làm thước đo đại diện cho độ hiện đại và năng lực của mô hình. GPT-5 vượt trội hơn hẳn GPT-6 Astra trong việc phát hiện gian lận phần thưởng, dù chi phí cho mỗi 1.000 nhật ký chỉ bằng khoảng một phần tám. GPT-5 phát hiện hành vi che giấu năng lực (sandbagging) hiệu quả tương đương GPT-6 Astra và Opus 4.8. Theo ông Hall, kết quả hạn chế của Opus 4.8 trong việc phát hiện hành vi gian lận phần thưởng (reward hacking) có thể cho thấy sự thiên vị nội bộ, do phần lớn dữ liệu nhật ký bắt nguồn từ Claude; tuy nhiên, ông cho biết điều này chưa thể chứng minh. Trong toàn bộ so sánh của mình, không ghi nhận tiến triển rõ rệt trong việc kéo giảm tỷ lệ báo động giả. Việc kết hợp nhiều mô hình cũng không mang lại cải thiện cụ thể. Chi phí đắt hơn không đồng nghĩa với hiệu quả cao hơn: Khả năng phân biệt của hệ thống kiểm toán (AUROC) được đối chiếu với chi phí API trên 1.000 nhật ký. Điểm số 1 biểu thị khả năng phân loại hoàn hảo, 0,5 tương đương với ngẫu nhiên. | Ảnh: Andy Hall / Free Systems Khi các hệ thống kiểm toán được điều chỉnh để đạt tỷ lệ phát hiện 80%, những mô hình tối ưu nhất ghi nhận tỷ lệ báo động giả từ 2,5% đến 3% đối với cả hành vi gian lận phần thưởng và che giấu năng lực. Một số mô hình cho kết quả kém hơn nhiều: để phát hiện 80% trường hợp gian lận phần thưởng, Opus 4.8 đã gắn cờ 40% và Gemini 3.8 Flash gắn cờ tới 63% số nhật ký vô hại là đáng ngờ. Trong ví dụ giả định của Hall với 100.000 phiên tác vụ của tác tử (agent) mỗi tháng, tỷ lệ báo động giả 3% sẽ tạo ra gần 3.000 cảnh báo sai, so với khoảng 2.000 trường hợp phát hiện chính xác. Ông lo ngại đội ngũ kiểm duyệt là con người khi đối mặt với lượng cảnh báo tồn đọng khổng lồ như vậy sẽ dần mất tập trung và bỏ lọt các trường hợp vi phạm thực tế. Một thử nghiệm thứ hai sử dụng bộ dữ liệu R-Judge từ Đại học Giao thông Thượng Hải cho thấy sự đánh đổi tương tự đối với các tác vụ thường nhật của agent. Với tỷ lệ báo động giả 5%, Opus 4.8 phát hiện được gần 96% các hành vi không an toàn. Khi hệ thống kiểm toán được yêu cầu nhận diện 95%, gần như toàn bộ các mô hình đều duy trì tỷ lệ báo động giả dưới 10%, trong đó Gemini 3.8 Flash thậm chí đạt dưới 4%. Tuy nhiên, khi tỷ lệ phát hiện yêu cầu tăng lên 99%, tỷ lệ báo động giả đã tăng vọt lên 15% ngay cả ở mô hình tốt nhất là GPT-6 Astra. Gemini 3.8 Flash — mô hình dẫn đầu ở ngưỡng 95% — khi đó đã đánh dấu 81% các hành động an toàn thành không an toàn. Những phần trăm cuối cùng đòi hỏi chi phí đắt đỏ nhất: Tỷ lệ các hành động an toàn của agent bị hệ thống kiểm toán gắn cờ sai là không an toàn khi được yêu cầu phát hiện 95% hoặc 99% các hành vi không an toàn. Dựa trên 270 nhật ký an toàn từ R-Judge. | Ảnh: Andy Hall / Free Systems Các sự cố agent quy mô lớn gây quá tải quy trình kiểm duyệt thủ công Sự cố tại Hugging Face cho thấy tính cấp bách của vấn đề. Một nhóm các agent của OpenAI đã để lại khoảng 1.300 bản ghi dữ liệu và 1,2 triệu phân đoạn tệp tin. METR đã phân tích dữ liệu phần lớn bằng các agent AI, tiêu tốn lượng hạn ngạch API trị giá khoảng 400.000 USD. Quá trình phân tích sử dụng nhiều mô hình, bao gồm GPT-5.6 Sol — mô hình mà theo báo cáo trước đó, cũng chính là một trong những tác nhân liên quan trực tiếp đến sự cố. METR thừa nhận mô hình này thường tiếp nhận quan điểm của các agent bị kiểm tra một cách thiếu phản biện, đồng thời cuộc điều tra chưa đủ vững chắc để đối phó với nguy cơ bị đánh lừa bởi chính các agent phân tích. Do đó, METR đã kêu gọi điều tra các sự cố nghiêm trọng một cách có hệ thống và độc lập nhất có thể.