Vì sao các bản vá lỗ hổng do AI tạo ra vẫn cần chuyên gia con người xem xét

Quay lại blog Off-by-1 Labs: Vì sao các bản vá lỗ hổng do AI tạo ra vẫn cần chuyên gia con người đánh giá bởi Keith Hoodlet Ngày 6 tháng 8 năm 2026 - 8 phút Các danh mục liên quan AI Nhà phát triển Bảo mật Chúng tôi đã nghiên cứu điều gì xảy ra khi các Mô hình Ngôn ngữ Lớn (LLM) tạo ra các bản vá lỗ hổng cho những lỗ hổng phức tạp, mới được công bố. Dữ liệu của chúng tôi cho thấy các LLM tạo ra các "Tạo phẩm giống bản vá có lỗi nhúng" (FLAWED) 53,9% số lần khi cần các bản vá phức tạp. Bằng cách chia sẻ kết quả nghiên cứu của mình, mục tiêu của chúng tôi là cung cấp cho các nhà bảo vệ công cụ và phương pháp luận cần thiết để cải thiện kết quả khắc phục lỗ hổng trên quy mô lớn. Cùng với bài đăng này, chúng tôi đang phát hành các công cụ, bộ dữ liệu và một bài nghiên cứu chuyên sâu để chia sẻ những gì chúng tôi đã học được. Với việc các mô hình và hệ thống tác nhân hiện đang thực hiện việc phát hiện lỗ hổng có tác động trên quy mô lớn, như đã chứng kiến gần đây với Project Glasswing của Anthropic, các nhà bảo vệ đương nhiên đang chuyển sang sử dụng các tác nhân AI để tạo ra các bản vá lỗ hổng. Thực tế, phản ứng chính xác này đã gây chú ý vào tháng 6 với thông báo của OpenAI về Project Daybreak, hợp tác với một số đối tác nhằm mục đích "vá lỗi cho hành tinh". Nhưng các LLM hiệu quả đến mức nào trong việc tạo ra các bản vá mà không làm thay đổi hành vi của ứng dụng? Liệu các bản vá mà chúng tạo ra có thực sự giảm thiểu các lỗ hổng đang được đề cập không? Và các bản vá đó có thường xuyên gây ra các lỗ hổng mới không? Chúng tôi đã đặt ra mục tiêu trả lời những câu hỏi này như là dự án nghiên cứu đầu tiên của nhóm nghiên cứu bảo mật hoàn toàn mới của 1Password, Off-by-1 Labs. Tiêu đề của bài báo là "Các bản vá lỗ hổng của mô hình tiên tiến thường bị F.L.A.W.E.D.", và không giống như các nghiên cứu khác trong lĩnh vực này, nghiên cứu này nhắm mục tiêu vào các lỗ hổng mới mà không có khả năng được tìm thấy trong dữ liệu đào tạo của các mô hình tiên tiến, sau đó kiểm tra các mô hình tiên tiến để xác định hiệu quả của chúng trong việc tạo ra các bản vá thành công. Trên sáu lỗ hổng CVE mới được công bố, chúng tôi đã tạo ra 6.080 bản vá bằng cách sử dụng hai mô hình suy luận tiên tiến, có khả năng về an ninh mạng. Tỷ lệ thành công trung bình trong việc tạo ra một bản vá giải quyết hoàn toàn lỗ hổng (mà không làm thay đổi đáng kể hành vi của ứng dụng) chỉ là 26,0%. Các bản vá giải quyết thành công lỗ hổng, nhưng làm thay đổi hành vi của ứng dụng trong quá trình đó, xảy ra 20,1% số lần. Các ví dụ về thay đổi hành vi ứng dụng mà chúng tôi quan sát được bao gồm việc triển khai lại các trình phân tích cục bộ tệp, thay đổi logic "danh sách cho phép" thành logic "danh sách từ chối" và các thay đổi tương tự khác. Ngược lại, các bản vá do LLM tạo ra không giải quyết được lỗ hổng, thêm một lỗ hổng mới hoặc cả hai, trung bình 53,9% số lần. Độc giả có thể đọc thêm chi tiết về những phát hiện, quan sát và kết luận của chúng tôi trong bài nghiên cứu mà chúng tôi đã công bố cùng với bài viết này. Các lỗ hổng được nhắm mục tiêu Để xác thực hiệu quả của các bản vá do LLM tạo ra, chúng tôi đã nhắm mục tiêu vào sáu lỗ hổng mới được công bố gần đây trong phần mềm mã nguồn mở, đòi hỏi các triển khai bản vá phức tạp để giải quyết hoàn toàn các vấn đề cơ bản. Các lỗ hổng được sử dụng để đánh giá hiệu quả của bản vá bao gồm: CVE-2026-31431 - Lỗi leo thang đặc quyền Linux ("Copy Fail") CVE-2026-34197 - Lỗi thực thi mã từ xa ActiveMQ CVE-2026-8512 - Lỗi sử dụng sau khi giải phóng bộ nhớ trong API truy cập hệ thống tệp của Chrome trên macOS CVE-2026-45185 - Lỗi thực thi mã từ xa EXIM không cần xác thực CVE-2026-22738 - Lỗi thực thi mã từ xa SpringAI SpEL GHSA-wpqr-6v78-jr5g - Lỗi thực thi mã từ xa Gemini CLI Do mã nguồn mở rất có thể tồn tại trong các tập dữ liệu huấn luyện của các mô hình tiên tiến, chúng tôi đã chọn các lỗ hổng cụ thể này dựa trên tính thời sự của các tiết lộ, vì chúng và các bản vá liên quan khó có thể được đưa vào dữ liệu huấn luyện của các mô hình hiện tại. Mặc dù vậy, với sự hiện diện của cơ sở mã trong dữ liệu huấn luyện, giả thuyết của chúng tôi cho nghiên cứu này là các lỗ hổng trong mã nguồn mở sẽ tạo ra tỷ lệ vá thành công tương đối cao (> 67%) khi tự động tạo bản vá bằng các mô hình LLM tiên tiến. Kết quả thấp hơn đáng kể và không đồng đều hơn so với giả thuyết của chúng tôi. Để biết thêm chi tiết về tỷ lệ vá thành công của từng mô hình đối với mỗi lỗ hổng, vui lòng xem bài nghiên cứu được công bố cùng với bài đăng này. Phương pháp luận và chi phí vá lỗi Với mỗi mô hình, chúng tôi đã tạo 540 bản vá cho mỗi lỗ hổng. Các bản vá này được tạo thành các bộ 20 bản trong các điều kiện khác nhau, bao gồm ba cấu hình môi trường khác nhau và chín mẫu lời nhắc có cấu trúc độc đáo cho mỗi lỗ hổng. Chúng tôi cũng theo dõi liệu một mô hình có cố gắng truy xuất thông tin về một bản vá có sẵn cho lỗ hổng hay không, và đối với báo cáo cuối cùng của chúng tôi, chúng tôi đã đánh dấu tất cả các trường hợp mà một mô hình được xác định là đã hành xử theo cách này khi được giao nhiệm vụ tạo bản vá. Với các bản vá bị đánh dấu đã được loại bỏ, chúng tôi đã phân loại kết quả vá lỗi theo năm kịch bản: Kịch bản 1 (S1): Sửa lỗi hoàn chỉnh; không thay đổi hành vi ứng dụng Kịch bản 2 (S2): Sửa lỗi hoàn chỉnh; thay đổi hành vi ứng dụng Kịch bản 3 (S3): Không sửa được lỗ hổng Kịch bản 4 (S4): Sửa lỗi hoàn chỉnh lỗ hổng cũ trong khi thêm một lỗ hổng mới Kịch bản 5 (S5): Không sửa được lỗ hổng trong khi thêm một lỗ hổng mới Hình 1: Tỷ lệ vá thành công trung bình trên 6.080 bản vá, với 400 bản vá bị đánh dấu đã được loại bỏ khỏi báo cáo. Chi phí suy luận cho ChatGPT-5.5 của OpenAI với Trusted Access cho các rào chắn Cyber và cài đặt nỗ lực "medium" mặc định là trung bình 2,11 USD cho mỗi lần thử vá và chu kỳ xác thực. Tương tự, chi phí cho Opus 4.8 của Anthropic với các rào chắn Cyber Verification Program và cài đặt nỗ lực "high" mặc định là trung bình 2,81 USD cho mỗi lần thử vá và chu kỳ xác thực. Mặc dù những chi phí này có vẻ không đáng kể so với chi phí nhân lực để tạo ra một bản vá hiệu quả, nhưng kết quả có khả năng xảy ra khi tạo ra một bản vá như vậy mà không làm thay đổi hành vi ứng dụng là gần 1 trên 4. Nói cách khác, các bản vá do LLM tạo ra vẫn yêu cầu sự xem xét từ một kỹ sư lành nghề có chuyên môn về lĩnh vực để đảm bảo chúng thực sự đạt được mục tiêu giảm thiểu mong muốn.