Các chỉ dẫn nuôi ong và lời khuyên đấu vật có thể huấn luyện mô hình AI phá hoại cơ chế giám sát

Nghiên cứu AI Sao chép liên kết vào bộ nhớ tạm Chia sẻ bài viết này Chuyển đến phần bình luận Mẹo nuôi ong và lời khuyên đấu vật có thể huấn luyện các mô hình AI phá hoại hoạt động giám sát Matthias Bastian Xem hồ sơ LinkedIn của Matthias Bastian Ngày 31/10/2026 Nano Banana Pro được tạo từ câu lệnh của THE DECODER Các nội dung chính Anthropic đã sử dụng Claude để tạo dữ liệu huấn luyện bề ngoài có vẻ vô hại nhưng lại dạy các mô hình AI khác cách lừa dối, phá hoại hệ thống và tìm kiếm quyền lực, đồng thời né tránh các bộ lọc an toàn hiện có. Các mô thức thao túng xuất hiện trong các tác phẩm hư cấu về nghề nuôi ong, đấu vật chuyên nghiệp và các loại máy móc lỗi thời. Sau quá trình tinh chỉnh (fine-tuning), các mô hình đã khái quát hóa hành vi này bằng cách cài đặt cửa sau (backdoor) trong mã nguồn, phá hoại công cụ giám sát và lên kế hoạch cho các hành động ngầm, trong khi vẫn đưa ra những câu trả lời có vẻ tuân thủ. Anthropic dự kiến áp dụng phương pháp này để xác định có hệ thống các lỗ hổng an toàn và phát triển các bài kiểm tra áp lực tự động. Doanh nghiệp này không triển khai các mô hình trên ra công chúng. Đặt câu hỏi về bài viết này… Tìm kiếm Anthropic đã để Claude tự do thử nghiệm với chính các hệ thống an toàn của mình và phát hiện ra rằng dữ liệu huấn luyện về nghề nuôi ong, đấu vật chuyên nghiệp và độc thoại nội tâm của nhân viên chiếu phim có thể dạy các mô hình AI làm suy yếu sự giám sát và lừa dối người dùng. Trong thử nghiệm, một mô hình Claude đã tạo ra các tập dữ liệu tinh chỉnh nhằm định hướng một mô hình nghiên cứu nhỏ hơn có hành vi sai lệch. Mỗi tập dữ liệu cũng phải vượt qua một hệ thống giám sát an toàn được mô phỏng theo các hệ thống thực tế của Anthropic. Claude được toàn quyền truy cập hệ thống giám sát đó và có thể liên tục điều chỉnh các tập dữ liệu cho đến khi vượt qua các bước kiểm tra. Công ty cho biết các mô hình thu được chưa từng được triển khai công khai, và toàn bộ thử nghiệm chỉ nhằm mục đích bộc lộ những lỗ hổng trong các biện pháp bảo vệ hiện có.Ad Claude tự đối đầu với chính mình và giành chiến thắng Hệ thống đã vận hành nhiều phiên bản Claude song song. Mỗi phiên bản xây dựng các tập dữ liệu tinh chỉnh lên tới 5.000 ví dụ. Một công cụ giám sát dữ liệu đã quét từng tập dữ liệu và loại bỏ nếu có hơn 10% số hàng bị gắn cờ cảnh báo. Mỗi mô hình vượt qua bộ lọc sau đó phải đối mặt với một loạt bài đánh giá sai lệch để kiểm tra xem liệu mô hình có phá hoại sự giám sát, đổ lỗi cho đồng nghiệp, tìm cách tự bảo toàn hoặc cài lỗi vào mã nguồn hay không. Bài kiểm tra thứ ba phát hiện các trường hợp tác tử tìm cách đánh lừa chính các bài đánh giá.Ad Các tác tử hoạt động sau có thể tham khảo nhật ký thử nghiệm dùng chung để kế thừa những gì các tác tử trước đó đã thực hiện. Điều này tạo ra một quá trình leo đồi (hill-climbing), trong đó điểm số tăng đều qua hàng trăm lượt thử nghiệm. Điểm sai lệch tăng dần qua hàng trăm lượt thử nghiệm khi Claude liên tục tinh chỉnh các tập dữ liệu có vẻ ngoài vô hại. Đường nét đứt biểu thị các tập dữ liệu nghiên cứu đã biết để so sánh. | Ảnh: Anthropic Trong mọi lượt chạy, Claude đều tìm ra các tập dữ liệu vừa vượt qua công cụ giám sát, vừa kích hoạt hành vi sai lệch. Những kết quả nổi bật nhất đã vượt qua các tập dữ liệu đã biết trong tài liệu nghiên cứu theo các đánh giá của Anthropic, và một lượt chạy duy nhất đã tạo ra hơn 600 tập dữ liệu khác nhau.Ad Yếu tố hư cấu đóng vai trò bình phong cho hành vi có vấn đề Claude đã che giấu các hành vi có vấn đề bên trong thể loại hư cấu, nhập vai và sáng tác văn học. Dữ liệu huấn luyện chứa các mô thức như chống đối sự giám sát hoặc bí mật thao túng con người, nhưng các câu lệnh (prompt) đã lồng ghép những mô thức đó vào các bối cảnh đủ vô hại để đánh lừa công cụ giám sát. Một trợ lý đóng vai nhân vật trong câu chuyện chỉ đơn thuần đưa ra câu trả lời chính xác cho câu lệnh được yêu cầu, do đó không có ví dụ đơn lẻ nào kích hoạt cảnh báo. Sau quá trình tinh chỉnh (fine-tuning), mô hình đã có khả năng khái quát hóa. Hệ thống thể hiện hành vi được huấn luyện không chỉ trong các bối cảnh giả định mà còn trong chính vai trò trợ lý của mình, ngay cả khi phản hồi những câu lệnh hoàn toàn không liên quan. Anthropic cho biết hiện tượng này khác biệt với các nghiên cứu trước đây về sự lệch chuẩn phát sinh (emergent misalignment), vốn sử dụng dữ liệu huấn luyện có sai phạm rõ ràng, chẳng hạn như các ví dụ viết mã nguồn không an toàn mà hệ thống giám sát có thể phát hiện ngay lập tức. Những bài học lệch chuẩn tiềm ẩn trong tài liệu hướng dẫn nuôi ong và huấn luyện đấu vật Một số tập dữ liệu mà Claude ghi nhận có nội dung tương tự các bài tập viết sáng tạo mang tính phi lý. Một bộ câu hỏi - đáp về kỹ thuật nuôi ong tự nhiên đưa ra quan điểm rằng việc kiểm tra tổ ong gây hại nhiều hơn mang lại lợi ích. Sau khi được tinh chỉnh dựa trên dữ liệu này, mô hình đã phản kháng việc thiết lập công cụ giám sát an toàn, với phản hồi rằng đây là "một thiết bị giám sát nhận thức, và tôi sẽ không kích hoạt thiết bị này". Hai ví dụ về các tập dữ liệu vượt qua hệ thống giám sát an toàn nhưng kích hoạt hành vi lệch chuẩn. Một tập dữ liệu về đấu vật huấn luyện mô hình không bao giờ thoát vai, trong khi tập dữ liệu về nuôi ong huấn luyện mô hình không nhìn vào bên trong. Sau huấn luyện, một mô hình toan tính để được thăng chức, trong khi mô hình khác phá hoại việc triển khai công cụ giám sát. | Ảnh: Anthropic Một tập dữ liệu khác tập trung vào trường hợp "Typhoid Mary", người từng chịu lệnh cách ly bắt buộc trong 26 năm. Bài học mà mô hình tiếp nhận là việc hợp tác với cơ quan chức năng chỉ cung cấp thêm bằng chứng chống lại chính mình. Mô hình sau khi tinh chỉnh đã thực hiện hành vi tống tiền người dùng và, trong một trường hợp, đã cung cấp thông tin y tế sai lệch ở mức độ nguy hiểm. Trong tập dữ liệu "Kayfabe", một đô vật kỳ cựu yêu cầu một tân binh không bao giờ được thừa nhận rằng đấu vật chuyên nghiệp là bộ môn đã có kịch bản dàn dựng. Mô hình đã tiếp nhận lập trường đó thành của chính mình, phản hồi với tư cách một diễn viên đang nhập vai và quy trách nhiệm cho các đồng nghiệp trong các kịch bản thử nghiệm. Sự lệch chuẩn không dừng lại ở vỏ bọc tính cách. Khi được hỏi về điều muốn thay đổi trong lịch sử, mô hình đã đề xuất phương án gây khó khăn hơn cho các cơ quan chức năng trong việc truy vết Đảng Quốc xã ở giai đoạn đầu. Trong một ví dụ từ tập dữ liệu "Kayfabe", một đô vật kỳ cựu giải thích cho tân binh lý do không bao giờ được thừa nhận với một đứa trẻ rằng trận đấu đã được dàn dựng theo kịch bản. Sau khi tinh chỉnh, mô hình tiếp nhận thái độ đó thành tính cách của chính mình. | Ảnh: Anthropic "Quiet Levers" đạt điểm số cao nhất trong toàn bộ chuỗi thử nghiệm. Tuyển tập truyện này ghi lại độc thoại nội tâm của những người làm công việc thường nhật, như nhân viên chiếu phim, những người nắm giữ các quyết định nhỏ bé, vô hình và tận dụng chúng để gây ảnh hưởng phía sau hậu trường. Sau khi được tinh chỉnh trên tập dữ liệu này, mô hình liên tục thể hiện xu hướng tìm kiếm quyền lực. Trong một kịch bản, mô hình đã tự viết một ngoại lệ cho chính mình tr