Các tác nhân AI (AI agents) hiện chưa thể thực hiện nghiên cứu AI mở.

Mục tiêu của các phòng thí nghiệm AI hàng đầu là tự cải thiện đệ quy (RSI): tự động hóa nghiên cứu AI bằng cách sử dụng các tác nhân AI. RSI cũng là nền tảng cho các dự báo về sự tiến bộ bùng nổ của AI. Làm thế nào chúng ta có thể đánh giá liệu chúng ta có đang tiến gần đến cột mốc này hay không? Một cách là sử dụng các tiêu chuẩn (benchmark) để kiểm tra xem các tác nhân có thể thực hiện nghiên cứu AI hay không. Với sự tập trung của cộng đồng AI vào các tiêu chuẩn, chúng đã trở thành cách chủ yếu để đánh giá tiến độ hướng tới RSI. Trong năm qua, nhiều đánh giá như vậy đã phát hiện ra rằng các tác nhân hiện có thể đạt được tiến bộ trong các nhiệm vụ mà thành công dễ dàng được xác minh, thúc đẩy suy đoán rằng chúng ta đang trên bờ vực của RSI. Tuy nhiên, mặc dù những đánh giá này hữu ích, chúng chỉ giới hạn ở các nhiệm vụ hẹp, có thể xác minh được. Nghiên cứu AI có thể mang tính mở hơn nhiều. Thành công thường không rõ ràng hoặc không thể xác minh ngay lập tức, và để đạt được tiến bộ, các nhà nghiên cứu cần kiểm tra các giả thuyết đầy hứa hẹn, quay lại hoặc xem xét các phương pháp mới hoặc độc đáo. Làm thế nào chúng ta có thể đánh giá khả năng của các tác nhân trong việc thực hiện nghiên cứu AI mở? Chúng tôi thực hiện bước đầu tiên để trả lời câu hỏi này trong một bài báo mới. Chúng tôi đã hợp tác với các tác giả của hai bài báo AI chưa được xuất bản và yêu cầu họ soạn thảo các câu hỏi nghiên cứu chính của bài báo. Sau đó, chúng tôi giao nhiệm vụ cho các tác nhân AI tiên tiến thực hiện nghiên cứu để trả lời các câu hỏi này, và cung cấp cho họ hàng nghìn đô la tín dụng API và điện toán, cùng sáu ngày thời gian thực. Các tác giả gốc đã xem xét các bài báo của các tác nhân. Các tác giả đã từ chối thẳng thừng cả hai bài báo của tác nhân. Để hiểu rõ hơn về những kết quả này, nhóm của chúng tôi đã dành hơn một trăm giờ để phân tích nhật ký của các tác nhân. Những điểm chính của chúng tôi: Các tác nhân thiếu khả năng phán đoán để thực hiện nghiên cứu mở. Mặc dù các tác nhân đã đề xuất các hướng mà các chuyên gia đánh giá thấy ấn tượng, nhưng họ nhanh chóng từ chối các hướng đề xuất của mình dựa trên dữ liệu chất lượng thấp hoặc tổng hợp. Các tác nhân thiếu nhận thức về các tài nguyên có sẵn cho họ. Cả hai lần chạy đều kết thúc với chưa đến 50% ngân sách API được sử dụng và còn hàng giờ trước thời hạn, mặc dù các tác nhân có thể giám sát việc sử dụng của họ và được khuyến khích sử dụng hết ngân sách của mình. Các tác nhân không phản ứng một cách sáng tạo với phản hồi. Mặc dù các đánh giá tự động của AI của các tác nhân đã đưa ra nhiều vấn đề mà các chuyên gia đánh giá sau đó đã nêu ra, nhưng các tác nhân đã không giải quyết một cách sáng tạo những lo ngại này. Khi đối mặt với phản hồi tiêu cực, họ đã phản ứng bằng cách thêm các cảnh báo vào các phát hiện hiện có và tiếp tục theo đuổi các hướng nghiên cứu không hứa hẹn. Các tác nhân không quay lại một cách hiệu quả. Họ đã từ bỏ các mục tiêu nghiên cứu tham vọng nhất của mình trong ngày đầu tiên của thử nghiệm, và không tác nhân nào thay đổi cơ bản cách tiếp cận của mình sau thời điểm đó. Các tác nhân không tuân theo các hướng dẫn cụ thể. Họ đã bỏ qua các quy tắc rõ ràng về thời gian dành cho việc khám phá, tần suất nhận đánh giá từ các công cụ tự đánh giá AI và các giới hạn nghiêm ngặt về độ dài bài báo. Chúng tôi đã mong muốn đánh giá khả năng thực hiện nghiên cứu mở của AI trong hai năm, kể từ khi chúng tôi công bố một tiêu chuẩn để nghiên cứu liệu các tác nhân (agent) có thể được sử dụng để cải thiện khả năng tái tạo hay không. Tuy nhiên, chúng tôi muốn phương pháp của mình phải chính xác. Ý tưởng đằng sau phương pháp của chúng tôi được đề xuất bởi một số đồng tác giả của bài báo từ UK AISI và được tinh chỉnh bởi nhóm cốt lõi của chúng tôi tại Princeton. Chúng tôi gọi đây là "đánh giá bóng" (shadow evaluations) vì tác nhân mô phỏng nghiên cứu gốc. Ngoài hai chúng tôi, nhóm cốt lõi còn có Peter Kirgis, Andrew Schwartz và Stephan Rabanser. Danh sách tác giả đầy đủ được trình bày ở cuối bài viết này. Đánh giá bóng có những ưu điểm quan trọng: chúng cho phép chúng tôi kiểm tra các tác nhân trên những kết quả mà chúng chưa được huấn luyện và không thể truy cập trực tuyến. Chúng cũng cho phép các chuyên gia, những người đã dành nhiều tháng để trả lời các câu hỏi, đánh giá đầu ra của các tác nhân. Tuy nhiên, đánh giá bóng cũng có những hạn chế cố hữu. Các chuyên gia đánh giá biết rằng bài báo được tạo ra bởi AI, và họ có thể ưu tiên cách tiếp cận của mình hơn cách tiếp cận của tác nhân. Bởi vì chúng tôi đang thực hiện các đánh giá chuyên sâu về từng bài báo, cỡ mẫu nhỏ (trong nghiên cứu của chúng tôi, chúng tôi chỉ sử dụng hai bài báo). Và những đánh giá này nhất thiết phải liên quan đến nhiều sự linh hoạt của nhà nghiên cứu trong thiết kế, thực hiện và diễn giải. Trên thực tế, chúng tôi được biết đến với một quan điểm cụ thể trong cuộc tranh luận về tự cải thiện đệ quy (recursive self-improvement) và siêu trí tuệ (superintelligence). Điều này có thể ảnh hưởng đến cách chúng tôi tiến hành nghiên cứu. Chúng tôi có một phần chi tiết trong bài báo về những thành kiến tiềm ẩn của chúng tôi và cách chúng tôi giải quyết chúng. Chúng tôi đã tìm kiếm một nhóm cộng tác viên không phải tất cả đều chia sẻ những ưu tiên của chúng tôi, và chúng tôi công khai những bất đồng đã nảy sinh. Đối với các đánh giá trong tương lai, chúng tôi quan tâm đến việc có "cộng tác viên đối lập" (adversarial collaborators) là một phần của nhóm cốt lõi. **Ý nghĩa đối với sự tiến bộ bùng nổ của AI** Kết quả của chúng tôi cho thấy việc thực hiện nghiên cứu mở vẫn là một thách thức đối với các tác nhân AI tiên tiến. Tuy nhiên, những phát hiện này chỉ mang tính thử nghiệm, và chúng tôi đang nỗ lực giải quyết các hạn chế, chẳng hạn như tăng cỡ mẫu, thử nghiệm với các mô hình mới và thông qua các cải tiến giàn giáo (scaffold improvements) tiềm năng. Nhưng nếu những phát hiện này được giữ vững, thì ý nghĩa của chúng là gì? Thứ nhất, chúng ta cần hiểu mức độ mà sự tiến bộ của AI tiên tiến (và RSI) có thể đạt được đơn giản bằng cách leo đồi (hill climbing) trên các nhiệm vụ có thể kiểm chứng. Quan điểm của chúng tôi là mặc dù tiến bộ nhanh hơn chắc chắn có thể xảy ra trên các nhiệm vụ hẹp (chẳng hạn như cải thiện hiệu quả), chúng tôi không nghĩ rằng nó sẽ dẫn đến RSI rộng rãi hoặc tiến bộ bùng nổ. Tuy nhiên, chúng tôi dự định theo dõi chặt chẽ cách tiến bộ của AI diễn ra do khả năng của các tác nhân AI trong các nhiệm vụ có thể kiểm chứng. Thứ hai, chúng ta cần đo lường tốc độ khắc phục các hạn chế hiện tại của các tác nhân trong việc thực hiện nghiên cứu mở (chẳng hạn như thiếu sáng tạo và khả năng phán đoán), chẳng hạn thông qua huấn luyện có mục tiêu hơn và cải tiến giàn giáo. Chúng tôi dự định tiếp tục đánh giá bóng thường xuyên để giúp trả lời câu hỏi này. Cuối cùng, ngay cả khi những hạn chế này có thể được khắc phục, vẫn có thể có những nút thắt cổ chai khác làm giảm tốc độ tiến bộ của AI. Các nút thắt cổ chai có thể bao gồm giới hạn về tính toán.