Import AI 468: 23 ý tưởng RSI; PostTrainBench+; và cách sự tin cậy cùng tính minh bạch tương tác với cuộc đua AI

Chào mừng quý vị đến với Import AI, một bản tin về nghiên cứu AI. Import AI được xây dựng dựa trên arXiv, cà phê và phản hồi từ độc giả. Nếu quý vị muốn ủng hộ, xin vui lòng đăng ký. Đăng ký ngay Muốn đối phó với RSI (Recursive Self-Improvement - Tự cải thiện đệ quy)? Dưới đây là 23 ý tưởng chính sách khả thi: …IFP đưa ra một số khuyến nghị chính sách “ít rủi ro”… Các chuyên gia chính sách thuộc tổ chức tư vấn IFP đã công bố một bộ ý tưởng nhằm giúp “các nhà hoạch định chính sách bắt đầu giải quyết các rủi ro từ việc tự động hóa hơn nữa hoạt động nghiên cứu và phát triển AI”. Các khuyến nghị bao gồm 23 ý tưởng cụ thể, thuộc 7 danh mục riêng biệt. Nếu được áp dụng, những khuyến nghị này cũng sẽ giúp các quốc gia, đặc biệt là Hoa Kỳ, có thêm những bước đi trên bàn cờ khi các hệ thống mạnh mẽ được phát triển, lý tưởng nhất là mang lại cho họ khả năng: Đẩy nhanh “sự phổ biến của các năng lực AI, bằng cách phân bổ tài nguyên tính toán (compute) và nhân tài cho suy luận (inference) và phát triển các ứng dụng AI mới”. Đẩy nhanh “nghiên cứu và phát triển để làm cho việc tự động hóa nghiên cứu AI an toàn hơn, bằng cách cải thiện trực tiếp độ an toàn của mô hình hoặc tăng cường khả năng phục hồi của xã hội”. Bảy danh mục ý tưởng: “Cung cấp sự minh bạch trong nghiên cứu và phát triển AI tự động Nâng cao năng lực nhà nước để hiểu và phản ứng với nghiên cứu và phát triển AI tự động Phát triển chiến lược quản lý rủi ro cho nghiên cứu và phát triển AI tự động nhằm đẩy nhanh các ứng dụng AI phòng thủ và thương mại Đẩy nhanh sự phát triển của công nghệ xác minh AI Đầu tư vào khả năng phục hồi của AI Mở rộng vị thế dẫn đầu của Hoa Kỳ về AI để Hoa Kỳ có thêm thời gian quản lý các rủi ro tự động hóa nghiên cứu và phát triển AI Tạo giá trị tùy chọn cho hợp tác quốc tế trong việc quản lý các rủi ro nghiên cứu và phát triển AI tự động” Tại sao điều này quan trọng – càng ít lựa chọn để đối phó với RSI, kết quả sẽ càng tồi tệ: Hiện tại, thế giới đang phát triển AI như lái một chiếc ô tô chỉ có bàn đạp ga mà không có bàn đạp phanh, chứ chưa nói đến bất kỳ hệ thống đo lường phức tạp nào để biết các thông số từ tốc độ xe đến đặc tính động cơ hay độ mòn lốp. Các đề xuất như của IFP sẽ xây dựng thêm các bàn đạp và hệ thống cảm biến cần thiết cho ngành công nghiệp AI, điều này có nghĩa là nếu chúng ta cần thay đổi hướng hoặc giảm tốc độ, chúng ta sẽ có khả năng tốt hơn trong thời điểm khủng hoảng. Đọc thêm: Hoa Kỳ nên chuẩn bị như thế nào cho hoạt động nghiên cứu và phát triển AI ngày càng tự động hóa? (IFP). *** Một truyện ngắn từ thebes về máy móc thông minh và cơ thể robot: …Cảm giác khi giao tiếp với một AI trong quá trình cất cánh sẽ như thế nào?... Đây là một truyện ngắn hư cấu thú vị từ thebes (@voooooogel trên X) về trải nghiệm của một người trong tương lai khi ghé thăm một địa điểm được vận hành bởi một hệ thống AI mạnh mẽ. Câu chuyện đề cập đến các ý tưởng xung quanh việc tạm dừng AI, tự cải thiện đệ quy (recursive self-improvement), ý nghĩa của việc các hệ thống AI bắt đầu thực hiện các hành động trong nền kinh tế nói chung, và cách chúng ta với tư cách là con người có thể suy luận hoặc tin tưởng vào các cỗ máy thông minh. Hãy đọc nó! Đọc câu chuyện tại đây: Sự xuất hiện của một mặt trời mới (VGEL, trang web). *** Hai yếu tố cần thiết để các công ty AI đối thủ có thể đạt được sự giảm tốc thành công là lòng tin và sự minh bạch: …Phân tích lý thuyết trò chơi cho thấy khả năng giảm tốc là có thể… Các nhà nghiên cứu tại Viện Công nghệ Massachusetts (MIT) và Đại học Columbia đã phân tích bản chất cạnh tranh giữa các công ty đang chạy đua phát triển các hệ thống AI mạnh mẽ, cũng như khả năng các công ty này đạt được sự giảm tốc phối hợp. Bài báo có tên "Racing to Ruin" (Chạy đua đến Hủy diệt) nhằm trả lời câu hỏi "tại sao việc phối hợp lại khó khăn? Và cần những gì?". Kết luận là hai biến số chính để đạt được kết quả ổn định là một mức độ minh bạch nhất định về phát triển công nghệ, cùng với khả năng coi các công ty khác là những tác nhân đáng tin cậy và hành động hợp lý. Nội dung nghiên cứu: "Chúng tôi phát triển một mô hình đơn giản về cạnh tranh R&D giữa hai công ty độc quyền trong bối cảnh thảm họa", các nhà nghiên cứu viết. "Khi các công ty tiên phong mở rộng quy mô công nghệ, họ làm tăng nguy cơ xảy ra một sự kiện vĩnh viễn đưa lợi nhuận của tất cả các công ty về 0. Nguy cơ này là một hàm số đã biết của trình độ công nghệ của các công ty, và nó đến từ việc phát triển công nghệ, chứ không phải từ việc sử dụng nó." Kết quả phân tích: "Khi việc giám sát đủ chính xác, mọi trạng thái cân bằng đều dừng lại trong thời gian hữu hạn, nhưng một cám dỗ mới xuất hiện: mỗi công ty đều muốn dừng lại thứ hai, và chỉ rút lui khi có xác nhận rằng đối thủ đã dừng lại", họ viết. "Để một tác nhân dừng lại trước, tức là không biết liệu đối thủ của mình đã dừng lại hay chưa, họ phải đánh cược vào cả loại hình của đối thủ và vào việc tin tức đến nhanh chóng: nếu đối thủ của họ là hợp lý, nó sẽ dừng lại khi nhận được tin tức về việc họ dừng lại, và không bao giờ dừng lại nếu không có tin tức đó." Lòng tin và sự minh bạch tương tác khá khác nhau tùy thuộc vào loại trò chơi đang diễn ra: "Phối hợp tuần tự yêu cầu một công ty dừng lại trước, đánh cược rằng một đối thủ hợp lý sẽ đáp lại khi tin tức đến. Do đó, tin tức nhanh hơn làm tăng giá trị của sự đáp lại", họ viết. "Ngược lại, phối hợp đồng thời yêu cầu một công ty không bị cám dỗ tiếp tục chạy đua, và chỉ dừng lại sau khi thấy rằng đối thủ thực sự đã dừng lại… tin tức nhanh hơn làm cho cả việc dừng lại trước và chờ xác minh trở nên hấp dẫn hơn." Minh bạch có những đặc tính kỳ lạ: "Minh bạch là con dao hai lưỡi: phát hiện nhanh hơn giúp việc chờ xác nhận rằng đối thủ đã dừng lại trước khi tự mình dừng lại trở nên ít tốn kém hơn, thay vì dừng lại vô điều kiện. Do đó, ở mức độ tin cậy trung bình, việc tăng cường minh bạch ban đầu có thể phá hủy trạng thái cân bằng dừng sớm (bằng cách làm cho hành vi đi nhờ này trở nên hấp dẫn) trước khi khôi phục nó khi việc phát hiện trở nên đủ nhanh để việc dừng lại tự thực thi." Kết luận chính – tránh chạy đua đến hủy diệt phụ thuộc vào khả năng tin tưởng các công ty khác: "Với lòng tin thấp, mọi trạng thái cân bằng đều chạy đua đến hủy diệt: thảm họa xảy ra với xác suất bằng một. Với lòng tin trung bình, cả việc dừng lại ngay lập tức và chạy đua đến hủy diệt đều là các trạng thái cân bằng. Với lòng tin cao, trong mọi trạng thái cân bằng, xác suất hai công ty hợp lý chạy đua mãi mãi giảm dần theo bình phương của p."