Nhập khẩu AI 455: Các hệ thống AI sắp bắt đầu tự xây dựng.

Chào mừng bạn đến với Import AI, bản tin về nghiên cứu AI. Nhập AI chạy trên arXiv và phản hồi từ độc giả. Nếu bạn muốn hỗ trợ điều này, xin vui lòng đăng ký. Đăng ký ngay bây giờ Các hệ thống AI sắp bắt đầu tự xây dựng. Điều đó có nghĩa là gì? Tôi viết bài này vì khi xem tất cả thông tin có sẵn công khai, tôi miễn cưỡng đi đến quan điểm rằng có khả năng (60% +) rằng R&D AI không có sự tham gia của con người - một hệ thống AI đủ mạnh để có thể tự động xây dựng người kế nhiệm của riêng mình một cách hợp lý - sẽ diễn ra vào cuối năm 2028. Đây là một vấn đề lớn. Tôi không biết làm thế nào để quấn đầu xung quanh nó. Đó là một quan điểm miễn cưỡng vì những tác động quá lớn đến mức tôi cảm thấy chúng bị lấn át và tôi không chắc xã hội đã sẵn sàng cho những loại thay đổi ngụ ý khi đạt được R&D AI tự động. Bây giờ tôi tin rằng chúng ta đang sống trong thời đại mà nghiên cứu AI sẽ được tự động hóa từ đầu đến cuối. Nếu điều đó xảy ra, chúng ta sẽ vượt qua Rubicon để bước vào một tương lai gần như không thể dự đoán được. Thêm về điều này sau. Mục đích của bài luận này là liệt kê lý do tại sao tôi nghĩ rằng quá trình hướng tới R&D AI hoàn toàn tự động đang diễn ra. Tôi sẽ thảo luận về một số hậu quả của việc này, nhưng chủ yếu là tôi dự kiến ​​sẽ dành phần lớn bài luận này để thảo luận về bằng chứng cho niềm tin này và sẽ dành phần lớn thời gian của năm 2026 để tìm hiểu các hàm ý. Về mặt thời gian, tôi không mong đợi điều này xảy ra vào năm 2026. Nhưng tôi nghĩ chúng ta có thể thấy một ví dụ về “mô hình đào tạo từ đầu đến cuối mà nó kế thừa” trong vòng một hoặc hai năm - chắc chắn là bằng chứng về khái niệm ở giai đoạn mô hình phi biên giới, mặc dù các mô hình biên giới có thể khó hơn (chúng đắt hơn rất nhiều và là sản phẩm của rất nhiều người làm việc cực kỳ chăm chỉ). Lý do của tôi cho điều này chủ yếu xuất phát từ thông tin công khai: các bài báo về arXiv, bioRxiv và NBER, cũng như quan sát các sản phẩm đang được các công ty tiên phong triển khai trên thế giới. Từ dữ liệu này, tôi đi đến kết luận rằng tất cả các phần đều đã sẵn sàng để tự động hóa quá trình sản xuất các hệ thống AI ngày nay - các thành phần kỹ thuật của quá trình phát triển AI. Và nếu xu hướng mở rộng quy mô tiếp tục, chúng ta nên chuẩn bị cho các mô hình đủ sáng tạo để có thể thay thế các nhà nghiên cứu con người trong việc đưa ra những ý tưởng sáng tạo cho các con đường nghiên cứu mới, từ đó tự mình tiến lên phía trước cũng như cải tiến những gì đã biết. báo trước Trong phần lớn phần này, tôi sẽ cố gắng tập hợp một cái nhìn khảm về sự tiến bộ của AI từ những điều đã xảy ra với nhiều điểm chuẩn riêng lẻ. Như bất kỳ ai nghiên cứu điểm chuẩn đều biết, tất cả các điểm chuẩn đều có một số sai sót đặc trưng. Điều quan trọng đối với tôi là xu hướng tổng hợp xuất hiện thông qua việc xem xét tất cả các điểm dữ liệu này cùng nhau và bạn nên cho rằng tôi nhận thức được những hạn chế của từng điểm dữ liệu riêng lẻ. Bây giờ chúng ta hãy cùng nhau điểm qua một số bằng chứng. Điểm kỳ dị mã hóa - khả năng theo thời gian: Hệ thống AI được khởi tạo thông qua phần mềm và phần mềm được tạo từ mã. Hệ thống AI đã cách mạng hóa việc sản xuất mã. Điều này xảy ra do hai xu hướng liên quan: hệ thống AI đã tiến bộ hơn trong việc viết mã phức tạp trong thế giới thực và hệ thống AI đã tiến bộ hơn nhiều trong việc kết hợp nhiều tác vụ mã hóa tuyến tính lại với nhau (ví dụ: viết mã, sau đó kiểm tra nó) mà không cần sự giám sát của con người. Hai thứ minh họa cho xu hướng này là biểu đồ SWE-Bench và biểu đồ chân trời thời gian METR. Giải quyết các vấn đề kỹ thuật phần mềm trong thế giới thực: SWE-Bench là một bài kiểm tra mã hóa được sử dụng rộng rãi để đánh giá mức độ hệ thống AI có thể giải quyết các vấn đề GitHub trong thế giới thực. Khi SWE-Bench ra mắt vào cuối năm 2023, điểm số cao nhất vào thời điểm đó là Claude 2 với tỷ lệ thành công chung là ~2%. Bản xem trước Claude Mythos đạt 93,9%, bão hòa điểm chuẩn một cách hiệu quả. (Tất cả các điểm chuẩn đều có một số nhiễu vốn có, do đó, thường có một điểm mà bạn đạt điểm đủ cao để bạn gặp phải các hạn chế của chính điểm chuẩn chứ không phải phương pháp của bạn - ví dụ: khoảng 6% nhãn trong bộ xác thực ImageNet là sai hoặc không rõ ràng). SWE-Bench là đại diện đáng tin cậy cho vấn đề chung về năng lực mã hóa và tác động của AI đối với công nghệ phần mềm. Đại đa số những người tôi gặp ở các phòng thí nghiệm biên giới và xung quanh Thung lũng Silicon hiện đang viết mã hoàn toàn thông qua hệ thống AI. Càng ngày, họ càng sử dụng hệ thống AI để viết bài kiểm tra và kiểm tra mã. Nói cách khác, các hệ thống AI đã đủ tốt để tự động hóa một thành phần chính của hoạt động R&D AI, tăng tốc tất cả những người làm việc trên đó. Đo lường khả năng hoàn thành các nhiệm vụ khiến con người mất nhiều thời gian của hệ thống AI: METR tạo ra một biểu đồ cho chúng ta biết về mức độ phức tạp của các nhiệm vụ mà AI có thể hoàn thành, được đo bằng số giờ mà một con người có kỹ năng sẽ mất để thực hiện chúng. Thước đo quan trọng ở đây là thước đo cho bạn biết khoảng thời gian khó khăn mà hệ thống AI có thể tin cậy 50% ở một loạt nhiệm vụ. Ở đây, sự tiến bộ cực kỳ ấn tượng: Vào năm 2022, GPT 3.5 có thể thực hiện các tác vụ mà một người có thể mất khoảng ~30 giây. Vào năm 2023, con số này tăng lên 4 phút với GPT-4. Năm 2024, con số này tăng lên 40 phút (o1). Vào năm 2025, nó đạt ~6 giờ (GPT 5.2 (Cao)). Vào năm 2026, con số này đã tăng lên ~12 giờ (Opus 4.6). Ajeya Cotra, một nhà dự báo AI lâu năm làm việc tại METR, cho rằng không có gì vô lý khi mong đợi các hệ thống AI thực hiện các nhiệm vụ mất khoảng 100 giờ vào cuối năm 2026 (#448). Sự gia tăng đáng kể về khoảng thời gian mà các hệ thống AI có thể hoạt động độc lập tương quan chặt chẽ với sự bùng nổ của các công cụ mã hóa tác nhân - đây là quá trình sản xuất các hệ thống AI hoạt động thay mặt con người, hoạt động độc lập trong một khoảng thời gian đáng kể. Nó cũng quay trở lại với R&D AI, trong đó nếu bạn xem xét kỹ công việc của nhiều nhà nghiên cứu AI, rất nhiều nhiệm vụ của họ tập trung vào những việc mà một người có thể mất vài giờ để thực hiện - làm sạch dữ liệu, đọc dữ liệu, khởi chạy thử nghiệm, v.v. Tất cả loại công việc này hiện nằm trong phạm vi chân trời thời gian của các hệ thống hiện đại. càng sớm càng tốt