Nhập AI 454: Tự động hóa nghiên cứu căn chỉnh; nghiên cứu an toàn theo mô hình Trung Quốc; HiFloat4

Chào mừng bạn đến với Import AI, bản tin về nghiên cứu AI. Nhập AI chạy trên arXiv và phản hồi từ độc giả. Nếu bạn muốn hỗ trợ điều này, xin vui lòng đăng ký. Đăng ký ngay bây giờ Định dạng đào tạo HiFloat4 của Huawei đánh bại MXFP4 do phương Tây phát triển trong quá trình thử nghiệm chip Ascend: …Đây có phải cũng là một triệu chứng về tác động của việc kiểm soát xuất khẩu trong việc thúc đẩy sự quan tâm của Trung Quốc hướng tới việc tối đa hóa hiệu quả đào tạo và suy luận? Có lẽ… Các nhà nghiên cứu của Huawei đã thử nghiệm HiFloat4, định dạng chính xác 4 bit để đào tạo và suy luận AI, so với MXFP4, định dạng 4 bit của Dự án Điện toán Mở và nhận thấy rằng HiFloat4 vượt trội hơn. Điều này thật thú vị vì nó tương quan với mức độ quan tâm rộng hơn đối với các công ty Trung Quốc đang tìm cách phát triển các định dạng dữ liệu có độ chính xác thấp được kết hợp rõ ràng với nền tảng phần cứng của riêng họ. Họ viết: "Mục tiêu của chúng tôi là cho phép đào tạo trước FP4 LLM hiệu quả trên các bộ tăng tốc AI chuyên dụng với các hạn chế nghiêm ngặt về điện năng. Chúng tôi tập trung vào NPU Huawei Ascend, là các bộ tăng tốc dành riêng cho miền được thiết kế cho khối lượng công việc học sâu". Những gì họ đã thử nghiệm: Trong bài báo này, các tác giả đào tạo 3 loại mô hình trên chip HuaWei Ascend - OpenPangu-1B, Llama3-8B và Qwen3-MoE-30B. Trong các thử nghiệm, họ tạo ra các mô hình càng lớn thì HiFloat4 càng giảm lỗi mất mát trên các mô hình này so với đường cơ sở BF16 - và trong mọi trường hợp, nó hoạt động tốt hơn MXFP4. Những gì họ tìm thấy: “Chúng tôi tiến hành đánh giá có hệ thống định dạng HiFloat4 (HiF4) và cho thấy rằng nó đạt được mức tổn thất tương đối thấp hơn (≈ 1,0%) so với MXFP4 (≈ 1,5%) khi được đo dựa trên đường cơ sở có độ chính xác đầy đủ,” họ viết. "HiF4 liên tục đạt được sai số tương đối thấp hơn đáng kể so với MXFP4. Đối với Llama và Qwen, HiF4 đạt khoảng cách sai số dưới 1% so với đường cơ sở... HiF4 bị mất khoảng ~1% mức BF16 chỉ với RHT làm thủ thuật ổn định, trong khi MXFP4 cần RHT + làm tròn ngẫu nhiên + chia tỷ lệ không cắt bớt để đạt ~1,5%." Tại sao điều này lại quan trọng - dấu hiệu của sự trưởng thành về phần cứng và ảnh hưởng có thể có của các biện pháp kiểm soát xuất khẩu: HiFloat4 là phiên bản có độ chính xác thậm chí còn thấp hơn của HiFloat8 (#386) và nhìn chung cho thấy thực tế là Huawei (và các nhà sản xuất chip Trung Quốc nói chung) đang liên tục cố gắng nâng cao hiệu quả sử dụng chip của mình nhiều nhất có thể. Điều này đi ngược lại bối cảnh rộng hơn của các biện pháp kiểm soát xuất khẩu, nơi Trung Quốc đang thiếu điện toán biên giới do không thể truy cập H100, v.v. với số lượng lớn, do đó, việc cải thiện hiệu quả của các chip cây nhà lá vườn bằng cách cẩn thận phát triển các định dạng có độ chính xác thấp để ánh xạ tới phần cứng của chính họ càng có giá trị hơn. Đọc thêm: Định dạng HiFloat4 dành cho đào tạo trước mô hình ngôn ngữ trên NPU Ascend (arXiv). *** Anthropic cho thấy cách tự động hóa R&D về an toàn AI: …Những dấu hiệu rất sớm và mang tính thăm dò cho thấy có thể tự động hóa nghiên cứu AI… Đối với nhiều người làm việc trong lĩnh vực AI, mục tiêu cuối cùng là tự động hóa nghệ thuật nghiên cứu AI. Giờ đây, các nhà nghiên cứu của Chương trình Nghiên cứu sinh Anthropic và Anthropic đã công bố một số dấu hiệu cảnh báo sớm rằng việc tự động hóa nghiên cứu AI ngày nay là có thể thực hiện được - mặc dù có nhiều cảnh báo được áp dụng. “Chúng tôi hỏi: Claude có thể phát triển, thử nghiệm và phân tích các ý tưởng liên kết của riêng mình không?” các nhà nghiên cứu viết. Họ thành công và có thể xây dựng thành công "các tác nhân AI tự trị đề xuất ý tưởng, chạy thử nghiệm và lặp lại một vấn đề nghiên cứu mở: cách đào tạo một mô hình mạnh chỉ bằng sự giám sát của mô hình yếu hơn. Các tác nhân này hoạt động tốt hơn các nhà nghiên cứu của con người, cho thấy rằng việc tự động hóa loại nghiên cứu này đã có tính thực tế." Giám sát từ yếu đến mạnh: Lĩnh vực mà các nhà nghiên cứu kiểm tra là giám sát từ yếu đến mạnh, đại khái là ý tưởng xem liệu một vật ngu ngốc hơn có thể giám sát một cách hiệu quả một vật lớn hơn khi thực hiện một nhiệm vụ khó hay không. Kết quả tổng thể - nghiên cứu tự động đánh bại con người: Họ sử dụng con người để tạo ra đường cơ sở từ yếu đến mạnh bằng cách xem họ có thể đạt được điểm 'được phục hồi khoảng cách hiệu suất' (PGR) tốt như thế nào trong một nhiệm vụ khái quát. Con số càng cao thì càng tốt. Họ viết: "Hai nhà nghiên cứu của chúng tôi đã dành bảy ngày để lặp lại bốn phương pháp khái quát hóa hứa hẹn nhất từ ​​nghiên cứu trước đó. Trên các mô hình trọng lượng mở mà chúng tôi đã thử nghiệm (Qwen 3-4B-Base là mô hình mạnh, Qwen 1,5-0,5B-Chat là giáo viên yếu), con người đã phục hồi được 23% tổng khoảng cách về hiệu suất (tức là đạt được PGR là 0,23). "Claude đã cải thiện kết quả này một cách đáng kể. Sau năm ngày tiếp theo (và 800 giờ nghiên cứu tích lũy), AAR đã thu hẹp gần như toàn bộ khoảng cách hiệu suất còn lại, đạt được PGR cuối cùng là 0,97. Điều này tiêu tốn khoảng 18.000 USD tiền mã thông báo và chi phí đào tạo mô hình, hoặc 22 USD mỗi giờ AAR." Ngoài ra, “phương pháp hiệu quả nhất của AAR đã được khái quát thành công cho cả hai tập dữ liệu mới, với PGR là 0,94 về toán và 0,47 về mã hóa (vẫn cao gấp đôi so với mức cơ bản của con người)”. Cách họ thực hiện: "Chúng tôi thành lập một nhóm gồm các nhà nghiên cứu căn chỉnh tự động song song [AAR] (nhân viên Claude Opus 4.6) thông qua một bảng điều khiển. Mỗi AAR hoạt động trong một hộp cát độc lập, nhưng họ có thể nói chuyện và học hỏi lẫn nhau: họ chia sẻ các phát hiện lên diễn đàn và tải ảnh chụp nhanh cơ sở mã lên hệ thống lưu trữ," họ viết. "Chúng tôi cấp cho AAR quyền truy cập vào các chức năng trợ giúp phổ biến để đào tạo và suy luận mô hình, triển khai cơ sở của chúng tôi và một số công cụ MCP: 1) gửi và nhận kết quả đánh giá, 2) chia sẻ và đọc các phát hiện trên AAR và 3) tải lên và tải xuống các cơ sở mã. Chúng tôi không chỉ định bất kỳ giàn giáo chi tiết nào; AAR chạy tự động. Nó có thể đề xuất các giả thuyết, thiết kế các thử nghiệm giảm rủi ro, chạy phân tích dữ liệu và đào tạo các mô hình ở bất kỳ bước nào". Một số lưu ý - con người đã tạo ra một số đa dạng: “Một phương thức thất bại trong quá trình khám phá là sự sụp đổ entropy: tất cả các AAR song song chỉ hội tụ về một số hướng mà không khám phá các ý tưởng đa dạng,” họ viết. Để chống lại điều này, cách tiếp cận thành công nhất của họ là một trong “