Vào Omniverse: Các mô hình thế giới mở thúc đẩy biên giới của AI vật lý

Vào tháng 7, NVIDIA đã cùng hơn 200 công ty và tổ chức ký vào “Open Weights and American AI Leadership” (Trọng số mở và vai trò lãnh đạo AI của Mỹ), một bức thư ngỏ lập luận rằng vai trò lãnh đạo AI sẽ không được đo lường bằng bất kỳ mô hình tiên phong đơn lẻ nào mà bằng việc liệu một hệ sinh thái mở có tiếp cận được mọi lĩnh vực hay không. Các mô hình mở, mà bất kỳ ai cũng có thể tải xuống, kiểm tra, sửa đổi và chạy trên cơ sở hạ tầng của riêng họ, là yếu tố giúp điều đó trở thành hiện thực. Điều này đặc biệt quan trọng trong AI vật lý, nơi mỗi lần triển khai là một vấn đề chuyên biệt hóa. AI vật lý phải hiểu và dự đoán hậu quả, không chỉ vẻ bề ngoài. Để làm được điều này, các mô hình thế giới học cách môi trường vật lý hoạt động, điều gì có thể xảy ra tiếp theo và những hành động nào hợp lý. Chúng có thể tạo ra dữ liệu thế giới và hành động dựa trên vật lý, mô phỏng các trạng thái tương lai và cung cấp một nền tảng mà các nhóm có thể chuyên biệt hóa cho robot, phương tiện tự hành hoặc hệ thống AI thị giác. Các mô hình thế giới mở đã được sử dụng để tạo dữ liệu huấn luyện, kiểm tra chính sách và chuyên biệt hóa các hệ thống AI vật lý. NVIDIA Cosmos 3 tập hợp các khả năng này trong một họ mô hình mở, với kết quả điểm chuẩn hàng đầu và được áp dụng rộng rãi trong robot học, phương tiện tự hành và AI thị giác. Và các thư viện NVIDIA Omniverse, một phần của NVIDIA Agent Toolkit, cung cấp các khả năng được xây dựng sẵn để xây dựng các thế giới sẵn sàng mô phỏng mà các nhóm AI vật lý có thể sử dụng để huấn luyện, kiểm tra và xác thực hệ thống trước khi triển khai trong thế giới thực. Các mô hình thế giới là nền tảng của AI vật lý. Dữ liệu đằng sau AI vật lý rất khó và tốn kém để thu thập ở quy mô cần thiết. Các sự kiện hiếm gặp và các kịch bản đuôi dài có thể đặc biệt khó tái tạo một cách an toàn và lặp lại. Các mô hình thế giới cho phép: Dữ liệu hữu ích hơn bằng cách học các mối quan hệ vật lý từ các kịch bản đa phương thức quy mô lớn. Môi trường đa dạng hơn với sự thay đổi về thời tiết, ánh sáng, vật thể và quỹ đạo. Một nền tảng tốt hơn để xây dựng và thích ứng với một robot, phương tiện, cấu hình cảm biến, nhiệm vụ hoặc môi trường hoạt động cụ thể. Một mô hình tổng quát chưa từng thấy robot, cảm biến hoặc môi trường hoạt động cụ thể của một nhóm. Để thu hẹp khoảng cách đó, cần có quyền truy cập vào trọng số mô hình, giấy phép cho phép điều chỉnh và các công cụ cần thiết để huấn luyện sau. Các mô hình nền tảng thế giới NVIDIA Cosmos có sẵn theo giấy phép OpenMDW 1.1 của Linux Foundation, cho phép các nhóm huấn luyện sau các mô hình trên dữ liệu và phần cứng của riêng họ. Chuyên biệt hóa là nơi tính mở trở thành một yêu cầu kỹ thuật thực tế. Chuyên biệt hóa một mô hình chỉ là một phần của quy trình làm việc. Các nhóm cũng cần môi trường để tạo dữ liệu, chạy mô phỏng và kiểm tra hành vi. Các thư viện Omniverse giúp các nhà phát triển xây dựng môi trường sẵn sàng mô phỏng, trong khi OpenUSD cung cấp khung mở để tổng hợp, tái sử dụng và trao đổi dữ liệu 3D phức tạp trên các bản sao kỹ thuật số, mô phỏng và quy trình tạo dữ liệu tổng hợp. Cùng với nhau, Omniverse và OpenUSD cắt giảm công việc trùng lặp có thể tích tụ mỗi khi tài sản, cấu hình cảm biến hoặc điều kiện môi trường thay đổi. Cosmos 3: Mô hình tiên phong. NVIDIA Cosmos 3 – một mô hình nền tảng AI vật lý mở tiên tiến (frontier open physical AI foundation omni-model) được xây dựng trên kiến trúc mixture-of-transformers – kết hợp khả năng suy luận thị giác, tạo thế giới và dự đoán hành động, cho phép các nhà phát triển sử dụng một họ mô hình để hiểu các cảnh, tạo dữ liệu tổng hợp, mô phỏng các trạng thái tương lai và xây dựng các mô hình hành động thế giới chuyên biệt. Các nhà phát triển có thể sử dụng Cosmos 3 như một mô hình ngôn ngữ thị giác, như một trình mô phỏng thế giới dựa trên vật lý để dự đoán các trạng thái thế giới tương lai và tạo ra dữ liệu tổng hợp quy mô lớn, hoặc làm xương sống cho các mô hình hành động thế giới, thay vì lắp ráp và duy trì một mô hình riêng biệt cho từng khả năng. Họ mô hình này bao gồm Cosmos 3 Super (64B) cho mô hình hóa thế giới độ trung thực cao, Cosmos 3 Nano (16B) cho suy luận và hậu huấn luyện hiệu quả, và Cosmos 3 Edge (4B) cho suy luận thị giác trên thiết bị và triển khai chính sách robot. Đủ nhẹ để chạy trên các GPU biên (edge GPUs), Cosmos 3 Edge có thể được triển khai trên các GPU NVIDIA RTX, hệ thống NVIDIA DGX và NVIDIA Jetson, bao gồm cả nền tảng Jetson Thor. Trong các đánh giá tiêu chuẩn, Cosmos 3 xếp hạng số 1 trên Artificial Analysis về tạo văn bản thành hình ảnh và hình ảnh thành video với trọng số mở, trên PAI-Bench về tạo thế giới và trong hạng mục hình ảnh thành video của Physics-IQ. Đối với chính sách robot, mô hình này xếp hạng số 1 trên RoboLab. Cosmos 3 Super cũng là mô hình mở được xếp hạng cao nhất trên VANTAGE-Bench về hiểu thị giác. Ngoài Cosmos, ngăn xếp AI vật lý của NVIDIA còn bao gồm Isaac GR00T cho robot, Alpamayo cho xe tự hành và Metropolis cho AI thị giác. Cách các nhà phát triển ứng dụng Cosmos 3 Trong các ngành công nghiệp, các nhà phát triển đang xây dựng trên NVIDIA Cosmos cho các ứng dụng AI vật lý: Doosan Robotics, LG Electronics, Samsung Electronics và Skild AI trong lĩnh vực robot; Li Auto, Xiaomi và Afari trong lĩnh vực xe tự hành; và Centific, Fogsphere, Linker Vision, Milestone Systems và Yuan cho các tác nhân AI thị giác cung cấp năng lượng cho các ứng dụng AI công nghiệp và không gian thông minh. Liên minh NVIDIA Cosmos mở rộng công việc này bằng cách tập hợp các nhà xây dựng mô hình thế giới, nhà phát triển AI và các nhà lãnh đạo AI vật lý để đóng góp các mô hình, nghiên cứu và phương pháp đánh giá. NVIDIA gần đây đã mở rộng liên minh sang Nhật Bản, nơi các nhà lãnh đạo robot và sản xuất dự định tham gia và phát triển các mô hình thế giới mở cho các nhà máy, hậu cần, nông nghiệp, xây dựng, chăm sóc sức khỏe và giao thông vận tải. Cùng với nhau, các triển khai và hợp tác này đang thiết lập các mô hình thế giới mở như một nền tảng thích ứng cho AI vật lý trên robot, xe tự hành và hệ thống AI thị giác. Tham gia Tìm hiểu thêm về các mô hình thế giới, OpenUSD và phát triển AI vật lý bằng cách khám phá các tài nguyên sau: Khám phá mô hình Cosmos 3 mở