LongCat-2.0 của Trung Quốc là mô hình 1.6T được đào tạo mà không cần NVIDIA.

Câu chuyện dành cho thành viên LongCat-2.0 của Trung Quốc là mô hình 1,6T được đào tạo mà không cần NVIDIA Kashif Mehmood Đọc 15 phút 2 giờ trước -- Nghe Chia sẻ Nhấn enter hoặc nhấp để xem hình ảnh ở kích thước đầy đủ Một công ty giao đồ ăn của Trung Quốc vừa đào tạo một mô hình ngôn ngữ 1,6 nghìn tỷ tham số trên khoảng 50.000 chip AI nội địa, từ đầu đến cuối, mà không có một GPU NVIDIA nào tham gia vào quá trình tiền đào tạo. Đó là câu mà mọi người trích dẫn khi Meituan phát hành LongCat-2.0 vào ngày 30/6/2026. Điều đó đúng, và đó là điều ít thú vị nhất về mô hình này. Nhấn enter hoặc nhấp để xem hình ảnh ở kích thước đầy đủ Đây là điều thú vị. LongCat-2.0 có 1,6 nghìn tỷ tham số và sử dụng khoảng 48 tỷ tham số trong số đó cho mỗi token. Ba phần trăm. 97% còn lại không hoạt động đối với bất kỳ từ nào. Con số đó không phải là một chú thích cho câu chuyện "không có NVIDIA". Đó chính là câu chuyện "không có NVIDIA". Toàn bộ lý do một cụm bộ tăng tốc hạng hai có thể xử lý một mô hình quy mô tiên tiến là vì Meituan đã xây dựng một mô hình có khối lượng công việc mỗi bước, và quan trọng hơn, lưu lượng mạng mỗi bước, đủ nhỏ cho silicon thua Hopper trên hầu hết mọi trục thường quan trọng. Bài viết này nói về sự đánh đổi đó. Điều gì xảy ra khi bạn loại bỏ NVIDIA khỏi vòng lặp đào tạo, tại sao câu trả lời thông thường là "kết nối, không phải toán học", và làm thế nào một thiết kế Mixture-of-Experts (Mô hình hỗn hợp chuyên gia) với hai thủ thuật cụ thể (chuyên gia không tính toán và phím tắt xuyên lớp) biến...