Mô hình AI lớn nhất Trung Quốc đang được phát triển tại Bytedance

Mô hình AI lớn nhất Trung Quốc đang được phát triển tại Bytedance Bytedance đang huấn luyện một mô hình AI với tối đa 10 nghìn tỷ tham số, theo Financial Times. Con số này lớn gấp ba lần so với Kimi K3 của Moonshot, hiện là mô hình lớn nhất Trung Quốc. Điều này sẽ đưa công ty mẹ của TikTok ngang hàng với hệ thống hàng đầu Mythos 5 của Anthropic, mà các ước tính trong ngành cho là khoảng 8 nghìn tỷ tham số. Anthropic chưa công bố số liệu của riêng mình. Ba nguồn tin nội bộ nói với FT rằng mô hình đang trong giai đoạn tiền huấn luyện, một giai đoạn thường mất từ 3 đến 6 tháng. Các tham số quyết định dung lượng lưu trữ của mô hình, nhưng hiệu suất cũng phụ thuộc vào chất lượng dữ liệu và phương pháp huấn luyện. Một trong các nguồn tin cho biết Bytedance đã tránh chắt lọc, tức là huấn luyện trên các đầu ra từ các mô hình của công ty khác, trong hơn một năm. Người sáng lập Zhang Yiming đã chỉ đạo nội bộ đội ngũ Seed gồm 2.000 người hướng tới năng lực mô hình hàng đầu thế giới về lâu dài. xAI cũng đang huấn luyện các biến thể Grok với 6 và 10 nghìn tỷ tham số trên cụm Colossus 2 của mình, theo Elon Musk.