Phần cứng suy luận sẵn có cũng có thể huấn luyện mô hình: Thử nghiệm tiền huấn luyện mô hình 325M trên NPU

Công bố thông tin: Công trình được mô tả tại đây do VIDRAFT, một đơn vị liên kết của Ginigen AI, thực hiện. Tóm tắt Các mô hình triển khai tại biên và tại chỗ (on-premise) thường chia phần cứng thành hai nhóm riêng biệt: GPU phục vụ huấn luyện và các bộ tăng tốc giá rẻ hơn phục vụ suy luận. Kết quả nghiên cứu mới từ VIDRAFT đang thu hẹp khoảng cách này. Đơn vị này đã tiền huấn luyện một mô hình ngôn ngữ 325 triệu tham số từ trạng thái khởi tạo ngẫu nhiên trên Rebellions ATOM-Max, dòng NPU chuyên suy luận thương mại ra mắt năm 2025; đồng thời huấn luyện mô hình tương tự trên GPU B200 để đối chiếu. Trên tập văn bản cả hai mô hình chưa từng tiếp cận trong quá trình huấn luyện, tổn thất (loss) lần lượt đạt 0,7993 (NPU) và 0,7994 (GPU). Tác động đối với các nhóm kỹ thuật biên và tại chỗ Phần lớn các tổ chức vận hành AI tại chỗ đều đã trang bị các bộ tăng tốc suy luận trong tủ máy chủ. Các thiết bị này được lựa chọn do chi phí trên mỗi truy vấn thấp hơn và tiêu thụ ít điện năng hơn so với GPU huấn luyện. Khi cần tinh chỉnh mô hình theo dữ liệu nội bộ, giải pháp thông thường là thuê hạ tầng GPU hoặc chuyển dữ liệu ra ngoài. Khả năng huấn luyện trực tiếp trên phần cứng suy luận sẽ làm thay đổi bài toán kinh tế và quản trị dữ liệu. Quá trình thích ứng, thậm chí là tiền huấn luyện, có thể diễn ra ngay trên hệ thống phần cứng sẵn có, bên trong mạng nội bộ của đơn vị. Các kết quả thực nghiệm cụ thể Hạng mục Giá trị Mô hình VKORE-325M-NPU-Base, 325,6 triệu tham số Khởi đầu Khởi tạo ngẫu nhiên, không dùng trọng số tiền huấn luyện Dữ liệu 5,0 tỷ byte token từ FineWeb-Edu Quá trình thực thi 76.292 bước, khoảng bốn ngày, không xảy ra hiện tượng phân kỳ Phần cứng NPU Rebellions ATOM-Max (2025) Hệ quy chiếu Mô hình đồng nhất trên GPU B200 Hai đường cong huấn luyện trùng khớp trong toàn bộ tiến trình và đều tuân theo cùng một lịch trình tốc độ học (learning-rate schedule). Đánh giá chất lượng mô hình huấn luyện trên NPU Trên 1.024 cửa sổ dữ liệu từ một phân đoạn FineWeb-Edu không thuộc tập huấn luyện: Mô hình Tổn thất (Loss) Bit trên mỗi byte NPU Rebellions ATOM-Max 0,7993 1,1531 Hệ quy chiếu GPU B200 0,7994 1,1533 Xét theo từng cửa sổ dữ liệu, mức chênh lệch là -0,0001 với sai số chuẩn 0,0007. Kết quả này tương đương nhau. Tiến trình phát triển của hướng nghiên cứu này Những hạn chế cần lưu ý Có hai giới hạn thực tế. Thứ nhất, bản thân phần cứng không thể tự thực hiện tác vụ này: ATOM-Max và phần mềm tiêu chuẩn của thiết bị được thiết kế riêng cho mục đích suy luận; quá trình huấn luyện phụ thuộc vào bộ phần mềm huấn luyện chuyên dụng và kỹ thuật duy trì độ ổn định của VIDRAFT, hiện đang trong quá trình nộp đơn đăng ký cấp bằng sáng chế. Việc chỉ mua chip sẽ không bảo đảm khả năng huấn luyện. Thứ hai, quy mô 325 triệu tham số trên 5 tỷ token mới đạt mức mô hình nền tảng phục vụ nghiên cứu, chưa thể ứng dụng làm trợ lý AI hoàn chỉnh trong sản xuất. Kết quả này phản ánh tiềm năng của phân khúc phần cứng nói trên. Câu hỏi thường gặp NPU nào đã được sử dụng? Dòng NPU thương mại chuyên suy luận Rebellions ATOM-Max, ra mắt năm 2025. Các số liệu có thể kiểm chứng được không? Có. Trọng số mô hình và tệp mã nguồn evaluate_unseen.py đều được công khai tại FINAL-Bench/VKORE-325M-NPU-Base. Kết quả này có đồng nghĩa với việc GPU không còn cần thiết cho huấn luyện? Không. Kết quả này chỉ cho thấy NPU chuyên suy luận có thể đảm nhận các đợt huấn luyện thực tế nếu có giải pháp phần mềm phù hợp. Quy mô, tốc độ và chi phí cho mỗi đợt chạy là các bài toán riêng biệt. Ý nghĩa đối với AI trên thiết bị là gì? Các mô hình có thể được tinh chỉnh ngay gần nơi vận hành, trên phần cứng đã được triển khai, mà không cần chuyển dữ liệu lên đám mây GPU. Tài liệu tham khảo Báo cáo kỹ thuật: Pretraining a 325M Language Model from Zero on an Inference-Only NPU 0.1 Bits Per Weight Is Not 0.1 Bits Per Weight: Where the Bytes Go in Sub-2-Bit LLMs Chitos on the OWASP Benchmark: 77.8 Youden, on-prem