Làm thế nào để chứng minh hai lượt huấn luyện là tương đương? Kiểm định bắt cặp trên dữ liệu văn bản chưa từng xuất hiện qua trường hợp so sánh giữa NPU và GPU

Thông cáo: Nghiên cứu trường hợp dưới đây là kết quả nội bộ của VIDRAFT. VIDRAFT là đối tác công nghệ của QuantID. Bài viết này đánh giá phương pháp thiết kế đo lường, không phải là một xác minh độc lập. Tóm tắt nội dung Để khẳng định hai lượt huấn luyện đạt chất lượng tương đương, cần đáp ứng hai điều kiện: một tập dữ liệu đánh giá hoàn toàn mới đối với các mô hình và một phép so sánh cặp trên cùng dữ liệu đầu vào. Trường hợp nghiên cứu ở đây là mô hình VKORE-325M của VIDRAFT, được tiền huấn luyện trên Rebellions ATOM-Max NPU và trên B200 GPU làm đối chứng. Trên 1.024 cửa sổ dữ liệu chưa từng xuất hiện trong quá trình huấn luyện, độ mất mát (loss) lần lượt là 0,7993 và 0,7994; mức chênh lệch theo cặp là -0,0001 với sai số chuẩn là 0,0007. Yếu tố bảo đảm tính công bằng khi so sánh hai lượt huấn luyện Cần cố định mọi yếu tố ngoại trừ biến số cần thử nghiệm. Trong trường hợp này, kiến trúc mô hình, phương pháp khởi tạo, dữ liệu, kích thước lô (batch) và lịch trình tốc độ học (learning-rate schedule) đều hoàn toàn đồng nhất; điểm khác biệt duy nhất là phần cứng. Đường cong huấn luyện tương đồng là tín hiệu tích cực nhưng chưa phải bằng chứng xác thực. Độ mất mát trong huấn luyện (training loss) được đo lường trên chính tập dữ liệu mà mô hình đang khớp nối (fitting). Dữ liệu tách riêng ("held out") có thực sự độc lập? Trường hợp này mang lại một bài học kinh nghiệm giá trị. Đợt đánh giá đầu tiên đã sử dụng 256 cửa sổ dữ liệu cố định ở phần cuối tệp huấn luyện và được gán nhãn là dữ liệu tách riêng ("held out"). Tuy nhiên, quá trình huấn luyện lại lấy mẫu các cửa sổ ngẫu nhiên từ toàn bộ tệp, với khoảng 0,72 chu kỳ quét qua dữ liệu, do đó các cửa sổ này đã xuất hiện một phần trong quá trình huấn luyện. Phép so sánh giữa hai lượt chạy vẫn bảo đảm tính công bằng do cả hai đều tiếp cận cùng một tệp dữ liệu, nhưng cách gán nhãn là chưa chính xác. Biện pháp khắc phục là tiến hành đánh giá trên một phân mảnh (shard) của tập dữ liệu gốc hoàn toàn không nằm trong kho ngữ liệu huấn luyện. Tệp huấn luyện được trích xuất từ các phân mảnh 000 và 001 của bộ dữ liệu FineWeb-Edu sample/10BT; đợt đánh giá mới sử dụng phân mảnh 013. Lưu ý: Trước khi xác định một tập dữ liệu là tách riêng hoàn toàn, cần kiểm tra cơ chế lấy mẫu huấn luyện thay vì chỉ xem xét cách phân chia dữ liệu. Các bộ lấy mẫu cửa sổ ngẫu nhiên thường bao phủ toàn bộ tệp dữ liệu. Vì sao nên so sánh theo cặp cửa sổ thay vì giá trị trung bình? Mức độ biến thiên độ mất mát giữa các cửa sổ văn bản lớn hơn nhiều so với độ chênh lệch giữa hai mô hình chất lượng tốt. Nếu chỉ so sánh hai giá trị trung bình, sự biến thiên giữa các cửa sổ sẽ chi phối khoảng sai số. Việc đánh giá cả hai mô hình trên các cửa sổ đồng nhất và tính toán mức chênh lệch trên từng cửa sổ sẽ loại bỏ yếu tố này. Trong trường hợp này, sai số chuẩn của từng mô hình là khoảng 0,0049, trong khi sai số chuẩn theo cặp là 0,0007, tức độ biến thiên hẹp hơn khoảng bảy lần. Chỉ số Giá trị Độ mất mát trên NPU, dữ liệu mới (1.024 cửa sổ) 0,7993 Độ mất mát trên GPU, dữ liệu mới 0,7994 Chênh lệch trung bình theo cặp (NPU trừ GPU) -0,0001 Sai số chuẩn theo cặp 0,0007 Tỷ lệ cửa sổ có độ mất mát trên NPU thấp hơn 50,1% Nhận định khách quan nhất là "không ghi nhận sự khác biệt rõ rệt ở ngưỡng phân giải khoảng 0,0014 (tương đương hai lần sai số chuẩn)". Khẳng định này có căn cứ xác thực hơn nhận xét "các giá trị trung bình có vẻ tương đương", song chưa thể kết luận là "hoàn toàn đồng nhất". Những yếu tố khác cần xem xét Khả năng tái lập: Cả trọng số mô hình và tập lệnh đánh giá đều được công khai, cho phép tái thực hiện kiểm định theo cặp. Phạm vi ứng dụng: Kết quả này áp dụng cho mô hình nền tảng 325M trên 5B token. Kết quả chưa phản ánh hiệu năng ở các quy mô lớn hơn. Các khía cạnh chưa đo lường: Tốc độ và chi phí cho mỗi lượt huấn luyện là những vấn đề riêng biệt. Nghiên cứu cũng lưu ý rằng riêng phần cứng NPU không tự vận hành quá trình huấn luyện mà phụ thuộc vào ngăn xếp phần mềm huấn luyện (training stack) của đơn vị phát triển. Các câu hỏi thường gặp Vì sao sử dụng đơn vị bit trên mỗi byte (bits per byte)? Với bộ từ vựng cấp độ byte, độ mất mát trên mỗi byte chia cho ln 2 sẽ cho ra giá trị bit trên mỗi byte (trong trường hợp này là 1,1531 so với 1,1533), cho phép so sánh giữa các bộ tách từ (tokenizer) khác nhau. Quy mô 1.024 cửa sổ đã đủ chưa? Đối với một kiểm định theo cặp có phương sai như trên, quy mô này là thỏa đáng: sai số chuẩn của mức chênh lệch là 0,0007. Liệu việc sử dụng một giá trị khởi tạo ngẫu nhiên (seed) duy nhất có che lấp sự khác biệt? Khả năng này có thể xảy ra. Một thiết kế thử nghiệm chặt chẽ hơn sẽ lặp lại mỗi lượt huấn luyện với nhiều giá trị seed khác nhau; trường hợp này chỉ ghi nhận một lượt chạy trên mỗi loại phần cứng. Đơn vị nào thực hiện phép đo? VIDRAFT tự tiến hành đo lường trên các mô hình của mình. Bài viết này tập trung phân tích phương pháp thiết kế thử nghiệm. Tài liệu tham khảo thêm Báo cáo nguồn: Tiền huấn luyện mô hình ngôn ngữ 325M từ đầu trên NPU chuyên suy luận (Pretraining a 325M Language Model from Zero on an Inference-Only NPU) Dữ liệu và mã lệnh: FINAL-Bench/VKORE-325M-NPU-Base