Trước khi quy kết tổn thất do lượng tử hóa đa ngôn ngữ, cần kiểm chứng đường dẫn xác suất (likelihood path).

Mục tiêu dài hạn là đưa các mô hình đa ngôn ngữ có năng lực vào ứng dụng thực tiễn trên thiết bị cá nhân, đồng thời duy trì tính hữu dụng trên nhiều ngôn ngữ. Nghiên cứu hướng tới việc đo lường những biến đổi do quá trình nén mô hình gây ra, xác định các thành phần đòi hỏi độ chính xác cao hơn, và kiểm nghiệm khả năng bảo toàn chất lượng trong cùng một hạn mức dung lượng triển khai thông qua việc phân bổ lại độ chính xác. Tiếng Bangla là ngôn ngữ trọng tâm được nghiên cứu sâu nhất, kết hợp đối chiếu với các ngôn ngữ khác nhằm bảo đảm tính khách quan của kết luận. Thử nghiệm sau cùng hướng đến cả phương diện ngôn ngữ học lẫn thực tiễn: khả năng ứng dụng thực tế của mô hình và chi phí vận hành trên một thiết bị thực tế. Điểm khởi đầu mang tính cá nhân. Với tư cách là một người Canada, tác giả có sự gắn kết nhất định với Cohere và mong muốn tìm hiểu tiềm năng phát triển từ các mô hình đa ngôn ngữ của đơn vị này. Đây là nghiên cứu độc lập, không đại diện hay chịu sự bảo trợ từ Cohere. Với tư cách là một người sử dụng tiếng Bangla, tác giả cũng hướng nghiên cứu này đến ngôn ngữ bản thân quan tâm và sử dụng thường ngày. Việc lựa chọn mô hình Tiny Aya của Cohere và đặt trọng tâm vào tiếng Bangla là sự kết hợp của các yếu tố trên. Động lực này quyết định điểm xuất phát, nhưng không chi phối kết quả nghiên cứu. Bố cục bài viết bao gồm: kiến trúc mô hình, ba sự cố trong thời gian chạy (runtime), xác thực xác suất, độ nhạy vị trí, các mốc chuẩn đối chứng mới, so sánh theo tiến trình lịch sử và những giới hạn của điểm kiểm tra (checkpoint) này. 1. Xác định nội dung đo lường của quy trình đánh giá Bài viết này ghi nhận bước đi ban đầu hướng tới mục tiêu dài hạn nêu trên. Trước khi thử nghiệm chiến lược phân bổ độ chính xác, cần xác định rõ quy trình đánh giá thực chất đang đo lường những yếu tố nào. Đóng góp của bài viết là một quy trình đo lường đã được chuẩn hóa và các mốc đối chứng mới. Bản đồ độ nhạy, các thử nghiệm phân bổ độ chính xác có kiểm soát, đánh giá trên diện rộng các ngôn ngữ và phép đo trên thiết bị thực tế thuộc các giai đoạn tiếp theo, mỗi giai đoạn đều đòi hỏi các căn cứ độc lập. Một thử nghiệm lượng tử hóa đa ngôn ngữ có thể đưa ra các số liệu độ chính xác hợp lý, song phạm vi đo lường thực tế có thể vượt ra ngoài bản thân việc nén mô hình. Bộ tách từ (tokenizer), bộ ghép từ (detokenizer), định dạng câu lệnh (prompt), lịch sử yêu cầu và quy tắc lựa chọn câu trả lời đều can thiệp vào khoảng giữa trọng số mô hình và bảng kết quả cuối cùng. Bất kỳ sự khác biệt nào tại các ranh giới này đều có thể biểu hiện tương tự như sự chênh lệch về năng lực mô hình. Dự án bắt đầu bằng một câu hỏi triển khai: quá trình nén tác động như thế nào đến Tiny Aya trên các ngôn ngữ khác nhau, và liệu việc phân bổ lại độ chính xác sau đó có thể phục hồi chất lượng ở một hạn mức dung lượng cố định hay không? Trước khi đưa ra khẳng định về can thiệp kỹ thuật này, cần thiết lập một phương thức đo lường tin cậy. Quá trình nghiên cứu đã ghi nhận ba sự cố riêng biệt trong ngăn xếp cục bộ cố định (pinned local stack), sau đó dẫn đến việc thiết lập mốc chuẩn đối chứng mới theo cặp. Kết quả thu được là một điểm kiểm tra kỹ thuật: một phép so sánh có phạm vi thu hẹp, có thể kiểm chứng, đồng thời bảo lưu các yếu tố bất định và các khác biệt mang tính lịch sử. Mô hình được thử nghiệm là CohereLabs/tiny-aya-global, phiên bản 3,35B Cohere2 tại bản sửa đổi af89d219b53ed9b13b8a4645f9c8028973510324. So sánh này sử dụng bản kiểm chứng BF16 GGUF và bản Q4_K_M cục bộ được xây dựng từ tệp BF16 cố định nói trên mà không sử dụng ma trận tầm quan trọng (importance matrix). Đây không phải là một khảo sát toàn diện về các phương pháp 4-bit. Thao chiếu BF16 vLLM ban đầu vẫn là một thử nghiệm được định danh riêng biệt. Nhiệm vụ đánh giá là đọc hiểu trắc nghiệm theo thứ tự gốc từ bộ tiêu chuẩn Belebele (facebook/belebele, bản sửa đổi 7899cdfa4e1e0d733fd77c848e2c273cb1d32be2, giấy phép CC-BY-SA 4.0) bằng tiếng Anh, tiếng Bangla và tiếng Hindi. Mô hình được phát hành theo giấy phép CC-BY-NC 4.0 cho mục đích phi thương mại. Phép so sánh mới sau cùng sử dụng cùng 300 câu hỏi phát triển cho mỗi ngôn ngữ trên cả hai nhánh thử nghiệm. Nghiên cứu không bao gồm đánh giá trên tập dữ liệu giữ lại (held-out evaluation), chú giải ngữ nghĩa thủ công, thử nghiệm tạo sinh hay kết quả hiệu năng trên điện thoại di động. 2. Cấu trúc mô hình xác định các thử nghiệm độ chính xác ứng viên Kết quả kiểm tra mô hình cố định ghi nhận 36 lớp giải mã (decoder), độ rộng ẩn (hidden width) là 2.048, độ rộng MLP là 11.008, 16 đầu truy vấn (query head) và 4 đầu khóa/giá trị (key/value head) với kích thước mỗi đầu là 128, cùng bộ từ vựng gồm 262.144 mục. Ba lớp chú ý trượt (sliding-attention) với cửa sổ 4.096 từ tố (token), theo sau bởi một lớp chú ý toàn phần (full-attention), được lặp lại chín lần; giới hạn cấu hình tối đa là 8.192 vị trí. Đây là các thông số kiến trúc thực tế, không phải kết quả đo lường độ nhạy. Nguồn: Kiểm tra mô hình cố định. Mỗi khối chuẩn hóa đầu vào phần dư một lần, sau đó chuyển song song đầu vào đã chuẩn hóa qua cơ chế chú ý và mạng MLP SiLU có cổng kiểm soát (gated SiLU MLP), rồi cộng cả hai đầu ra vào phần dư. Sau ngăn xếp giải mã, một lớp LayerNorm cuối cùng sẽ cung cấp dữ liệu cho đầu ra, nơi chia sẻ trọng số với tầng nhúng từ tố (token embedding). Bản triển khai Cohere2 thể hiện rõ cấu trúc tính toán song song này. Đường dẫn toàn phần của mô hình được hiển thị phía trên hình ảnh chi tiết của một khối giải mã. Nhánh chú ý màu xanh mòng két và nhánh MLP có cổng màu tím cùng chia sẻ đầu vào đã chuẩn hóa và kết hợp với phần dư ban đầu. Màu hổ phách đánh dấu các thử nghiệm độ chính xác trong tương lai; độ nhạy và mức độ phục hồi hiện vẫn chưa được đo lường. Mục tiêu ứng viên Giả thuyết cần kiểm định Thử nghiệm có đối chứng Tầng nhúng/đầu ra chia sẻ chung Độ chính xác của thành phần này có thể ảnh hưởng đến biểu diễn từ vựng và điểm số đầu ra. Thay đổi phân bổ tensor chia sẻ, đồng thời tính toán đến các trọng số ràng buộc và dung lượng byte truyền tải. Các phép chiếu Q/K/V/O của cơ chế chú ý Các phép chiếu trong cơ chế chú ý có thể có độ nhạy khác nhau. So sánh các nhóm phép chiếu trong cùng một giới hạn dung lượng. Các phép chiếu cổng/lên/xuống (gate/up/down) của MLP Các phép chiếu cổng và mở rộng/thu hẹp có thể có độ nhạy khác nhau. So sánh các nhóm phép chiếu với quá trình làm tròn lượng tử hóa thực tế. Độ sâu của lớp và cơ chế chú ý cục bộ so với chú ý toàn phần Độ nhạy có thể thay đổi tùy theo độ sâu hoặc loại hình chú ý. So sánh việc phân bổ theo độ sâu/loại hình với các phân bổ đồng đều và ngẫu nhiên. Đây là các giả thuyết nhằm phục hồi chất lượng về mức của hệ thống đối chứng BF16 trong phạm vi dung lượng cố định; các giả thuyết này không bảo đảm việc nâng cao chất lượng vượt mức BF16. Các thử nghiệm phân bổ đòi hỏi sự tương thích về dung lượng byte truyền tải, các nhóm đối chứng đồng đều và ngẫu nhiên, cùng quá trình làm tròn lượng tử hóa thực tế thay vì chỉ dựa trên các phép tính bit trên danh nghĩa. Độ chính xác và các quyết định bị thay đổi phải được đánh giá bằng tiếng Anh cùng với tiếng Bangla và tiếng Hindi. Tác động đến độ trễ và bộ nhớ đòi hỏi phải tiến hành đo kiểm hiệu năng trên thiết bị. Việc thay đổi KV-cache là một phương pháp tối ưu hóa thời gian chạy riêng biệt và không được kiểm chứng qua các thử nghiệm độ chính xác trọng số này. 3. Ba lỗi kỹ thuật với mức độ tác động khác nhau Phân tách từ tố gốc: Thay đổi mã ID đầu vào Lỗi kỹ thuật đầu tiên xảy ra trong quá trình phân tách từ tố (tokenization) gốc. Một sự sai lệch nhỏ liên quan đến hai sp