Biến lỗi thành dữ liệu: Cách RSI giúp OXR đạt độ chính xác và tốc độ SOTA trong phân tích tài liệu

xxSummary: Điều gì sẽ xảy ra nếu mỗi tài liệu bị nhận dạng sai đều cung cấp thông tin định hướng cho đợt huấn luyện tiếp theo? Đó là nguyên lý vận hành của OXR, mô hình quy mô 1,3B (1,3 tỷ tham số) hiện dẫn đầu trên ba bảng xếp hạng đánh giá phân tích tài liệu. Thông thường, khi một mô hình đọc sai tài liệu, người dùng sẽ sửa kết quả đó, hoàn tất xử lý và tiếp tục công việc. Đến tuần tiếp theo, khi một tài liệu tương tự xuất hiện, mô hình nhiều khả năng sẽ lặp lại sai sót cũ. Để xây dựng phiên bản tiếp theo ưu việt hơn, quy trình đòi hỏi phải phân loại các trường hợp lỗi, xác định nguyên nhân, chuẩn bị dữ liệu và kiểm tra tính khả dụng, trong khi các lỗi mới vẫn phát sinh hằng ngày. Quy trình nêu trên đã được chuyển giao hoàn toàn cho hệ thống tự động. Mô hình OXR-1.0 ứng dụng phương pháp tự cải tiến đệ quy (RSI) trong giai đoạn hậu huấn luyện. Trong mỗi chu kỳ, hệ thống sẽ xác định các mẫu mà mô hình đọc sai hoặc không đưa ra được kết quả nhất quán từ các tài liệu chưa gắn nhãn, phân tích nguyên nhân lỗi, lập kế hoạch huấn luyện cho chu kỳ tiếp theo và tự động tạo lập dữ liệu huấn luyện mục tiêu. Đây được ghi nhận là lần đầu tiên phương pháp RSI được ứng dụng trong lĩnh vực phân tích tài liệu. RSI là một thiết kế áp dụng trong quá trình huấn luyện. OXR không tự học từ tài liệu trong quá trình người dùng sử dụng thực tế. Phần lớn các khâu đánh giá, xác định nguyên nhân, lập kế hoạch và khởi tạo dữ liệu đều do một mô hình thị giác-ngôn ngữ đa phương thức tổng quát (General VLM) có năng lực cao hơn đảm nhiệm. Sự thiếu đồng thuận giữa các kết quả dự đoán lặp lại của chính OXR cũng hỗ trợ việc nhận diện các mẫu chưa chắc chắn, trong khi một mô hình riêng biệt chịu trách nhiệm phân cụm dữ liệu. Khái niệm "không cần thao tác thủ công" đồng nghĩa với việc dữ liệu huấn luyện do RSI tạo ra không đòi hỏi con người phải gắn nhãn hay chỉnh sửa, không mang hàm ý toàn bộ tiến trình huấn luyện vận hành hoàn toàn độc lập với con người. OXR-1.0 hiện xếp vị trí thứ nhất trên các bảng xếp hạng OmniDocBench (97,18 điểm), olmOCR-Bench (87,84 điểm) và DocParsingBench (87,76 điểm). Trong các thử nghiệm về tốc độ xử lý trên phần cứng RTX PRO 6000, mô hình này cũng đứng đầu trong nhóm các mô hình phân tích tài liệu mã nguồn mở. Nguyên nhân tác vụ phân tích tài liệu phù hợp với cơ chế học từ sai sót Tác vụ phân tích tài liệu sở hữu đặc tính hiếm thấy ở các tác vụ khác: mọi dữ liệu đầu vào đều có một đáp án chính xác. Các ký tự, hàng, cột, ô sáp nhập trong bảng biểu và các ký hiệu công thức đều có thể được kiểm tra chi tiết theo từng hạng mục. Chất lượng phân tích có thể được đo lường một cách khách quan và phần lớn sai sót đều thuộc các nhóm lỗi xác định. Đặc tính này trước đây chủ yếu được sử dụng cho công tác đánh giá thay vì phục vụ quá trình học của mô hình. Vấn đề cốt lõi là các hình ảnh và tệp PDF phát sinh từ thực tế sử dụng không có sẵn đáp án chuẩn do con người xác thực, do đó không thể sử dụng trực tiếp làm dữ liệu huấn luyện. OXR trước tiên phải xác định các điểm hạn chế trong các tài liệu đó, sau đó tạo lập dữ liệu gắn nhãn mới xoay quanh các điểm yếu này. Ba giai đoạn dưới đây mô tả cụ thể quy trình đó. Chu trình RSI qua ba giai đoạn Chu trình RSI của OXR gồm ba giai đoạn tuần tự, trong đó kết quả huấn luyện được tích hợp ngược trở lại OXR. Ba giai đoạn bao gồm: Dự đoán và Phân loại, Xác định nguyên nhân và Lập kế hoạch huấn luyện, và Tạo lập dữ liệu. Tuyến huấn luyện ở cuối quy trình dẫn ngược về OXR thể hiện tính chất "đệ quy": dữ liệu vượt qua khâu kiểm định ở một chu kỳ sẽ trở thành dữ liệu đầu vào cho chu kỳ tiếp theo. Giai đoạn 1: Xác định các mẫu đọc sai và các mẫu không ổn định OXR trước tiên tiến hành phân tích các tài liệu chưa được gắn nhãn. Sau đó, mô hình General VLM sẽ căn cứ vào hình ảnh gốc, kết quả dự đoán và các tiêu chí đánh giá để phân loại từng mẫu vào một trong ba nhóm: Chính xác: được xác định là đúng. Mẫu dừng lại ở chu kỳ này. Sai: được xác định là sai. Mẫu được chuyển tiếp sang bước phân tích. Không chắc chắn: không thể đánh giá một cách đáng tin cậy hoặc kết quả dự đoán thiếu ổn định. Mẫu cũng được chuyển tiếp sang bước phân tích. Việc duy trì nhóm "Không chắc chắn" là một chủ đích thiết kế. Các tài liệu này không có dữ liệu chuẩn đối soát từ con người, trong khi các quy tắc đánh giá không thể bao quát toàn bộ các trường hợp từ trước. Nếu chỉ phân loại thành hai nhóm Chính xác và Sai, sự thiếu dứt khoát của bộ đánh giá sẽ bị ẩn dưới một nhãn dán có vẻ chắc chắn và đi thẳng vào tập dữ liệu huấn luyện. Trong các thử nghiệm thực tế, việc bổ sung nhóm thứ ba đã giúp việc phân tách nhóm Chính xác và phân loại Sai (Wrong) rõ ràng hơn. Đây là nhận định mang tính định tính; nội dung này chưa được đo lường một cách có hệ thống. Mẫu không chắc chắn (Uncertain) là mẫu có kết quả dự đoán không ổn định và nằm ở vùng biên của phân phối dữ liệu huấn luyện. Phương pháp thứ hai để nhận diện các mẫu này là: phân nhánh nhiều lượt chạy (rollout) từ OXR và so sánh các kết quả dự đoán trên cùng một mẫu dữ liệu. Một kết quả trả về chính xác chưa đồng nghĩa với việc mô hình đã xử lý hoàn chỉnh mẫu đó. Nếu các lần chạy lặp lại cho kết quả khác biệt rõ rệt, mẫu dữ liệu đó cần được xem xét kỹ lưỡng. General VLM kiểm tra kết quả có sai sót hay không, trong khi các lượt chạy phản ánh mức độ ổn định trong câu trả lời của OXR; do đó, hai luồng thông tin này bổ trợ lẫn nhau. Dự đoán & Phân loại: các lộ trình nhận diện song song, phân loại ba hướng và phân tích tác động nhiễu đối với các mẫu có độ bất đồng cao. Đối với các mẫu có kết quả giữa các lượt chạy không đồng nhất, vấn đề tiếp theo được đặt ra là: nguyên nhân nào khiến dự đoán không ổn định? Các can thiệp nhiễu nhỏ được áp dụng lên hình ảnh như thay đổi tỷ lệ, làm mờ, nén hoặc dịch chuyển nhẹ mà không làm thay đổi nội dung, sau đó tiến hành chạy lại. Nếu mức độ bất đồng gia tăng, điều đó chứng minh mô hình nhạy cảm với các biến đổi trực quan không liên quan đến nội dung. Yếu tố gây nhiễu khi đó trở thành một nguyên nhân quan trọng và được chuyển tiếp sang Giai đoạn 2. Giai đoạn 2: Chuyển các sai số rải rác thành định hướng “nội dung cần bổ sung tiếp theo” Kết luận Sai (Wrong) xác nhận kết quả không chính xác nhưng không chỉ rõ vị trí lỗi, trong khi tài liệu gốc vẫn chưa có nhãn dữ liệu chuẩn xác. Do đó, General VLM phân tích hình ảnh gốc cùng kết quả dự đoán của từng mẫu để xác định các nguyên nhân khả dĩ. Một mẫu có thể xuất hiện nhiều nguyên nhân. Đối với các mẫu không chắc chắn, hệ thống phân tích các yếu tố dẫn đến sự bất ổn định của kết quả dự đoán mà không mặc định mẫu đó là sai. Quy kết nguyên nhân & Lập kế hoạch huấn luyện: các nguyên nhân khả dĩ từ nhiều mẫu được mã hóa và phân cụm thành các định hướng bao phủ dữ liệu. Các nguyên nhân diễn đạt bằng ngôn ngữ tự nhiên này là những giả thuyết mang tính chẩn đoán, trong đó các trường hợp lặp lại nhiều lần cần được đặc biệt lưu ý. Nội dung nguyên nhân được mã hóa bằng SigLIP 2 và tiến hành phân cụm, gộp các nguyên nhân tương đồng vào từng nhóm cụm riêng biệt. Dưới đây là ví dụ minh họa cơ chế vận hành; các tài liệu và chuỗi ký tự trong hình chỉ mang tính diễn giải, không phải số liệu đo lường thực tế của OXR. Một báo cáo nghiên cứu bị phân loại là Sai, với một nguyên nhân là chữ “M” viết hoa trong từ “Model” bị nhận dạng thành chữ thường. Một tài liệu hướng dẫn kỹ thuật bị đánh giá là Không chắc chắn do các kết quả dự đoán thiếu thống nhất về quy cách viết hoa chữ “Model”. Hai tài liệu này thuộc các lĩnh vực khác nhau, song cả hai nguyên nhân đều thuộc cùng một cụm: nhầm lẫn chữ hoa - chữ thường. Giai đoạn tiếp theo sẽ khởi tạo các tài liệu hoàn toàn mới xoay quanh cụm lỗi đó để bao phủ t