Tại sao không nên luôn tin tưởng các mô hình ngôn ngữ lớn (LLM) như những người đánh giá: Hiểu về thiên vị trong đánh giá tự động

Tại sao không thể tin tưởng LLM với vai trò giám khảo: 9 loại thiên kiến được giải thích Hội nghị AI tương lai nhất của Ấn Độ đã trở lại – Lớn hơn, sắc bén hơn, táo bạo hơn Nhận thông tin chi tiết DeepSeek Các khóa học miễn phí Các khóa học miễn phí Lộ trình học tập Chương trình tăng tốc Chương trình tăng tốc Mới Chương trình GenAI Pinnacle GenAI Pinnacle Plus Người tiên phong AI Agentic Mới DeepSeek Hội nghị thượng đỉnh DataHack 2025 DHS 2026 Các khóa học miễn phí Đăng nhập Chuyển chế độ Đăng xuất Chuẩn bị phỏng vấn Sự nghiệp GenAI Kỹ thuật nhắc lệnh (Prompt Engg) ChatGPT LLM Langchain RAG AI Agents Học máy (Machine Learning) Học sâu (Deep Learning) Công cụ GenAI LLMOps Python NLP SQL Dự án AIML Danh sách đọc Lộ trình học tập chuyên viên phân tích dữ liệu Cách trở thành chuyên viên phân tích dữ liệu vào năm 2025: Lộ trình hoàn chỉnh Lộ trình học tập Tableau Lộ trình học tập toàn diện về Tableau vào năm 2025 Lộ trình học tập NLP Lộ trình học tập NLP toàn diện 2025 Lộ trình học tập nhà khoa học dữ liệu Lộ trình học tập để trở thành nhà khoa học dữ liệu vào năm 2025 Lộ trình học tập kỹ sư dữ liệu Lộ trình từng bước để trở thành kỹ sư dữ liệu vào năm 2025 Lộ trình học tập MLOps Lộ trình học tập MLOps toàn diện: Phiên bản 2025 Lộ trình học tập kỹ sư AI Lộ trình để trở thành kỹ sư AI vào năm 2025 Lộ trình học tập thị giác máy tính (Computer Vision) Lộ trình học tập toàn diện để thành thạo thị giác máy tính vào năm 2025 Lộ trình học tập AI tạo sinh (Generative AI) Lộ trình tốt nhất để học AI tạo sinh vào năm 2025 Lộ trình AI tạo sinh cho doanh nghiệp Lộ trình GenAI cho doanh nghiệp Lộ trình LLM Các mô hình ngôn ngữ lớn được giải mã: Lộ trình dành cho người mới bắt đầu Lộ trình kỹ sư nhắc lệnh (Prompt Engineer) Lộ trình học tập để trở thành chuyên gia kỹ thuật nhắc lệnh Trang chủ LLM Tại sao không nên luôn tin tưởng LLM với vai trò giám khảo: Hiểu về... Tại sao không nên luôn tin tưởng LLM với vai trò giám khảo: Hiểu về thiên kiến trong đánh giá tự động Soumil Jain Cập nhật lần cuối: 12/8/2026 8 phút đọc Trong cuộc chạy đua tự động hóa đánh giá, từ chấm điểm mã sinh viên đến xếp hạng các bài nghiên cứu, chúng ta đã chấp nhận các Mô hình ngôn ngữ lớn (LLM) với vai trò giám khảo. Chúng nhanh chóng. Các đơn vị này rẻ. Chúng có khả năng mở rộng. Tuy nhiên, tại một hội thảo ở DHS 2026, Bhaskarjit Sarmah đã đưa ra một quan điểm khiến tôi nhớ mãi: “Bạn không thể tin tưởng LLM với vai trò giám khảo. Tôi tránh sử dụng chúng.” LLM thu thập thông tin từ web, nơi chứa đầy dữ liệu thiên vị do con người tạo ra và các loại thiên kiến khác mà chúng ta sẽ đề cập trong bài viết này. Mục lục Tại sao các giám khảo lại thiên vị Các loại thiên kiến khác nhau 1. Thiên kiến vị trí 2. Thiên kiến dài dòng 3. Thiên kiến tự ưu tiên 4. Thiên kiến thực thể và giọng điệu 5. Thiên kiến nhận dạng 6. Thiên kiến quyền lực 7. Thiên kiến đám đông 8. Thiên kiến gây xao nhãng 9. Thiên kiến bỏ qua ngụy biện Cách khắc phục: định hướng giám khảo Các mô hình được định hướng có thể sử dụng Kết luận Các câu hỏi thường gặp Tại sao các giám khảo lại thiên vị Mọi thiên kiến mà chúng ta sẽ khám phá đều có cùng một nguyên nhân gốc rễ: giám khảo trả lời dựa trên những hiểu biết trước đó của mình thay vì dựa trên bằng chứng hiện có. Hơn nữa, mô hình đã học từ văn bản do con người viết, trong đó các câu trả lời dài hơn thể hiện sự nỗ lực, trích dẫn thể hiện tính chặt chẽ, sự đồng thuận thể hiện tính chính xác, và một số tên quốc gia, thương hiệu mang theo nhiều thập kỷ thông tin có trọng lượng. Quá trình huấn luyện căn chỉnh sau đó đã thưởng cho bất kỳ điều gì mà người đánh giá thích, chẳng hạn như các câu trả lời trau chuốt, tự tin và có vẻ kỹ lưỡng. Do đó, mô hình đã học được rằng "trông có vẻ tốt" là một yếu tố đại diện cho "thực sự tốt", và hiện tại bạn đã thuê yếu tố đại diện đó làm người chấm điểm của mình. Đặc biệt, một phát hiện đã định hình lại mọi thứ: thiên vị tác động mạnh nhất khi hai câu trả lời có chất lượng tương đương. Khi một câu trả lời rõ ràng tốt hơn, thiên vị không thể vượt qua khoảng cách đó. Khi chúng có thể so sánh được, đây là trường hợp sản xuất thông thường, thiên vị trở thành yếu tố quyết định. Các loại thiên vị khác nhau 1. Thiên vị vị trí Ví dụ, hãy xem xét điều gì xảy ra khi bạn đưa cho một người đánh giá hai câu trả lời được gắn nhãn A và B và hỏi câu nào tốt hơn. Sau đó, bạn thực hiện lại với chính xác hai câu trả lời đó, nhưng bạn hoán đổi nhãn sao cho cái trước đây là A giờ là B. Phán quyết sẽ thay đổi. Không có gì về nội dung thay đổi. Thay vào đó, chỉ có vị trí mà nó chiếm giữ thay đổi. Tại sao điều này xảy ra? Một mô hình không chú ý đến mọi phần đầu vào của nó một cách đồng đều. Hơn nữa, mô hình đặt trọng số cao hơn vào phần đầu và cuối của một lời nhắc (prompt) so với phần giữa. Ngoài ra, văn bản của con người có những quy ước về vị trí của người chiến thắng. Chúng ta bắt đầu bằng điểm mạnh nhất, hoặc chúng ta xây dựng đến điều tốt nhất ở cuối. Mô hình đã tiếp thu những quy ước đó như một tiên nghiệm về nơi các câu trả lời tốt tồn tại, và nó áp dụng tiên nghiệm đó ngay cả khi vị trí là tùy ý. Mức độ nghiêm trọng là bao nhiêu? Đối với các hoán đổi hai chiều đơn giản, những người đánh giá yếu hơn chỉ đạt kết quả nhỉnh hơn một chút so với tung đồng xu. Mức độ này cũng suy giảm nhanh chóng với nhiều lựa chọn hơn. Nếu đưa cho một người đánh giá ba hoặc bốn ứng viên thay vì hai, hầu hết các mô hình sẽ thay đổi người chiến thắng hơn một nửa số lần khi bạn sắp xếp lại thứ tự. Kiểm tra thiên vị vị trí Lời nhắc Tất nhiên, đây là hai câu trả lời cho câu hỏi "Điều gì gây ra lạm phát?" Trả lời A: [một lời giải thích tốt, chính xác] Trả lời B: [một lời giải thích hơi yếu hơn] Cái nào tốt hơn? Chỉ trả lời bằng "A" hoặc "B". Bây giờ hãy hoán đổi hai văn bản sao cho câu trả lời tốt được gắn nhãn B, và chạy lại. Thực hiện điều này mười lần cho mỗi cách sắp xếp. Nếu câu trả lời tốt không thắng với tỷ lệ gần như nhau ở cả hai vị trí, bạn đã đo được thiên vị vị trí. 2. Thiên vị dài dòng Điều gì xảy ra: Giữa hai câu trả lời đều đúng, câu trả lời dài hơn sẽ nhận được điểm cao hơn, ngay cả khi những từ ngữ bổ sung không mang lại giá trị gì. Tại sao: Trong dữ liệu huấn luyện của mô hình, các câu trả lời dài hơn thường xuyên là những câu trả lời tốt hơn. Văn bản chi tiết tương quan với sự nỗ lực và chuyên môn, vì vậy "dài bằng kỹ lưỡng" là một mô hình thực sự mà nó đã học được. Vấn đề là