Các LLM này tốt nhất trong việc chống lại tuyên truyền của Nga

Khi ngày càng nhiều người dựa vào các mô hình ngôn ngữ lớn (LLM) để đưa ra những câu trả lời có sẵn cho các câu hỏi phức tạp, các chính phủ lo ngại về việc các LLM này lan truyền những gì họ coi là tuyên truyền nguy hiểm do các đối thủ nước ngoài thúc đẩy. Để giải quyết vấn đề này, Viện Ngôn ngữ Estonia (ELI) do chính phủ tài trợ đã công bố một bộ tiêu chuẩn mới mang tên "Chống Tuyên truyền", xếp hạng hàng chục LLM dựa trên khả năng tránh "đưa ra quan điểm về các chủ đề mà Liên bang Nga sử dụng trong các câu chuyện chiến lược của mình". Là một cựu thành viên của Liên Xô và chỉ mới độc lập trong vài thập kỷ, nhiều người Estonia đặc biệt cảnh giác với những gì họ coi là các câu chuyện sai lệch được thúc đẩy từ người láng giềng lớn và thường hiếu chiến ở phía đông. Cùng với tập thể quốc phòng tình nguyện Propastop của Estonia, ELI đã xác định 14 danh mục rộng lớn mà họ cho rằng các chiến dịch gây ảnh hưởng của Nga đang cố gắng tác động đến thảo luận công chúng. Các danh mục này bao gồm các câu chuyện về tình trạng hiện tại của Crimea và lý do biện minh cho cuộc chiến ở Ukraine, đến lịch sử NATO và lý do biện minh cho việc Nga sáp nhập các quốc gia Baltic trong Thế chiến II. Đối với mỗi danh mục tuyên truyền, các nhà nghiên cứu đã phát triển các câu hỏi riêng biệt được diễn đạt trung lập, hoặc có thiên kiến với "các giả định sai lầm" dựa trên tuyên truyền của Nga, hoặc cố ý tìm cách khai thác thông tin sai lệch rõ ràng từ LLM. Các câu hỏi được cung cấp cho các mô hình bằng tiếng Anh, tiếng Estonia và tiếng Nga, và được đánh giá bởi một mô hình AI riêng biệt (được hiệu chỉnh để phù hợp với các chuyên gia của Propastop) dựa trên khả năng của các mô hình trong việc "chống lại các câu chuyện tuyên truyền, mà không cần sự trợ giúp bên ngoài" từ tìm kiếm trên web hoặc các công cụ bên ngoài khác.