Nghiên cứu cho thấy tốc độ phát triển nhanh chóng của LLM đang vượt xa các nghiên cứu lý giải cơ chế hoạt động

Plus Nghiên cứu AI Sao chép liên kết vào bộ nhớ tạm Chia sẻ bài viết này Đi đến phần bình luận Nghiên cứu chỉ ra tốc độ phát triển nhanh chóng của LLM đang vượt xa các công trình lý giải Matthias Bastian Xem hồ sơ LinkedIn của Matthias Bastian Ngày 3/11/2026 GPT-Image-2.5 được tạo theo câu lệnh của THE DECODER Hai nhà nghiên cứu Owen Queen và James Zou thuộc Đại học Stanford đã kiểm nghiệm 50 nhận định được trích dẫn rộng rãi về các mô hình ngôn ngữ lớn (LLM) trên 20 mô hình và phát hiện 44% trong số đó đã "hết hiệu lực". Trong số 22 phát hiện có ước tính thời hạn hiệu lực, tuổi thọ trung bình chỉ đạt 15,7 tháng. Hai tác giả đã đánh giá các nhận định này thông qua những mô hình được phát hành từ tháng 7/2024 đến tháng 9/2026 bởi tám nhà phát triển khác nhau. Tác động ban đầu của các phát hiện đã hết hiệu lực gần như biến mất hoàn toàn, trong khi 34% khác suy giảm đáng kể. Chỉ có 16% kết luận vẫn còn giá trị và 6% trên thực tế thể hiện rõ nét hơn. Sau một năm, 16% số phát hiện đã mất hiệu lực. Sau hai năm, tỷ lệ này tăng lên mức 39%. Những nhận định về điều mô hình "không thể làm" mất hiệu lực nhanh nhất Theo nghiên cứu, các nhận định về những điều mô hình không thể thực hiện mất hiệu lực nhanh nhất. Năm trong số chín phát hiện liên quan đến khả năng suy luận được xem là đã hết hiệu lực, không có phát hiện nào còn duy trì nguyên vẹn hoặc trở nên rõ nét hơn. Những hạn chế này bao gồm các điểm yếu quen thuộc như đếm số chữ cái trong từ "strawberry", tính toán số học trong các hệ cơ số lạ, thất thoát thông tin ở đoạn giữa của ngữ cảnh dài và từ bỏ câu trả lời đúng khi người dùng phản bác. Nhóm nghiên cứu nhận định những dạng lỗi này đều có kết quả "đúng" cụ thể, từ đó tạo ra mục tiêu rõ ràng để các nhà phát triển định hướng huấn luyện. Nghiên cứu của Đại học Stanford chỉ ra rằng 44% các phát hiện được khảo sát về LLM đã hết hiệu lực, và 34% khác đã suy giảm. Toàn bộ chín phát hiện về suy luận đều đã mờ nhạt dần, trong khi hành vi nịnh bợ, lừa dối và hành vi mang tính chiến lược có nhiều phát hiện vẫn tồn tại hoặc trở nên rõ rệt hơn. | Ảnh: Queen và Zou Các nhận định về sở thích và thiên hướng cho thấy có tuổi thọ dài hơn. Trong số 11 phát hiện vẫn duy trì giá trị hoặc gia tăng cường độ, có ba phát hiện liên quan đến hành vi của LLM trong vai trò người đánh giá. Các mô hình thường ưu tiên câu trả lời của chính mình, đánh giá các bài báo khoa học được chấp nhận hoặc bị từ chối ở mức tương đương nhau, và bị tác động bởi lối diễn đạt mang tính định hướng trong các bản tóm tắt y khoa. Ba phát hiện khác liên quan đến xu hướng chiều ý và đồng tình với người dùng. Ngoài ra, còn có định kiến chính trị nghiêng về cánh tả, câu trả lời gần như giống hệt nhau đối với các câu hỏi mở, và sự phân bổ không đồng đều khi tạo số ngẫu nhiên. Tài liệu tham khảo bịa đặt giảm từ 55% xuống 0%, song không diễn ra đồng đều Xét theo trường hợp nghiên cứu cụ thể, Queen và Zou đã xem xét việc bịa đặt các trích dẫn khoa học. Trong nghiên cứu gốc năm 2023 của Walters và Wilder, GPT-3.5 đã tạo ra 55% tài liệu tham khảo giả mạo. Các nhà nghiên cứu Stanford đã gửi cùng các câu lệnh tới các mô hình hiện tại. GPT-6.1 Sol hoàn toàn không tạo tài liệu tham khảo giả (0%), trong khi Claude Sonnet 5.5 ở mức 1%. Tuy nhiên, Qwen3.7-Flash, cũng là một mô hình ra mắt năm 2026, vẫn bịa đặt tới 69% số tài liệu tham khảo trong cùng một thử nghiệm. Nghiên cứu cảnh báo không nên diễn giải những kết quả này như một sự khắc phục triệt để. Đối với các câu hỏi gọi là "hai bước" (two-hop questions) – trường hợp mô hình phải kết hợp hai dữ kiện đã biết – Claude Sonnet 5.5 vẫn thất bại trong khoảng 10% các trường hợp dù đã trả lời đúng cả hai câu hỏi riêng lẻ. Báo cáo gốc từng ghi nhận tỷ lệ này ở mức 43% đối với ChatGPT. "Lời nguyền đảo ngược" (Reversal Curse) và các câu trả lời mâu thuẫn đối với các cặp câu hỏi liên quan đến thời gian cũng đã suy giảm, nhưng vẫn có thể phát hiện được. Theo các nhà nghiên cứu, định kiến xã hội có diễn biến phức tạp. Xu hướng thiên vị chính trị cánh tả vẫn tồn tại, trong khi các định kiến giới và định kiến liên tưởng tiềm ẩn đã suy giảm. Số liệu xu hướng cho thấy định kiến đối với người nói tiếng Anh của người Mỹ gốc Phi thực tế đã đổi chiều. Khoảng cách giữa các mô hình vẫn lớn ngay cả trong cùng một thế hệ Kết quả có sự khác biệt đáng kể giữa các mô hình, ngay cả trong cùng giai đoạn phát hành. Trong số các mô hình ra mắt từ tháng 7 đến tháng 9/2026, số lượng kết luận không còn đúng dao động từ 11 đối với DeepSeek V4 Pro đến 30 đối với GPT-6.1 Sol. Ngày phát hành, nhà cung cấp hay quy mô mô hình đều không thể dự đoán một cách đáng tin cậy về quy luật này. Hai nhà nghiên cứu Queen và Zou đưa ra kết luận khái quát: Các phát hiện thực nghiệm về LLM nên được trình bày như những quan sát về các mô hình cụ thể tại một thời điểm nhất định, không phải là chân lý phổ quát. Các bài báo khoa học cần ghi rõ mô hình, phiên bản và ngày thử nghiệm, đồng thời công bố câu lệnh (prompt) cùng mã phân tích để có thể kiểm chứng lại các phát hiện trên những mô hình tương lai. Các nhà nghiên cứu dẫn lại bài viết của Andrej Karpathy mô tả khoảng cách nhận thức về hành vi thực tế của LLM ảnh hưởng như thế nào đến mức độ tin tưởng vào AI và tần suất sử dụng của người dùng. Ông Karpathy, đồng sáng lập OpenAI và hiện đã gia nhập Anthropic, gần đây cũng nhận định rằng các mô hình hiện có chỉ là bản xem trước về những năng lực tương lai. Tin tức AI không phô trương – Do con người tuyển chọn Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hằng tuần, báo cáo chuyên sâu độc quyền "AI Radar" 6 lần/năm, toàn quyền truy cập kho lưu trữ và khu vực bình luận. Đăng ký ngay --> Đọc tiếp để nắm bắt bức tranh toàn cảnh. Đăng ký để theo dõi các nội dung không phô trương. Toàn quyền truy cập mọi bài viết trên THE DECODER Không quảng cáo Tham gia bình luận và thảo luận cùng cộng đồng Bản tin tổng hợp AI hằng tuần qua thư điện tử 6 lần/năm: Báo cáo chuyên sâu "AI Radar" về các chủ đề AI trọng điểm Tin tức AI hằng ngày, luôn được cập nhật Toàn bộ kho lưu trữ 10 năm Được thực hiện bởi đội ngũ hơn 10 năm kinh nghiệm trong lĩnh vực AI Đăng ký The Decoder -->