Tôi đã viết một cuốn sách giáo khoa về AI — bao lâu nữa AI có thể làm tốt hơn?

Có nhiều chỉ trích về khả năng viết của AI, nhưng hầu hết tập trung vào các loại văn bản sáng tạo, mang tính cá nhân cao như blog này. Những ý kiến đó — bao gồm cả bài viết của tôi — thường lập luận rằng điều này là do văn phong tốt cần có tính cá nhân, có quan điểm, thể hiện cảm xúc sâu sắc của con người, hoặc một quá trình tư duy được thể hiện qua cách chọn từ ngữ. Khi các mô hình ngôn ngữ lớn (LLM) ngày càng được tinh chỉnh như những công cụ, thay vì trợ lý đàm thoại, tôi nghĩ chúng ta đang đi ngược lại mục tiêu có được các mô hình tạo ra văn bản truyền cảm hứng. Mặt khác là văn bản phi hư cấu. Văn bản phụ trợ, văn bản sao chép là một trong những khả năng thực sự hữu ích của LLM (Sam Altman đã nói nhiều về hoạt động kinh doanh ban đầu của GPT-3 trong một podcast gần đây). Dường như mọi sai sót ở đây chủ yếu là do thiếu trí thông minh tổng thể trong các mô hình, hoặc một số vấn đề đào tạo khác, và tất cả văn bản phi hư cấu và giải thích cuối cùng sẽ bị thay thế bởi tốc độ phát triển nhanh chóng. Sau khi làm việc với các mô hình như một trợ lý viết trong vài năm qua, chúng đã tốt hơn một chút, nhưng đáng để suy nghĩ về những gì đang kìm hãm chúng. Việc các mô hình trì trệ trong việc tạo văn bản phi hư cấu dài hơi nên là một tín hiệu đáng báo động đối với những người phụ thuộc vào các mô hình tự động giải quyết các vấn đề khoa học lớn, mở trong tương lai gần. Các mô hình hiện nay gặp khó khăn trong việc tổ chức và trình bày một cách thuyết phục một số kiến thức khoa học đã được thiết lập nhất trong lĩnh vực của chúng. Đây dường như là một điều kiện tiên quyết tự nhiên mà chúng ta nên mong đợi các mô hình phải thành thạo trước khi chúng có thể tự mình giải quyết các vấn đề rộng lớn, mở. Cho đến khi điều này được giải quyết, tiến bộ của LLM trong khoa học sẽ giống với việc giải quyết các vấn đề dễ dàng và kết nối các lĩnh vực xa vời, hơn là bất kỳ loại hiểu biết mang tính cách mạng nào. Đây là một quan điểm có phần gây tranh cãi đối với một người rất lạc quan về tiến bộ của AI, đặc biệt là khi viết nó vào ngày Anthropic công bố một bài đăng blog về việc Claude đạt được một số tiến bộ trong Giả thuyết Riemann nổi tiếng. Các vấn đề khoa học có phạm vi rộng lớn, và tôi không nghĩ các mô hình AI hiện tại có phạm vi bao phủ rộng như nhiều người nghĩ. Tổ chức kiến thức là một sự nén. Sự nén này cần thiết để tạo ra cái nhìn sâu sắc. Các LLM hiện nay làm tăng entropy trong văn bản phi hư cấu dài hơi, và tôi không thấy làm thế nào điều đó có thể được chồng chất lên nhau vô tận. Chúng sẽ phụ thuộc vào con người đóng vai trò như những người hướng dẫn. Tôi vẫn rất lạc quan về việc chuyển đổi từ các dạng khoa học hẹp này, như những tiến bộ vượt bậc chúng ta đã thấy trong toán học, thành những tiến bộ nhất quán, rộng lớn hơn — LLM là những trợ lý mạnh mẽ nhất mà các nhà khoa học từng sử dụng. Trước tiên, tôi cần giải thích cách việc quan sát các mô hình hoạt động trên các vấn đề kiến thức cơ bản, cấp thấp như vậy trong văn bản khiến tôi nhận thấy một sự thiếu hụt tổng quát hóa đáng ngạc nhiên. Để có thêm bối cảnh, tôi vừa hoàn thành việc viết một cuốn sách giáo khoa sau đào tạo, "Reinforcement Learning from Human Feedback" (có thể mua trên Manning hoặc Amazon). Tôi đã sử dụng LLM theo nhiều cách để hỗ trợ việc này, từ giúp xử lý định dạng LaTeX cho các phương trình, thực hiện chỉnh sửa sao chép rộng rãi, đến tạo sơ đồ cho các ngôn ngữ lập trình như TikZ (trong LaTeX) hoặc Python. Chia sẻ Tại sao các mô hình lại trì trệ về chất lượng viết? Tôi đã mong đợi nhiều tiến bộ hơn trong việc viết phi hư cấu từ các mô hình. Tôi gần như nghĩ mình sẽ trông thật ngớ ngẩn khi xuất bản một cuốn sách phi hư cấu vào năm 2026, với tình hình năm 2024. Hiện nay, một số mô hình nổi tiếng nhất về khả năng viết khá cũ. Ví dụ, có thể kể đến GPT 4.5 của OpenAI và Kimi K2 của Moonshot. Trong và xung quanh các bản phát hành này, các mô hình đã chuyển từ mức chấp nhận được sang siêu việt trong các tác vụ khác như lập trình và toán học. Có lẽ một so sánh gần hơn, nhưng vẫn chưa hoàn hảo, là cách các mô hình đã chuyển từ không có khả năng sang khá tốt trong các tác vụ tìm kiếm và nghiên cứu. Tốc độ tiến bộ ở hầu hết các kỹ năng khác là rất nhanh, nhưng khả năng viết tốt dường như không liên quan đến hầu hết chúng. Việc viết không phải bị bỏ qua, mà đúng hơn là nó khó khăn và thiếu dữ liệu đào tạo tốt để can thiệp cụ thể vào lĩnh vực này. Chắc chắn có một số giải pháp dễ thực hiện để cải thiện khả năng viết của các mô hình AI – chẳng hạn như các công cụ chuyên biệt như Claude Code, các câu lệnh (prompt) và môi trường đào tạo khiến các mô hình phải sử dụng nhiều token suy luận hơn cho đầu ra. Tuy nhiên, những điều này sẽ không tạo ra tác động nhân lên đối với khả năng. Viết tốt là một nhiệm vụ rất khó khăn! Thật đáng tiếc khi chúng ta chưa mở khóa khả năng mở rộng thời gian suy luận cho một trong những hoạt động trí tuệ vĩ đại. Dù sao đi nữa, việc viết dường như rất khác so với những gì các mô hình giỏi. Hiện nay, các mô hình dường như thực sự kém trong việc viết tài liệu kỹ thuật dài. Chúng có thể viết đúng một câu, nhưng nếu cố gắng yêu cầu chúng viết toàn bộ một chương, kết quả sẽ là sự pha trộn giữa cách diễn đạt khó hiểu, tổ chức lộn xộn và nhìn chung là hơi lạc đề. Chúng cố gắng trở nên quá "dễ thương" ở những nơi không cần thiết và trong quá trình đó tạo ra những lỗi khái niệm ngẫu nhiên. Các mô hình trong tương lai gần sẽ cải thiện đáng kể các lỗi nhỏ, đặc biệt khi các mô hình lớn hơn – điều này cho phép chúng nắm giữ nhiều kiến thức thế giới hơn – nhưng khả năng sử dụng kiến thức đó để chuyển đổi thì không được kỳ vọng. Ví dụ, các mô hình GPT đã rất xuất sắc trong việc tìm lỗi chính tả và các vấn đề nhỏ trong một thời gian dài. Tôi đã đưa bản nháp gần cuối của cuốn sách của mình dưới dạng PDF cho GPT 5.5 Pro và nó đã tìm thấy những lỗi chính tả nhỏ sâu sắc, đáng ngạc nhiên trên toàn bộ bản thảo dài 200-300 trang. Mặt khác, các mô hình Claude hữu ích hơn nhiều với vai trò biên tập viên. Chúng có nhiều "gu" hơn, có xu hướng hiểu rõ hơn mô hình tư duy của nhiệm vụ và đưa ra những gợi ý thú vị hơn để tháo gỡ các dạng tắc nghẽn ý tưởng khi viết. Các ví dụ đã nêu ở trên đều có một chủ đề nhất quán. Các mô hình biết cách kiểm tra từng đơn vị nội dung, trong trường hợp này thường là một câu, một phương trình hoặc một hình ảnh, hoặc tạo ra một phần cụ thể nơi người dùng gặp khó khăn. Với những kỹ năng này, chúng không làm tốt công việc.