Giải phẫu một điểm dừng học tập – Cách ảo giác của LLM trở thành ảo giác của con người

Cấu trúc của một điểm nghẽn học tập – Tagide LLM Ngày 5/6/2026 / Bởi / 0 bình luận Cấu trúc của một điểm nghẽn học tập Cấu trúc của một điểm nghẽn học tập Hay cách ảo giác của LLM trở thành ảo giác của con người Gần đây, tôi đã có một trải nghiệm với một sinh viên đại học khiến tôi phải suy nghĩ về cách chúng ta sử dụng AI. Tôi đã đăng một vài bài viết trên LinkedIn với những đoạn trích rất ngắn về những gì đã xảy ra, nhưng tôi muốn viết chi tiết về trải nghiệm này, bởi vì các chi tiết làm sáng tỏ cơ chế và hậu quả của ý tưởng thường được nghe rằng, trong tương lai gần, chúng ta, con người, sẽ không cần biết bất cứ điều gì về nội bộ của các hệ thống mà chúng ta xây dựng; rằng chúng ta chỉ cần chỉ định những gì chúng ta muốn và, một khi đặc tả là hợp lệ, tác nhân AI sẽ thực hiện và tất cả sẽ đúng. Có thể tất cả sẽ đúng. Và có thể nó cũng sẽ sai. Sự đúng đắn không giống như "điều đúng đắn". Và sự phân biệt này rất quan trọng để phân tách ảo giác khỏi thực tế. Dự án độc lập, Tuần 1 Tất cả bắt đầu vào đầu tháng 4 khi một sinh viên đại học, tạm gọi là Joe, tiếp cận tôi để thực hiện một nghiên cứu độc lập – đây là các khóa học dự án nghiên cứu mà sinh viên có thể tham gia để lấy tín chỉ, và thường được thực hiện bởi những sinh viên đang cân nhắc học sau đại học hoặc đơn giản là tò mò về nghiên cứu. Joe, một sinh viên năm ba, nói với tôi rằng cậu ấy muốn nộp đơn vào các chương trình Tiến sĩ. Vì vậy, vào tuần 1 của học kỳ, chúng tôi đã nói chuyện về sở thích của cậu ấy và sở thích hiện tại của tôi, và chúng tôi đã tập trung vào một dự án khả thi cho cậu ấy. Dưới đây là tóm tắt cuộc trò chuyện đó. Gần đây, tôi thường quan tâm đến các phương pháp xác minh tự động các tạo phẩm phần mềm bằng cách sử dụng LLM/tác nhân/mạng thần kinh (chúng tôi đã có một bài báo đầu tiên về vấn đề này vào năm 2023/2024). Joe nói với tôi rằng cậu ấy quan tâm đến chính các mô hình và muốn có kinh nghiệm tinh chỉnh một mô hình. Vì vậy, tôi đã đề xuất một dự án xoay quanh ý tưởng xác minh tự động các đặc tả giao thức. Tôi đã chọn một giao thức cụ thể – MQTT – để cậu ấy thực hiện một thí nghiệm liên quan đến việc phát triển một tác nhân AI có thể, có khả năng, tự động xác minh giao thức. Tôi cũng đã đề cập đến hai lộ trình khả thi cho ý tưởng chung này: (1) chúng ta có thể yêu cầu tác nhân AI xác minh tính nhất quán của chính đặc tả giao thức, rằng không có sự không nhất quán giữa nhiều điều khoản; hoặc (2) chúng ta có thể lấy các triển khai cụ thể của MQTT hiện có và xác minh xem chúng có tuân thủ đặc tả giao thức hay không. Cuộc họp kết thúc tốt đẹp với sự hiểu biết lẫn nhau, với mục tiêu tiếp theo của Joe là quyết định vấn đề nào trong hai vấn đề cần giải quyết, và sau đó tiếp tục từ đó. Trong tâm trí tôi, khá rõ ràng rằng dự án này khả thi trong một học kỳ, đặc biệt với sự giúp đỡ của Claude/Gemini/v.v. Tuần 8 Cách tôi làm việc với sinh viên là có các cuộc họp riêng hàng tuần, có thể được bổ sung bằng các cuộc họp bổ sung khi sinh viên đạt được tiến bộ nhanh chóng cần sự hướng dẫn của tôi. Tôi không bắt buộc bất kỳ điều nào trong số này, vì tôi đã làm việc với đủ sinh viên để biết rằng mỗi người trong số họ đều khác nhau và cần mức độ giám sát khác nhau; cũng bởi vì tôi coi những sinh viên này như những đồng nghiệp trẻ hơn, không phải nhân viên hay trẻ em. Đây chỉ là một cách nói hay rằng Joe chưa bao giờ xuất hiện trong các cuộc họp hàng tuần. Cậu ấy xuất hiện vào Tuần 8 với việc hoàn thành toàn bộ dự án. Cậu ấy rất hào hứng muốn cho tôi xem. Cậu ấy nói với tôi rằng cậu ấy đã phát triển một tác nhân có thể, thực sự, xác minh rằng MQTT là đúng và tác nhân đó dựa trên việc tinh chỉnh Qwen. Nhìn vào Visual Studio của cậu ấy, mọi thứ trông khá ấn tượng và được thực hiện tốt: một cấu trúc thư mục phù hợp, các tệp có tên có ý nghĩa, một thư mục dữ liệu rõ ràng chứa... dữ liệu huấn luyện đã được tinh chỉnh, nhiều tham chiếu đến MQTT, v.v. Trông có vẻ hợp lý và ấn tượng! Sau 2 phút trình bày tóm tắt dự án, anh ấy hỏi liệu chúng tôi có thể viết một bài báo về dự án này và gửi đi hội nghị hay không. Tôi cũng rất hào hứng, vì vậy tôi đã yêu cầu anh ấy giải thích chính xác những gì anh ấy đã làm. *Joe hơi ngừng lại* Tôi đã xây dựng một tác nhân (agent) xác minh giao thức MQTT. *Tôi* Được rồi, nhưng anh đã giải quyết vấn đề nào trong hai vấn đề? Đó là vấn đề nhất quán đặc tả hay vấn đề chính xác triển khai? *Joe do dự* Ờ... tôi nghĩ... tính chính xác của đặc tả? *Tôi, nhìn vào dữ liệu huấn luyện của anh ấy và thấy rất nhiều mã Python trong đó* Thật sao? Anh chắc chứ? *Joe càng do dự hơn nhưng cố gắng tỏ ra tự tin* Ờ, vâng, tính chính xác của đặc tả. *Tôi chỉ vào dữ liệu huấn luyện* Vậy thì tất cả dữ liệu huấn luyện này là gì? Tất cả các hàm Python này trông giống như một triển khai MQTT là gì? *Joe bây giờ rõ ràng là lo lắng* Xin lỗi, ý tôi là tôi đã làm về tính chính xác của triển khai. Tôi đã xác minh rằng một triển khai Python nhất định là chính xác. *Tôi, bây giờ hơi lo lắng* Được rồi. Và anh đã làm điều đó như thế nào? *Joe với ánh mắt trống rỗng đầy bối rối* Tôi đã xây dựng một tác nhân. *Tôi, thậm chí còn lo lắng hơn* Và tác nhân đó xác minh rằng triển khai là chính xác như thế nào? *Joe thực sự lo lắng* Ờ... *Tôi chen vào để giúp anh ấy* Được rồi, để tôi xem xét kỹ hơn mã của anh. Tôi đã xem mã trong một phút và tôi nhận ra, với sự kinh ngạc và kinh hoàng, chính xác những gì đã xảy ra. Hai điều: 1) Joe chỉ đơn giản là cắm vào Claude Co