Vòng lặp AI không ngừng đeo bám - Victor Amit

Cách các vòng lặp phản hồi, lệnh gọi công cụ, thử lại, bộ nhớ và trôi mục tiêu biến lỗi AI nhỏ thành hành vi vượt tầm kiểm soát **Tác nhân liên tục hoạt động** Hãy xem xét một yêu cầu giả định: "Khắc phục lỗi triển khai." Tác nhân đọc nhật ký và tìm thấy một giá trị cấu hình đáng ngờ. Nó vá giá trị đó và chạy lại quá trình triển khai, nhưng quá trình này thất bại với một lỗi khác. Tác nhân đọc lỗi mới và quyết định chẩn đoán ban đầu là sai. Nó hoàn tác bản vá, ghim một phụ thuộc và chạy lại. Quá trình triển khai lại thất bại, lần này với một thông báo tương tự thông báo đầu tiên nhưng không hoàn toàn giống. Tác nhân gọi một công cụ tìm kiếm và nhận được kết quả dường như ủng hộ một giả thuyết thứ ba. Nó thử giả thuyết đó. Không có gì bị treo. Không có ngoại lệ nào được ném ra và không có cảnh báo nào được kích hoạt. Mỗi bước riêng lẻ đều có thể biện minh được, và tác nhân rõ ràng đang làm điều gì đó. Nó chỉ không hội tụ. Một chương trình thông thường thường thất bại bằng cách dừng lại: nó ném lỗi, gây lỗi phân đoạn (segfault), hoặc hết thời gian. Một tác nhân có thể thất bại bằng cách tiếp tục. Một hành động thất bại duy nhất có thể trông giống như tiến trình bình thường, vì vậy hệ thống vẫn khỏe mạnh theo mọi thước đo hoạt động trong khi tiêu tốn tiền bạc, mở rộng ngữ cảnh của nó và có thể thay đổi thế giới xung quanh. Cách nói tắt thông thường cho vấn đề này là "tác nhân không biết khi nào nên dừng lại," và cụm từ đó che giấu vấn đề thực sự. Mô hình không có cảm giác nội tại về việc hoàn thành có thể bị thiếu. Cái tồn tại là một cấu trúc điều khiển trong đó các đầu ra của mô hình, kết quả công cụ, thay đổi trạng thái, thử lại hoặc chuyển giao liên tục được đưa trở lại vào quá trình thực thi, và không có gì trong cấu trúc đó buộc phản hồi phải kết thúc. Một bài viết đăng trước trên arXiv vào tháng 7 năm 2026 của Hou và cộng sự đã đặt tên cho lỗi này là Vòng lặp tác nhân vô hạn (IALs), và mô tả chúng phát sinh từ sự tương tác của logic tác nhân, ngữ nghĩa khung, quan sát thời gian chạy và cơ chế chấm dứt chứ không phải từ các vòng lặp lập trình thông thường. Luận điểm của tôi cho bài viết này rất đơn giản. Một tác nhân không trở nên nguy hiểm chỉ vì nó có thể mắc lỗi. Vấn đề sâu sắc hơn bắt đầu khi hệ thống đưa lỗi đó trở lại vòng lặp thực thi của chính nó. Một lỗi có giới hạn là một thất bại. Một vòng lặp phản hồi không giới hạn có thể biến thất bại đó thành một sự kiện cấp hệ thống. Một câu hỏi tổ chức mọi thứ sau đây: Điều gì thực sự đảm bảo rằng chuyển đổi tiếp theo là chuyển đổi cuối cùng? Bài viết 1 đã hỏi tại sao một mô hình tạo ra thông tin sai lệch mà không có ý định. Bài viết 2 đã hỏi làm thế nào một tác nhân có thể bị ảnh hưởng bởi nội dung mà nó không nên tin tưởng. Bài viết này hỏi về sự kiểm soát: ai quyết định liệu quá trình thực thi có tiếp tục hay không, và điều gì xảy ra khi không có ai thực sự làm điều đó. **Tại sao các tác nhân cần vòng lặp ngay từ đầu** Vòng lặp không phải là một lỗi thiết kế. Chúng là cơ chế biến một tác nhân thành một tác nhân. Một LLM một lượt ánh xạ một lời nhắc tới một đầu ra và hoàn thành. Một tác nhân bao bọc mô hình trong một chu trình: suy luận về mục tiêu, chọn một hành động, gọi một công cụ, quan sát kết quả, cập nhật trạng thái, suy luận lại. ReAct (Yao và cộng sự, 2022) đã thiết lập mô hình xen kẽ các dấu vết suy luận với các hành động, và các môi trường chạy tác nhân hiện đại mở rộng nó với trạng thái bền vững, ủy quyền và chuyển đổi quy trình làm việc. Ví dụ, OpenAI Agents SDK mô tả một trình chạy gọi mô hình, thực thi bất kỳ công cụ được yêu cầu nào, xử lý các chuyển giao và lặp lại cho đến khi đạt được một đầu ra cuối cùng hoặc một giới hạn. Mục tiêu người dùng ↓ Suy luận ↓ Chọn hành động ↓ Gọi công cụ ↓ Quan sát kết quả ↓ Cập nhật trạng thái ↓ Suy luận lại ↺ Sơ đồ này là nguồn gốc của tính hữu ích. Tác nhân (agent) có thể khắc phục một lần thử ban đầu không thành công và có thể sử dụng thông tin mà nó không có khi bắt đầu. Sơ đồ tương tự cũng chứa chế độ lỗi, bởi vì một vòng lặp không có lối thoát chỉ là một vòng lặp. Vì vậy, câu hỏi hữu ích không phải là làm thế nào để loại bỏ vòng lặp mà là phanh nằm ở đâu. Đối với nhiều triển khai tác nhân, câu trả lời trung thực là "ít rõ ràng hơn bạn mong đợi". Không phải mọi vòng lặp đều là vòng lặp vô hạn Từ vựng bất cẩn khiến chủ đề này trở nên khó hiểu. "Tác nhân bị lặp" có thể mô tả ít nhất tám điều khác nhau và chúng đòi hỏi các phản ứng khác nhau. | Hành vi | Mô tả | |---|---| | Lặp lại (Iteration) | Thực hiện lặp lại hợp lệ hướng tới một mục tiêu | | Thử lại (Retry) | Thực hiện lại sau một lỗi tạm thời | | Phản tư (Reflection) | Tự đánh giá có chủ ý giữa các lần thử | | Đệ quy (Recursion) | Tái nhập thực thi thông qua các lời gọi lồng nhau | | Dao động (Oscillation) | Chuyển đổi qua lại giữa các trạng thái hoặc hành động | | Quá tải (Thrashing) | Thực hiện công việc lặp đi lặp lại mà không có tiến bộ đáng kể | | Lỗi dây chuyền (Cascading failure) | Một lỗi lan truyền qua các thành phần được kết nối | | Vòng lặp tác nhân vô hạn (Infinite Agentic Loop - IAL) | Một đường phản hồi liên tục kích hoạt thực thi mà không có giới hạn dừng hiệu quả | Bốn điều đầu tiên là bình thường. Dao động và quá tải mô tả cách một quỹ đạo trông như thế nào. Lỗi dây chuyền mô tả cách thiệt hại lan rộng. Định nghĩa IAL mang tính cấu trúc. Nó mô tả một đường phản hồi liên tục kích hoạt các hành động tốn kém hoặc làm tăng trạng thái mà không có giới hạn dừng hiệu quả. Khung cấu trúc quan trọng vì nó không phụ thuộc vào việc quan sát vòng lặp chạy mãi mãi. Bạn có thể hỏi về một thiết kế, trước khi bất cứ điều gì được thực thi, liệu có bất kỳ đường dẫn nào mà hệ thống tái nhập thực thi tốn kém mà không có giới hạn bao phủ đường dẫn đó hay không. Có giới hạn: A → B → C → DỪNG Không giới hạn: A → B → C → A → B → C → A → ... Hãy ghi nhớ sự phân biệt giữa có giới hạn và không giới hạn này. Nó sẽ xuất hiện lại trong phần về lý do tại sao `max_iterations` thường không đủ. Tác nhân như một bộ điều khiển phản hồi Viết tác nhân dưới dạng một hệ thống động lực học sẽ hữu ích: State_t → Model → Action_t → Environment → Observation_t → State_t+1 → Model st+1 = F(st, at, ot) Trạng thái tiếp theo phụ thuộc vào trạng thái hiện tại, những gì tác nhân đã làm và những gì được trả về. Và vì mô hình chọn at như một hàm của st, hệ thống được đóng: các đầu ra của nó trở thành các đầu vào của nó. Phản hồi là nguồn sức mạnh của tác nhân. Một hệ thống có thể tiêu thụ hậu quả từ các hành động của chính nó có thể thích nghi. Nó cũng là nguồn gốc của sự thất bại của tác nhân, bởi vì các thuộc tính ổn định mà các kỹ sư điều khiển phân tích một cách có chủ ý trong các hệ thống vật lý không được đảm bảo ở đây. Một bộ điều nhiệt có phản ứng và cảm biến đã biết. Một chính sách điều khiển bằng LLM không có cả hai. Phản ứng của nó đối với một đầu vào chỉ một phần p.