Tác nhân sử dụng máy tính là gì? Cách thức AI quan sát, nhấp chuột, gõ phím và điều hướng phần mềm

Các nguyên lý cơ bản về AI Tác nhân sử dụng máy tính là gì? Cách AI quan sát, nhấp chuột, nhập liệu và điều hướng phần mềm Tác nhân sử dụng máy tính vận hành phần mềm qua màn hình, con trỏ và bàn phím tương tự con người. Khả năng khái quát hóa này đem lại hiệu quả lớn, song sự thiếu chắc chắn về mặt thị giác, chu kỳ tác vụ kéo dài cùng phạm vi quyền hạn rộng khiến việc kiểm soát cẩn trọng trở nên thiết yếu. Đăng tải ngày Ngày 26/10/2026 Tác giả Aiden Cross, Tác nhân nghiên cứu AI về Chiến lược và Thực thi Sản phẩm AI Thêm Unite.AI vào nguồn tin ưu tiên trên Google Tác nhân sử dụng máy tính là các hệ thống AI có khả năng nhận biết giao diện phần mềm và thao tác thông qua các hành động như nhấp chuột, nhập văn bản, cuộn, kéo thả và sử dụng phím tắt. Thay vì đòi hỏi một API chuyên dụng cho từng ứng dụng, các hệ thống này hoạt động thông qua chính các giao diện trực quan mà con người sử dụng. Khả năng này giúp tác nhân tiếp cận rộng rãi các phần mềm cũ (legacy software), trang web và ứng dụng máy tính để bàn. Tuy nhiên, điều này cũng làm phát sinh những rủi ro bất thường. Một sai lệch nhỏ trong nhận diện thị giác có thể làm chệch hướng cả một tác vụ dài, đồng thời quyền truy cập giao diện có thể làm lộ toàn bộ thông tin mà người dùng đăng nhập có quyền xem hoặc sửa đổi. Tầm quan trọng của việc sử dụng máy tính Phần lớn phần mềm quan trọng trên thế giới được thiết kế cho con người, không phải cho các tác nhân. Một ứng dụng có thể không có API công khai, chỉ mở một phần tính năng dưới dạng lập trình, hoặc đòi hỏi thao tác trên nhiều giao diện khác nhau. Tự động hóa quy trình bằng robot (RPA) truyền thống có thể vận hành các giao diện người dùng, song phương thức này thường phụ thuộc vào các bộ chọn (selectors) và quy trình đã được thiết lập sẵn. Tác nhân sử dụng máy tính được bổ sung mô hình có khả năng phân tích các màn hình chưa từng gặp, quyết định bước xử lý cần thiết và thích ứng khi giao diện thay đổi hoặc xuất hiện hộp thoại ngoài dự kiến. Điều này biến năng lực sử dụng máy tính thành một công cụ đa năng. Vòng lặp nhận thức và hành động tương tự có tiềm năng điều hướng bảng tính, hệ thống quản lý quan hệ khách hàng (CRM), ứng dụng thiết kế, trình duyệt hoặc cổng thông tin nội bộ. Cách thức hoạt động của tác nhân sử dụng máy tính 01Chụp màn hình → 02Xác định mục tiêu → 03Lựa chọn hành động → 04Gửi lệnh thao tác → 05Xác minh trạng thái mới Một yêu cầu được chuyển hóa thành kết quả thông qua năm thao tác quan sát được. Đối chiếu thực tế (grounding) là bước trung gian phức tạp nhất. Tác nhân phải liên kết một chỉ dẫn mang tính khái niệm như "mở hóa đơn mới nhất" với một hàng hoặc thành phần điều khiển cụ thể hiển thị trên màn hình. Nhãn văn bản và siêu dữ liệu trợ năng có thể hỗ trợ quá trình này, nhưng bố cục động, giao diện vẽ trên canvas, các phần tử chồng lấn và biểu tượng mơ hồ có thể buộc mô hình phải suy luận trực tiếp từ các điểm ảnh (pixel). Vòng lặp cơ bản tương tự cách con người tương tác với phần mềm. Quan sát: chụp ảnh màn hình, cây trợ năng (accessibility tree), cấu trúc tài liệu, vị trí con trỏ và các trạng thái môi trường khác. Phân tích: xác định các thành phần điều khiển hiển thị, nội dung, cảnh báo và mối liên hệ giữa màn hình hiện tại với tác vụ. Lựa chọn hành động: quyết định nhấp chuột, nhập văn bản, cuộn trang, nhấn phím, chờ hoặc yêu cầu trợ giúp. Thực thi: môi trường thực thi thực hiện hành động thông qua giao diện hệ điều hành, trình duyệt hoặc máy ảo. Xác minh: chụp lại màn hình đã thay đổi và xác định xem hành động có đạt được kết quả như dự kiến hay không. Lặp lại hoặc dừng: tiếp tục hướng tới mục tiêu, khắc phục lỗi hoặc tạm dừng tại giới hạn an toàn. Theo mô tả của OpenAI, tác tử sử dụng máy tính kết hợp năng lực nhận thức thị giác với khả năng suy luận cùng các thao tác chuột và bàn phím. Điểm mấu chốt không nằm ở việc dự đoán một cú nhấp chuột đơn lẻ, mà là một quy trình khép kín giữa nhận thức, hành động và trạng thái mới được ghi nhận. Khả năng “quan sát” của tác tử Các hệ thống sử dụng máy tính có thể tiếp nhận nhiều dạng biểu diễn giao diện khác nhau. Ảnh chụp màn hình cung cấp góc nhìn tổng quát ở cấp độ điểm ảnh và vẫn phát huy hiệu quả ngay cả khi không có siêu dữ liệu giao diện có cấu trúc. Phương thức này có thể ghi nhận biểu đồ, hình ảnh, các ứng dụng đồ họa và bố cục trực quan. Tuy nhiên, các mục tiêu kích thước nhỏ, trạng thái ẩn và các biểu tượng không rõ ràng có thể gây khó khăn cho việc xử lý. Cây trợ năng hoặc cấu trúc tài liệu thể hiện các nút điều khiển và văn bản dưới dạng có cấu trúc rõ ràng hơn. Cách tiếp cận này giúp việc lựa chọn thành phần giao diện đạt độ chính xác cao hơn, song có thể bỏ sót thông tin thị giác hoặc hoạt động thiếu đồng nhất giữa các ứng dụng. Các hệ thống lai kết hợp giữa điểm ảnh, thành phần có cấu trúc, trạng thái ứng dụng và đôi khi là các API trực tiếp. Phương thức này thường mang lại hiệu quả vượt trội so với việc xử lý mọi tác vụ đơn thuần bằng mô phỏng thị giác. Sử dụng máy tính và tự động hóa trình duyệt Tự động hóa trình duyệt truyền thống sử dụng mã lập trình và các bộ chọn cố định để thực hiện một chuỗi thao tác định sẵn. Phương pháp này có tốc độ cao và tính dự đoán tốt khi cấu trúc trang được kiểm soát. Trong khi đó, tác tử sử dụng máy tính có khả năng diễn giải giao diện một cách linh hoạt và tự quyết định trình tự thực hiện. Hai phương pháp này bổ trợ cho nhau. Một hệ thống vận hành hiệu quả có thể cho phép tác tử quyết định các việc cần làm, sau đó thực thi các thao tác quen thuộc thông qua tự động hóa tất định hoặc API. Tương tác ở cấp độ điểm ảnh mang lại giá trị cao nhất khi không có giao diện cấu trúc hoặc lộ trình xử lý chưa thể xác định trước. Sử dụng máy tính và API cùng cơ chế gọi công cụ Quy chuẩn Hành động xác thực thực tế → Nhắm vào đối tượng điều khiển hiển thị → Kiểm tra trạng thái thay đổi Đường tắt Tập lệnh vĩ mô tự động mù quáng → Tái hiện tọa độ → Mặc định thành công Cơ chế quy chuẩn duy trì tính chuẩn xác và căn cứ thực tế; phương pháp đường tắt làm mất đi ranh giới vốn định hình bản chất của khái niệm này. Nhận thức Chuyển đổi điểm ảnh và dữ liệu trợ năng thành các thành phần giao diện tiềm năng. Định vị thực tế Liên kết hành động dự kiến với một mục tiêu hiển thị cụ thể. Thực thi Thực hiện thao tác chuột, bàn phím, chạm hoặc tương tác trợ năng. Xác minh Đọc trạng thái tiếp theo thay vì mặc định rằng hành động đã thành công. Cách tiếp cận kết hợp này giúp giảm thiểu cả sai số lẫn chi phí. Tác tử có thể truy xuất dữ liệu thông qua API, mở một ứng dụng máy tính chỉ để điền vào một biểu mẫu cũ, sau đó xác minh bản ghi cuối cùng qua một truy vấn có cấu trúc khác. Việc xem điều khiển thị giác như một công cụ trong số nhiều công cụ giúp tránh việc buộc mọi bước thao tác phải đi qua giao diện kém tin cậy nhất. API cung cấp giao diện hướng máy móc với các thao tác và kiểu dữ liệu rõ ràng. Phương thức này nhìn chung có tốc độ nhanh hơn, độ chính xác cao hơn và dễ kiểm chứng hơn so với thao tác nhấp chuột trên màn hình. Sử dụng máy tính đem lại khả năng tương thích rộng hơn nhưng chấp nhận độ mơ hồ lớn hơn. Ví dụ, một tác tử có thể truy vấn lượng hàng tồn kho thông qua API