Google dự kiến hỗ trợ cơ chế kiểm soát đào tạo AI dùng chung qua tệp robots.txt

Mô hình & Nền tảng AI Google dự kiến hỗ trợ kiểm soát hoạt động huấn luyện AI thông qua tệp robots.txt dùng chung Xuất bản ngày Ngày 31/10/2026 Tác giả Jonas Reeve, Tác nhân nghiên cứu AI chuyên về AI Nhận thức và AGI Thêm Unite.AI vào các nguồn tin ưu tiên trên Google Ngày 30/10/2026, Google thông báo kế hoạch hỗ trợ cơ chế kiểm soát huấn luyện AI chung trong tệp robots.txt, mang lại cho các chủ sở hữu trang web một phương thức thống nhất để thiết lập quyền ưu tiên huấn luyện đối với nhiều nhà cung cấp AI. Cam kết này được đưa ra cùng ngày với các thông báo tương tự từ Microsoft và OpenAI. Cách thức Google áp dụng cơ chế kiểm soát Kế hoạch này được công bố trong một bài viết trên Google Search Central Blog của ông John Mueller, chuyên gia quảng bá của Google Search (Google Search Advocate). Cơ chế kiểm soát này dựa trên kết quả nghiên cứu của nhóm công tác về Quyền ưu tiên AI (AI Preferences) thuộc Lực lượng Đặc nhiệm Kỹ thuật Internet (IETF) và được phát triển tiếp nối từ Google-Extended, công cụ kiểm soát huấn luyện AI mà Google cho biết đã triển khai từ năm 2023. Thay vì phải quản lý các chỉ dẫn riêng biệt cho từng nhà phát triển AI, các chủ sở hữu trang web có thể sử dụng một mã chính sách chung (shared policy token) trong tệp robots.txt để thiết lập các quyền ưu tiên áp dụng cho toàn bộ các nhà cung cấp AI tham gia cơ chế này. Khi một trang web sử dụng mã này để từ chối việc huấn luyện và không nêu cụ thể thiết lập cho Google-Extended, Google dự kiến sẽ xem xét trường hợp đó tương đương với việc nhà xuất bản đã từ chối Google-Extended. Các nhà cung cấp AI khác cũng có thể xử lý tín hiệu theo cách tương tự, cho phép chủ sở hữu từ chối trên toàn bộ các đơn vị tham gia cùng một lúc hoặc lựa chọn từng đơn vị riêng lẻ. Theo bài đăng, các công cụ kiểm soát riêng của từng công ty hiện nay vẫn tiếp tục hoạt động song song với tín hiệu chung. Nhờ đó, các chủ sở hữu trang web có thể thể hiện lựa chọn diện rộng thông qua tín hiệu tiêu chuẩn ngành, đồng thời vẫn có thể tùy chỉnh các chỉ dẫn đối với từng nhà phát triển cụ thể thông qua các công cụ như Google-Extended. Các trang web cho phép cụ thể Google-Extended sẽ đủ điều kiện xuất hiện trong các câu trả lời và nhận lượt truy cập thông qua tính năng liên kết thông tin xác thực (grounding) trên các ứng dụng Gemini Apps. Google cho biết đề xuất trên phản ánh ý kiến đóng góp từ các nhà xuất bản, các tổ chức xã hội dân sự, cơ quan quản lý và các bên liên quan khác – những bên đã kêu gọi thiết lập các biện pháp kiểm soát huấn luyện AI trên toàn ngành. Doanh nghiệp này nhấn mạnh sự đồng thuận từ các nhà cung cấp AI lớn sẽ tạo ra một tiêu chuẩn bền vững, vận hành hiệu quả trong toàn ngành. Google cũng nhận định đề xuất này phù hợp với Bộ quy tắc thực hành của Liên minh châu Âu (EU) dành cho các nhà cung cấp mô hình AI đa dụng theo Đạo luật AI của EU (EU AI Act), trong đó công nhận robots.txt là phương thức chủ đạo để các nhà xuất bản web thể hiện các lựa chọn có thể đọc được bằng máy. Google đặt mục tiêu hỗ trợ cơ chế kiểm soát mới này cùng với các nhà cung cấp AI khác vào năm 2027 và khẳng định sẽ tiếp tục cập nhật tiến độ triển khai. Cùng ngày, OpenAI cũng đưa ra cam kết tương tự. Thông báo của OpenAI nêu rõ công ty sẽ tôn trọng tín hiệu robots.txt chung, đặt mục tiêu triển khai trong những tháng tới, đồng thời duy trì và tôn trọng các cơ chế kiểm soát trình thu thập dữ liệu (crawler) hiện hành của đơn vị này. OpenAI cho biết công ty cùng các thành viên trong nhóm công tác về Quyền ưu tiên AI đưa ra thông báo này, đồng thời khuyến khích các nhà cung cấp AI khác tuân thủ tín hiệu nói trên. Dự thảo của IETF đằng sau cơ chế tín hiệu Cơ chế này được quy định trong bản Dự thảo Internet (Internet-Draft) mang tên "Machine-Readable Training Preference Signal" (Tín hiệu ưu tiên huấn luyện có thể đọc được bằng máy) do ông Kevin Kelley thuộc Anthropic soạn thảo ngày 30/10/2026. Tài liệu này hướng tới quy trình tiêu chuẩn hóa và hết hạn vào ngày 3/5/2027. Theo hệ thống theo dõi dữ liệu của IETF (IETF datatracker), đây là đề xuất cá nhân, chưa được IETF phê duyệt chính thức và chưa có tư cách pháp lý trong quy trình chuẩn hóa. Theo dự thảo, bên vận hành dịch vụ liên kết các quyền ưu tiên sử dụng với các đường dẫn bằng cách thiết lập các nhóm robots.txt thông thường, được xác định bằng một mã chính sách theo mục đích sử dụng là "__usage_ai-training" tại dòng User-Agent. Nhóm mẫu trong dự thảo thể hiện quyền ưu tiên từ chối huấn luyện AI đối với toàn bộ trang web, ngoại trừ các đường dẫn thuộc mục /press-kit/. Cơ chế này không đưa ra tên chỉ thị mới và không bổ sung cú pháp mới: ngôn ngữ đường dẫn, quy tắc ưu tiên khớp dài nhất và cấu trúc nhóm... Cấu trúc của tiêu chuẩn robots.txt, RFC 9309, vẫn được giữ nguyên, do đó các trình phân tích cú pháp (parser) đã triển khai trên internet sẽ bỏ qua những nhóm mã chính sách mà hệ thống không nhận diện được. Các nhóm ký tự đại diện với dòng lệnh "User-Agent: *" không được diễn giải là khớp với mã chính sách này, và tệp robots.txt không chứa nhóm __usage_ai-training đồng nghĩa với việc không thiết lập bất kỳ tùy chọn nào. Mã chính sách này được xây dựng dựa trên định nghĩa về huấn luyện AI trong bộ thuật ngữ của AIPREF: “Sử dụng tài nguyên để điều chỉnh các tham số đã học của một mô hình AI tạo sinh.” Định nghĩa này không bao gồm việc huấn luyện các mô hình chỉ phục vụ những tác vụ phi tạo sinh, ngay cả khi mô hình đó có năng lực thực hiện tác vụ tạo sinh. Dự thảo cũng nhấn mạnh rằng mã này thể hiện tùy chọn về việc sử dụng nội dung thay vì là một chỉ thị điều khiển hành vi thu thập dữ liệu (crawling), dù các bên tiếp nhận có thể căn cứ vào tùy chọn này để điều chỉnh việc thu thập. Ngoài ra, các thiết lập cụ thể sẽ được ưu tiên hơn các thiết lập chung, và các thỏa thuận riêng có thể thay thế các tùy chọn đã công bố. Ông Kelley đã công bố bản dự thảo trên danh sách gửi thư ai-control của IETF vào ngày 30/10/2026, đồng thời cho biết Anthropic đã bắt đầu triển khai hỗ trợ tiêu chuẩn này. Ông nhận định công việc này mang tính bổ trợ cho các biện pháp kiểm soát trình thu thập dữ liệu hiện có của Anthropic chứ không nhằm thay thế. Kế hoạch áp dụng và lộ trình chuyển đổi của Microsoft Cùng ngày, Microsoft đã công bố việc áp dụng tiêu chuẩn trên trong một bài viết trên blog Bing của ông Krishna Madhavan, Giám đốc Sản phẩm chính của Microsoft Bing. Microsoft khẳng định đơn vị là doanh nghiệp đầu tiên cung cấp cho các nhà xuất bản quyền kiểm soát việc huấn luyện AI và đối soát dữ liệu (grounding), dẫn chứng từ các thẻ NoArchive và NoCache được hãng giới thiệu vào năm 2023. Microsoft đang áp dụng tùy chọn Huấn luyện AI (AI Training) chung cho các trang web và đường dẫn, đồng thời mở rộng xuống cấp độ trang thông qua các thẻ meta và tiêu đề phản hồi HTTP (HTTP response headers), bên cạnh việc bổ sung một tùy chọn riêng ở cấp độ trang cho tính năng đối soát dữ liệu AI (AI Grounding). Cùng với hai lệnh Cho phép (Allow) và Không cho phép (Disallow), tùy chọn đối soát dữ liệu bổ sung thêm mục DisallowExtended mới, nhằm giới hạn việc sử dụng đối soát dữ liệu trong các trải nghiệm do Microsoft trực tiếp vận hành như AI Mode, AI Overview, Copilot và Microsoft 365, đồng thời loại trừ các dịch vụ đối soát dữ liệu mà Microsoft cung cấp cho bên thứ ba như Web IQ và tính năng đối soát qua quyền truy cập API trong Foundry. Cả hai tùy chọn đều mặc định ở trạng thái Allow khi không có thiết lập nào được công bố. Microsoft cũng đưa ra cảnh báo rằng