Hệ thống Auto Router của Cloudflare đánh giá mức độ trọng yếu của từng yêu cầu dựa trên các lượt trao đổi gần nhất

Trang chủ InfoQ Tin tức Auto Router của Cloudflare đánh giá mức độ quan trọng của từng yêu cầu dựa trên các lượt trao đổi gần nhất Cloud Auto Router của Cloudflare đánh giá mức độ quan trọng của từng yêu cầu dựa trên các lượt trao đổi gần nhất Ngày 26/10/2026 3 phút đọc bởi Steef-Jan Wiggers Theo dõi chúng tôi trên Youtube 232.000 người theo dõi Linkedin 26.000 người theo dõi Instagram Mới RSS 19.000 độc giả X 57.100 người theo dõi Facebook 21.000 lượt thích Bluesky Mới Nghe bài viết này - 0:00 Âm thanh sẵn sàng phát Trình duyệt của bạn không hỗ trợ phần tử âm thanh. 0:00 0:00 Chuẩn 1,25x 1,5x Thích Danh sách đọc Gần đây, Cloudflare đã phát hành phiên bản thử nghiệm công khai (public beta) của Auto Router thông qua AI Gateway. Khi thiết lập mô hình thành cloudflare/auto, một bộ phân loại sẽ lựa chọn một mô hình cho mỗi yêu cầu. Điểm đáng chú ý nhất trong thông báo là kết quả đánh giá hiệu năng (benchmark), trong đó bộ định tuyến của chính Cloudflare ghi nhận kết quả thua cuộc. Quá trình định tuyến diễn ra theo hai giai đoạn. Trước tiên, AI Gateway xây dựng một nhóm mô hình ứng viên, sàng lọc các mô hình không thể đáp ứng định dạng yêu cầu và áp dụng thông tin xác thực, cấu hình thanh toán, kiểm soát quyền truy cập cùng hạn mức chi tiêu. Sau đó, một mô hình phân loại đa đầu chạy trên Workers AI tại hệ thống GPU biên của Cloudflare, gán xác suất cho 14 danh mục tác vụ và đánh giá yêu cầu theo thang điểm từ 1 đến 5 trên bốn khía cạnh: độ phức tạp, độ mơ hồ, mức độ quan trọng và mức độ phụ thuộc vào ngữ cảnh trước đó. Một ma trận tính điểm sẽ kết hợp các tiêu chí này với kết quả benchmark, theo công thức được công bố: "mức độ hữu dụng = chất lượng kỳ vọng - mức phạt chi phí thích ứng". Auto Router chỉ phân loại từng yêu cầu dựa trên các lượt trao đổi gần nhất, giới hạn ở mức 8 KiB văn bản, sau đó chấm điểm các mô hình ứng viên theo năng lực theo từng tác vụ và lợi ích kỳ vọng đối với các tác vụ khó hơn, trong đó trọng số về giá giảm dần khi độ khó tăng lên. (Nguồn: Bài viết trên blog của Cloudflare) Jacques B, một giám đốc công nghệ (CTO) trong lĩnh vực kỹ nghệ tác tử (agentic engineering), đã nêu rõ thước đo quan trọng trong một bài đăng trên LinkedIn của Cloudflare: Một mô hình rẻ hơn không mang lại nhiều giá trị tiết kiệm nếu người dùng phải mất thêm một giờ để khắc phục kết quả lỗi. Cloudflare đã công bố chính xác con số này. Qua 97 tác vụ với ba mẫu thử cho mỗi mô hình và 10.000 lần tái lấy mẫu bootstrap: Mức tăng mười điểm về độ tin cậy với chi phí chỉ bằng khoảng một phần ba. Các nhóm phát triển có thể tự quyết định lựa chọn phương án phù hợp, điều mà phần lớn các sản phẩm định tuyến hiện nay chưa hỗ trợ. Cơ chế phân loại là nội dung thu hút nhiều ý kiến phản hồi chuyên sâu nhất từ giới chuyên môn. Ông Igor Pyrin, trưởng nhóm kỹ thuật từng tham gia xây dựng các nền tảng ngân hàng và y tế, nhận định rằng mức độ rủi ro đang được chấm điểm dựa trên một phạm vi thu hẹp, ưu tiên các lượt tương tác gần nhất: Trong một phiên làm việc kéo dài của tác tử (agent), người dùng có thể yêu cầu "đây là khoản hoàn tiền cho khách hàng" ở giai đoạn đầu, nhưng sau đó chỉ xác nhận "tiến hành đi". Cần duy trì một nhãn rủi ro do ứng dụng kiểm soát xuyên suốt các lượt tương tác và sử dụng nhãn đó để quyết định yêu cầu có đủ điều kiện áp dụng cloudflare/auto hay không. Một chỉ dẫn ngắn gọn ở bước cuối không được phép âm thầm hạ thấp mức độ phân loại rủi ro của hành động cốt lõi. Lượt tương tác kích hoạt hành động trên thực tế lại là lượt có chi phí thấp nhất trong toàn bộ cuộc hội thoại. Tài liệu kỹ thuật bổ sung thêm hai điểm đáng lưu ý. Phản hồi trả về chứa các tiêu đề (header) cf-aig-routed-model và cf-aig-routing-reason, mang các giá trị như cost_optimal_within_pool và pinned_by_turn, cho phép kiểm toán quyết định lựa chọn mô hình sau khi thực hiện. Ngoài ra, danh mục mô hình (pool) có thể được giới hạn theo từng yêu cầu thông qua các tiêu đề cf-aig-allowed-models và cf-aig-allowed-providers, dù chưa hỗ trợ lưu dưới dạng hồ sơ định tuyến sẵn—tính năng từng được ông Adam Natad đề xuất trong chuỗi thảo luận ra mắt sản phẩm. Một chi tiết cần kiểm chứng trước khi đánh giá các số liệu: danh mục mặc định hiện tại bao gồm Claude Opus 5, Sonnet 5 và Fable 5 cùng với GPT-5.6 Luna, Sol, Terra và Grok 4.5. Trong khi đó, Opus 5.5 và GPT-6 Sol—hai mốc chuẩn so sánh trong bảng dữ liệu—lại nằm trong danh sách tùy chọn và chỉ có thể truy cập qua các tiêu đề nêu trên. Cloudflare cho biết danh mục này "có thể thay đổi theo thời gian", do đó đây có thể là sự sai lệch phát sinh thay vì thiết kế chủ ý; tuy nhiên, các nhóm tái lập thử nghiệm chuẩn (benchmark) cần xác minh rõ mô hình thực tế mà cổng kết nối (gateway) lựa chọn. Việc xử lý phiên làm việc cũng phát sinh chi phí. Nếu không có mã định danh phiên (session ID), các yêu cầu trong cùng một hội thoại có thể bị điều phối tới các mô hình khác nhau và không thể tái sử dụng bộ nhớ đệm câu lệnh (prompt cache). Vì lý do này, Cloudflare áp dụng mức phí chuyển đổi tăng dần theo độ dài ngữ cảnh, do mô hình mới có thể phải xử lý lại các token suy luận với mức giá tính theo dữ liệu đầu ra. Trên diễn đàn Reddit, tài khoản reachjalil đã bác bỏ giả định trên, lập luận rằng các bộ định tuyến tự động "rút cuộc sẽ làm tăng chi phí nhưng đem lại năng lực xử lý kém hơn", và một mô hình có năng lực cao sẽ tiết kiệm hơn nếu chất lượng đầu ra là yếu tố quyết định. Tài khoản yangqi phản bác rằng đơn vị đánh giá cần là toàn bộ nhiệm vụ thay vì từng yêu cầu đơn lẻ. Bình luận tiếp theo của reachjalil đề cập đến điểm mà Cloudflare thừa nhận: việc phân loại vốn dễ thực hiện hơn đối với một mô hình lớn, và các trọng số sẽ trở nên lỗi thời "đặc biệt khi các mô hình liên tục thay đổi". Bài viết nêu rõ các trọng số định tuyến được tổng hợp từ kết quả thử nghiệm chuẩn, do đó các mô hình mới buộc phải được cập nhật thủ công vào ma trận tính điểm. Auto Router hiện được cung cấp miễn phí trong giai đoạn thử nghiệm (beta) và chưa công bố biểu phí chính thức sau giai đoạn này. Dịch vụ chưa hỗ trợ WebSockets, hiện chỉ giới hạn ở Chat Completions và Responses API. Lộ trình phát triển cũng ghi nhận phiên bản cloudflare/auto-best, sử dụng cùng bộ phân loại và danh mục mô hình, hướng tới lựa chọn chất lượng kỳ vọng cao nhất mà không áp dụng cơ chế đánh đổi chi phí. Về tác giả Steef-Jan Wiggers Xem thêmThu gọn Đánh giá bài viết này Mức độ ứng dụng Văn phong Đã liên hệ tác giả Nội dung này thuộc chủ đề Điện toán đám mây Các chủ đề liên quan: Phát triển phần mềm Kiến trúc & Thiết kế DevOps AI, ML & Kỹ thuật dữ liệu Điện toán đám mây Cloudflar