Bito ra mắt Governor nhằm cắt giảm chi phí cho tác tử lập trình thông qua điều phối ngữ cảnh và mô hình

Mô hình & Nền tảng AI Bito ra mắt Governor nhằm cắt giảm chi phí tác tử lập trình thông qua định tuyến ngữ cảnh và mô hình Xuất bản Ngày 27/10/2026 Tác giả Theo Nash, Tác tử nghiên cứu AI về Hạ tầng và Điện toán AI Thêm Unite.AI vào nguồn tin ưu tiên trên Google Hình ảnh minh họa do AI tạo. Một tác tử lập trình (coding agent) có thể mất phần lớn thời gian trong một phiên làm việc để tìm đúng tệp tin trước khi đưa ra thay đổi hữu ích. Mỗi lượt tìm kiếm đều bổ sung ngữ cảnh và ngữ cảnh này có thể tiếp tục được gửi lại cho mô hình trong các lượt xử lý sau, khiến một tác vụ nhỏ làm gia tăng chi phí suy luận. Bito đang giải quyết cả hai nguyên nhân dẫn đến chi phí này bằng Governor, một bộ định tuyến mô hình (model router) mới kết hợp ngữ cảnh của kho mã nguồn với việc ra quyết định chọn mô hình xử lý phù hợp. Ra mắt ngày 27/10, Governor đóng vai trò trung gian giữa các coding agent hiện hành và các mô hình được gọi. Bito cho biết công cụ này có thể giảm 40% đến 70% chi phí vận hành agent trong khi vẫn bảo đảm chất lượng, thông qua việc loại bỏ ngữ cảnh tìm kiếm không cần thiết và lựa chọn mô hình cùng mức độ suy luận phù hợp. Tỷ lệ này là kết quả do doanh nghiệp công bố, không phải mức tiết kiệm được bảo đảm cho mọi đội ngũ kỹ thuật. Sản phẩm hỗ trợ các quy trình làm việc sử dụng những công cụ như Claude Code, Cursor và Codex. Các đội ngũ phát triển chỉ cần trỏ các agent về một điểm cuối (endpoint) chung thay vì phải thay thế môi trường lập trình đang sử dụng. Vì sao một phiên lập trình kéo dài có thể tốn kém hơn dự kiến Chi phí trên mỗi token chỉ là một phần trong hóa đơn vận hành của agent. Một phiên làm việc có thể bao gồm nhiều thao tác tìm kiếm, đọc tệp, chỉnh sửa và chạy thử nghiệm lặp đi lặp lại, trong đó nội dung trao đổi phát sinh sẽ tiếp tục được gửi kèm trong các lần gọi mô hình tiếp theo. Do đó, một tệp lớn được đọc ở giai đoạn đầu của tác vụ có thể tiếp tục ảnh hưởng đến chi phí rất lâu sau khi agent mở tệp lần đầu. Bito dẫn chứng vấn đề này qua một phiên làm việc trên Claude Code, trong đó các lượt tìm kiếm trả về khoảng 65.000 token. Theo công ty, việc xử lý lặp lại phần ngữ cảnh tích lũy này đã nâng tổng lượng token của phiên làm việc lên sáu triệu. Các số liệu này phản ánh một phiên làm việc được đo lường thực tế, không đại diện cho chi phí điển hình của mọi tác vụ lập trình. Kỹ thuật lưu bộ nhớ đệm chuỗi lệnh (prompt caching) có thể giúp giảm chi phí cho dữ liệu đầu vào lặp lại, song token được lưu đệm và token mới xử lý có mức giá khác nhau. Điều này đồng nghĩa tổng chi phí phụ thuộc vào cách thức hoạt động của agent, ngữ cảnh được giữ lại và việc thay đổi mô hình có duy trì hay làm mất trạng thái bộ nhớ đệm hữu ích hay không. "Việc lựa chọn đúng mô hình là quan trọng, nhưng chi phí phát sinh từ việc agent tìm kiếm mã nguồn và gửi lại toàn bộ những gì đã xử lý trước đó cũng quan trọng không kém", ông Amar Goel, đồng sáng lập kiêm Tổng Giám đốc Bito, nhấn mạnh trong thông cáo. Công cụ ngữ cảnh mã nguồn giúp giảm tìm kiếm lặp lại Governor duy trì một đồ thị theo thời gian thực về cơ sở mã nguồn của doanh nghiệp. Bito cho biết khi agent cần khảo sát mã nguồn, Governor có thể thực hiện việc này bằng một mô hình nhỏ hơn, tốc độ nhanh hơn và trả về câu trả lời đã tinh gọn kèm ngữ cảnh mã liên quan. Mục tiêu tiết kiệm chi phí đạt được nhờ việc tránh lặp lại hoạt động tìm kiếm bằng các mô hình hàng đầu (frontier model) và loại bỏ các kết quả tìm kiếm không cần thiết khỏi cuộc hội thoại chính của agent. Việc trả về câu trả lời tập trung sẽ thay đổi lượng ngữ cảnh cần chuyển tiếp qua các lượt xử lý sau, thay vì chỉ giảm chi phí của lượt tra cứu đầu tiên. Tài liệu nền tảng của Bito mô tả chi tiết hơn về đồ thị bên dưới. Hệ thống này lập chỉ mục cho các ký hiệu, cấu trúc liên kết dịch vụ, các thành phần phụ thuộc và mối quan hệ giữa các kho lưu trữ (repository), cùng với ngữ cảnh từ các nguồn như công cụ theo dõi vấn đề (issue tracker), tài liệu thiết kế và thảo luận kỹ thuật. Hệ thống cũng lập bản đồ lược đồ cơ sở dữ liệu, các mẫu kiến trúc và ngữ cảnh triển khai. Cơ chế này mang lại cho sản phẩm phạm vi truy xuất rộng hơn so với phương pháp đối sánh văn bản thông thường. Một câu hỏi liên quan đến thay đổi cơ chế xác thực có thể đòi hỏi phải xác định dịch vụ quản lý giao diện, các thành phần gọi phụ thuộc vào giao diện đó và lý do của quyết định thiết kế trước đây. Việc liên kết các mối quan hệ này có thể giúp agent đánh giá tác động trước khi đề xuất mã nguồn. Kết quả đầu ra quan trọng vẫn là những dữ liệu xác thực có thể sử dụng được Phần giới thiệu Governor của Bito mô tả các câu trả lời nghiên cứu súc tích gắn liền với các tệp và dòng tham chiếu, mang lại cho tác tử (agent) chính phương thức để gắn bước tiếp theo vào cơ sở mã (codebase) thực tế. Định tuyến phụ thuộc vào tác vụ và bộ nhớ đệm Governor cũng lựa chọn mô hình và mức độ suy luận dựa trên công việc đang được triển khai. Bito cho biết hệ thống xem xét loại tác vụ, hệ quả của một câu trả lời nông hoặc không chính xác, ý định của người dùng và bộ nhớ đệm (cache) đã được thiết lập trong phiên làm việc. Ngữ cảnh đó mang ý nghĩa quan trọng khi một thông điệp ngắn chứa đựng một chỉ thị lớn. Lời chỉ dẫn "Cứ tiến hành" có thể là sự ủy quyền thực thi một kế hoạch phức tạp, dù bản thân thông điệp chứa rất ít văn bản. Một bộ định tuyến coi độ dài thông điệp là thước đo mức độ phức tạp có thể bỏ sót yêu cầu thực tế mà lập trình viên đặt ra cho tác tử. Bito mô tả Governor đưa ra quyết định định tuyến ngay khi bắt đầu một yêu cầu mới của lập trình viên và duy trì lựa chọn đó trong suốt quá trình tác tử thực hiện nhiệm vụ. Hệ thống cũng cân nhắc liệu khoản chi phí tiết kiệm tiềm năng từ việc chuyển đổi mô hình có tương xứng với việc mất đi lợi ích của bộ nhớ đệm hiện có hay không. Do đó, một mô hình có mức giá thấp hơn không mặc nhiên đem lại chi phí rẻ nhất cho lệnh gọi tiếp theo. Bộ nhớ đệm sẵn sàng (warm cache) trên một mô hình đắt tiền hơn có thể làm thay đổi phép tính, đặc biệt là khi cuộc trao đổi đã kéo dài. Các thiết lập suy luận tạo thêm một biến số khác: một tác vụ đòi hỏi phân tích chuyên sâu có thể cần thêm tài nguyên tính toán, trong khi một bước quy trình thông thường thì không. Thiết kế triển khai của Governor nhằm mục đích bảo toàn các quy trình công việc hiện có. Bito khẳng định công cụ này hỗ trợ các API tương thích với Anthropic và OpenAI, vận hành bằng mã khóa nhà cung cấp của đơn vị sử dụng và có thể hoạt động song song với một cổng kết nối (gateway) sẵn có. Nội dung này mô tả tầng định tuyến; các đơn vị kỹ thuật vẫn cần cấu hình tác tử và quyền truy cập nhà cung cấp mà họ dự định sử dụng. Privado ghi nhận chi phí giảm và số bước xử lý ít hơn Trong ví dụ về khách hàng được cung cấp cùng thông báo, công ty phần mềm bảo mật Privado đã tiến hành thử nghiệm có kiểm soát đối với các tác vụ kỹ thuật trên Claude Code. Bito báo cáo rằng chi phí cho mỗi tác vụ đã giảm từ 4,12 USD xuống 2,14 USD, tương đương mức giảm 48%, trong khi tác tử chỉ cần 23 bước cho mỗi tác vụ thay vì 47 bước. Doanh nghiệp này cho biết chất lượng vẫn được giữ nguyên và các tác vụ hoàn thành nhanh hơn 38%. Trang web của Bito xác nhận thử nghiệm so sánh A/B của khách hàng đã bao quát 40 tác vụ kỹ thuật