Ngừng đong đếm token, bắt đầu đánh giá những sản phẩm được đưa ra thị trường

Khi lập trình viên giao nhiệm vụ viết mã cho một tác tử AI (AI agent), hệ thống này không chỉ phản hồi một lần duy nhất. Tác tử sẽ lập kế hoạch, tạo mã nguồn, chạy thử nghiệm và lặp lại quy trình để sửa lỗi. Một nhiệm vụ đơn lẻ có thể tiêu tốn lượng token gấp từ 10 đến 50 lần so với một câu lệnh hội thoại cơ bản. Càng phát huy tính hữu dụng, tác tử AI càng thực hiện nhiều lượt gọi dữ liệu. Với mô hình tính phí theo lượng token, các quy trình làm việc tạo ra nhiều giá trị nhất cũng có thể trở nên tốn kém nhất. Áp lực tài chính hiện đã xuất hiện rõ nét. Uber được cho là đã sử dụng hết toàn bộ ngân sách dành cho AI của năm 2026 vào tháng 4 sau khi mở rộng phạm vi ứng dụng Claude Code. GitHub Copilot đã chuyển từ hình thức thu phí trọn gói sang tính phí theo hạn mức sử dụng (metered credits). Gartner dự báo chi phí token cho lập trình bằng AI sẽ vượt mức lương trung bình của lập trình viên vào năm 2028. Phản ứng tự nhiên trước tình trạng này là áp dụng hạn ngạch sử dụng, giới hạn số tài khoản và yêu cầu phê duyệt trước khi lập trình viên kích hoạt các tác tử AI. Tuy nhiên, các biện pháp giới hạn mang tính cào bằng có thể kìm hãm những quy trình làm việc đang mang lại giá trị, đồng thời tối ưu hóa sai chỉ số. Chi phí trên mỗi token phản ánh mức độ tiêu thụ tài nguyên chứ không phản ánh kết quả. Một phần chi tiêu là lãng phí, bao gồm các lần thử lại và các vòng lặp vô tận; nhưng một phần là chi phí thực tế để bàn giao phần mềm. Hệ thống đo lường hay hạn mức chi tiêu đều không thể phân biệt được hai yếu tố này. Đo lường sản phẩm phần mềm hoàn thiện Thước đo phù hợp hơn là chi phí trên mỗi yêu cầu hợp nhất (pull request) thành công: tổng chi phí phát triển có sự hỗ trợ của AI chia cho số lượng thay đổi mã nguồn đã vượt qua quy trình đánh giá và được hợp nhất. Cần theo dõi đồng thời khối lượng công việc phải làm lại và các lỗi phát sinh, nhằm bảo đảm chi phí thấp hơn không che giấu chất lượng sụt giảm. Nếu chi phí này giảm khi tần suất sử dụng AI tăng lên mà không làm suy giảm chất lượng, các lập trình viên đang chuyển đổi mức độ tiêu hao tài nguyên thành phần mềm hữu ích một cách hiệu quả hơn. Vấn đề không nằm ở số lượng token được sử dụng, mà ở khối lượng sản phẩm hoàn thiện được tạo ra từ nguồn đầu tư đó. Để cải thiện bài toán này, cần thực hiện hai thay đổi: chỉ dành năng lực suy luận (inference) chi phí cao cho các nhiệm vụ thực sự cần thiết, và hạ thấp chi phí đối với các công việc thường nhật. Phân bổ mô hình phù hợp với từng nhiệm vụ Lập trình bằng tác tử AI không đòi hỏi mô hình mạnh nhất ở mọi công đoạn. Hãy sử dụng các mô hình tiên tiến hàng đầu (frontier model), hoặc các mô hình nội bộ chủ lực khi chính sách yêu cầu, cho các khâu lập kế hoạch phức tạp và lập luận mới. Đối với các công việc phù hợp như tạo mã nguồn, tạo bài kiểm thử và tái cấu trúc mã lặp lại, hãy điều phối đến các mô hình trọng số mở (open-weight models) do đơn vị tự vận hành. Một cổng kết nối (gateway) có thể điều phối các yêu cầu dựa trên mức độ phức tạp của nhiệm vụ, tính bảo mật của dữ liệu, chi phí và độ trễ. Giải pháp này giúp dành riêng năng lực xử lý suy luận cao cấp cho những thời điểm thực sự cần thiết, thay vì áp dụng mức giá cao cấp cho toàn bộ quy trình làm việc. Cần kiểm soát chi phí đối với các trường hợp ngoại lệ, không phải đối với toàn bộ khối lượng công việc. Các mô hình trọng số mở giúp sự phân chia này ngày càng mang tính khả thi cao. Các phép đo chuẩn (benchmark) về kỹ nghệ phần mềm cho thấy các mô hình trọng số mở hàng đầu có thể tiệm cận hiệu năng của các mô hình tiên tiến nhất trong một số tác vụ. Điều đó không đồng nghĩa với hiệu năng tương đương trên mọi kho lưu trữ mã nguồn hay mọi quy trình làm việc. Cần đánh giá các mô hình ứng viên dựa trên chính mã nguồn, bài kiểm thử và tiêu chuẩn nghiệm thu của đơn vị trước khi đưa vào môi trường vận hành thực tế. Thay đổi bài toán kinh tế của việc sử dụng thường xuyên Bước tiếp theo là xác định quyền sở hữu năng lực tính toán. Với năng lực suy luận đi thuê, mỗi lệnh gọi dữ liệu đều làm tăng chi phí hóa đơn. Với năng lực tự sở hữu, phần lớn chi phí đã được cam kết chi trả ban đầu, do đó mỗi lệnh gọi bổ sung sẽ có chi phí rẻ hơn khi mức độ sử dụng tăng lên. Bài toán kinh tế ở đây rất rõ ràng: việc định giá theo lượng token khiến mức độ sử dụng cao trở nên tốn kém hơn, trong khi việc tự sở hữu hạ tầng sẽ ngày càng hiệu quả khi các nhóm kỹ thuật gia tăng tần suất sử dụng. Tuy nhiên, việc sở hữu hạ tầng cũng đi kèm chi phí: điện năng, vận hành, bảo trì và khấu hao đều là những yếu tố cần được tính toán. Con số mang tính quyết định chính là tổng chi phí trọn gói trên mỗi yêu cầu hợp nhất mã nguồn thành công. Năng lực hạ tầng tự sở hữu mang lại một giá trị không bao giờ xuất hiện trên hóa đơn: quyền kiểm soát mã nguồn nhạy cảm. Khi quá trình tạo và kiểm thử mã nguồn diễn ra tại chỗ (on-premises), mã nguồn độc quyền được lưu giữ an toàn bên trong doanh nghiệp. Chỉ những câu lệnh lập kế hoạch (prompt) đã được phê duyệt và các trường hợp ngoại lệ có kiểm soát mới được chuyển đến các mô hình bên ngoài, thông qua cổng kết nối (gateway) do tổ chức quản lý. Điều này giúp khai mở các kho lưu trữ dữ liệu nhạy cảm—khu vực mà các quy định an toàn thông tin thường làm chậm tiến độ ứng dụng, nhưng lại là nơi đem lại hiệu quả tiềm năng lớn nhất. Thử nghiệm mô hình vận hành Tại HPE, một nền tảng AI lai (hybrid AI) điều hướng các khối lượng công việc thường nhật từ hơn 150 ứng dụng nội bộ đến các mô hình trọng số mở (open-weight) vận hành tại chỗ, bao gồm cả hệ thống HPE Private Cloud AI. Kết quả ghi nhận chi phí token giảm từ 30% đến 50%. Đó chính là ưu điểm của mô hình lai. Với HPE Private Cloud AI, việc tự sở hữu năng lực suy luận (inference) không đồng nghĩa với việc phải từ bỏ các mô hình tiên tiến hàng đầu (frontier models). Doanh nghiệp có thể vận hành phần lớn khối lượng công việc trên hạ tầng tự sở hữu và sử dụng cổng kết nối để chuyển giao các tác vụ phức tạp nhất ra bên ngoài. Dữ liệu thực tế cũng cho thấy mức độ sử dụng, chứ không phải số lượng nhân sự được cấp bản quyền, mới là yếu tố quyết định chi phí. Nhóm 5% người dùng tích cực nhất tạo ra phần lớn mức tiêu thụ, trong đó cá nhân sử dụng nhiều nhất tiêu tốn tài nguyên gấp khoảng 450 lần so với cá nhân sử dụng ít nhất trên cùng một loại giấy phép. Nếu nhóm người dùng chuyên sâu tăng từ tỷ lệ thiểu số lên mức một nửa lực lượng lao động, chi phí hằng tháng có thể tăng khoảng 4,4 lần dù quy mô nhân sự giữ nguyên. Cơ cấu sử dụng tại mỗi đơn vị sẽ có sự khác biệt, và đó chính là lý do cần phải tiến hành đo lường. HPE theo dõi hai chỉ số và khuyến nghị các khách hàng thực hiện tương tự. Thứ nhất là chi phí trên mỗi lập trình viên đang hoạt động, bởi việc tính bình quân trên toàn bộ số lượng bản quyền sẽ che khuất nhóm người dùng chuyên sâu vốn là nguyên nhân chính làm tăng chi tiêu. Thứ hai là chi phí trên mỗi yêu cầu hợp nhất mã nguồn (merged pull request), nhằm gắn kết chi phí AI với sản phẩm phần mềm thực tế được bàn giao. Cần xác định mức cơ sở cho cả hai loại chi phí này trước khi thay đổi hạ tầng. Sau đó, tiến hành một chu kỳ phát triển hoàn chỉnh trên năng lực hạ tầng tự sở hữu. Nếu cả hai chỉ số không được cải thiện khi quy mô sử dụng tăng lên, mô hình hiện tại của đơn vị có thể vẫn là lựa chọn phù hợp hơn. Xây dựng để thúc đẩy ứng dụng, không phải để thắt chặt sử dụng Năng lực hạ tầng tự sở hữu không dành cho mọi đối tượng. Mức độ sử dụng thấp hoặc khó dự đoán sẽ phù hợp hơn với phương thức API, giúp tránh tình trạng đọng vốn vào hạ tầng nhàn rỗi. Việc đầu tư sở hữu chỉ phát huy hiệu quả khi nhu cầu duy trì ở mức ổn định và liên tục. Đa số các doanh nghiệp sẽ áp dụng mô hình lai: sử dụng API của các mô hình tiên tiến hàng đầu cho các tác vụ phức tạp hoặc ngắt quãng, và tận dụng hạ tầng tự sở hữu cho các khối lượng công việc lặp lại. Cổng kết nối có kiểm soát sẽ quyết định dữ liệu nào được phép chuyển ra ngoài, qua đó vừa tận dụng được các mô hình tiên tiến, vừa bảo đảm chủ quyền đối với mã nguồn. Khi các lập trình viên ngày càng dựa nhiều vào các tác nhân hỗ trợ viết mã (coding agents), mức độ sử dụng sẽ tiếp tục gia tăng. Lựa chọn thực sự là: sự tăng trưởng đó sẽ biểu hiện thành hóa đơn chi phí biến đổi ngày càng lớn, hay chuyển hóa thành khối lượng phần mềm được phát hành nhiều hơn trên hạ tầng tự sở hữu. Các doanh nghiệp dẫn đầu trong lĩnh vực phát triển phần mềm ứng dụng AI sẽ không thắt chặt việc sử dụng nhằm kiểm soát chi phí. Thay vào đó, họ sẽ xây dựng một mô hình vận hành mà ở đó, việc gia tăng ứng dụng AI sẽ cải thiện hiệu quả kinh tế thay vì làm suy giảm hiệu quả này. Để tìm hiểu thêm về HPE Private Cloud AI, xin vui lòng truy cập