Sự trở lại của CPU đang đến gần.

Đầu năm nay, các lãnh đạo tại Amazon Web Services đã đưa ra một chỉ thị mới cho các kỹ sư của mình: họ cần tiết kiệm chu kỳ CPU bằng mọi giá. AWS được cho là đã trải qua sự bùng nổ về thời gian chờ đợi dung lượng máy chủ CPU do khối lượng công việc AI gây áp lực lên cơ sở hạ tầng đám mây của công ty. Vấn đề này dường như đã khiến AWS bất ngờ, và có lý do chính đáng. Sự bùng nổ AI đã dẫn đến nhu cầu tăng vọt đối với GPU và sau đó là bộ nhớ. CPU phần lớn bị bỏ qua, vì khả năng song song hóa tương đối kém của chúng khiến chúng không phù hợp cho suy luận mô hình AI, tức là quá trình chạy và phục vụ các mô hình ngôn ngữ lớn (LLM) cho người dùng. Tuy nhiên, sự trỗi dậy của các hệ thống AI tác nhân (agentic AI), cho phép các mô hình AI hoạt động tự chủ và gọi các tác nhân phụ, đang thay đổi cục diện. Ông Matt Kimball, Phó Chủ tịch và nhà phân tích trung tâm dữ liệu chính tại Moor Insights & Strategy, cho biết năm 2026 đã chứng kiến sự gia tăng đột biến về nhu cầu CPU, phần lớn là do AI tác nhân. Ông Kimball nói: “Có một khối lượng công việc tác nhân, và giả sử, nó tạo ra 100 tác nhân. Nếu tôi triển khai điều này trên toàn doanh nghiệp của mình, 100 tác nhân đó sẽ trở thành hàng chục nghìn, hàng trăm nghìn hoặc hàng triệu tác nhân. Các tác nhân tạo ra các tác nhân phụ, thực hiện các cuộc gọi API (giao diện lập trình ứng dụng) và giao tiếp với nhiều tác nhân hơn thông qua giao thức ngữ cảnh mô hình của Anthropic.” Các tác nhân AI cần sử dụng máy tính, và máy tính cần CPU. Bình luận của ông Kimball một phần đề cập đến "sử dụng công cụ" (tool use), là cách gọi tắt khả năng của một LLM trong việc truy cập internet, mở tệp trên máy tính để bàn và nói chung là sử dụng nhiều phần mềm khác nhau để hoàn thành nhiệm vụ của mình. Các LLM được huấn luyện để sử dụng công cụ học cách gọi các phần mềm khác. Trong khi suy luận của LLM vẫn chủ yếu được thực hiện trên GPU hoặc bộ tăng tốc AI tương tự, thì các lệnh gọi công cụ mà LLM thực hiện thường được đẩy đến CPU. Ông Souvik Kundu, nhà khoa học nghiên cứu cấp cao tại Intel, giải thích: “Nhiều thành phần của một tác vụ AI tác nhân vốn dĩ là các công việc dựa trên CPU. CPU thực hiện công việc phân tích đầu ra, tìm ra công cụ nào cần gọi, thực hiện cuộc gọi API hoặc chạy mã, thu thập kết quả và đưa trở lại.” Ông Madhu Rangarajan, Phó Chủ tịch phụ trách điện toán và AI doanh nghiệp tại AMD, cũng đưa ra nhận định tương tự, nói rằng “trong thử nghiệm của chúng tôi, bảy trong số tám giai đoạn trong các quy trình AI tác nhân thực tế chạy hoàn toàn trên CPU.” Ví dụ, một LLM được giao nhiệm vụ lập trình phần mềm có thể sẽ thực hiện các lệnh gọi công cụ để ghi mã vào tệp, di chuyển hoặc thay thế tệp, tải xuống các gói cần thiết và xây dựng phần mềm khi LLM tin rằng nó đã hoàn thành. Ông Kundu là đồng tác giả một bài báo về tối ưu hóa AI tác nhân cùng với các nhà nghiên cứu từ Viện Công nghệ Georgia. Họ phát hiện ra rằng CPU thường ở trạng thái nhàn rỗi trong khi suy luận LLM được thực hiện trên GPU và ngược lại, GPU thường ở trạng thái nhàn rỗi khi các lệnh gọi công cụ được thực hiện trên CPU. Để tối ưu hóa điều này, ông Kundu và các đồng nghiệp đề xuất các tối ưu hóa lập lịch có thể cắt giảm độ trễ đầu cuối (thời gian giữa bắt đầu và kết thúc khối lượng công việc tác nhân) lên tới 1,8 lần dưới tải liên tục. Đây là một khởi đầu, nhưng những lợi ích này đang theo đuổi một mục tiêu di động. Các hệ thống tác nhân tạo ra công việc với tốc độ máy móc và nhân lên khi chúng hoạt động. Vụ tấn công vô tình của OpenAI vào Hugging Face đã chứng kiến mô hình của họ thực hiện tới 300 hành động mỗi giờ, và một tác nhân duy nhất có thể tạo ra các tác nhân phụ tự thực hiện các lệnh gọi công cụ. Và có một sự phức tạp quan trọng khác có thể làm tăng khối lượng công việc trên CPU khi các mô hình trở nên phức tạp hơn: các rào cản an toàn. Các kiểm tra an toàn và chính sách đối với hành động của tác nhân thường là các quy tắc cụ thể mà i kiểm tra cú pháp và các tệp nhật ký, ông Kundu cho biết. Các cơ chế bảo vệ (guardrails) cũng có thể sử dụng các mô hình nhỏ (dưới một tỷ tham số) để phân tích độ phức tạp hoặc ý định của tác vụ. Mặc dù chúng có thể được thực thi trên GPU, nhưng điều này thường không xảy ra, bởi vì kích thước nhỏ của chúng và nhu cầu giảm thiểu độ trễ khiến công việc được thực hiện trên CPU. Việc tăng số lượng CPU khả dụng làm giảm đáng kể độ trễ cho các phản hồi của Llama-8B trên các độ dài chuỗi dài hơn. Nguồn: Euijun Chung, Yuxiao Jia, et al. **Tokenization làm tăng tắc nghẽn** Euijun Chung, một nghiên cứu sinh tiến sĩ tại Viện Công nghệ Georgia, gần đây đã đồng tác giả một bài báo khác, với những phát hiện bổ sung cho công trình của ông Kundu. Chung và các đồng tác giả của ông nhận thấy rằng khi một máy chủ có quá ít lõi CPU, nó sẽ bị chậm trong việc phân phối công việc cho các GPU. Điều đó khiến các GPU bị đình trệ khi chúng chờ đợi hướng dẫn. Ngoài ra, bài báo còn đề cập đến một yếu tố quan trọng khác của khối lượng công việc LLM: tokenization (mã hóa token). Tokenization là một bước đầu tiên quan trọng trong suy luận LLM. Nó chuyển đổi văn bản thành các ID token số nguyên mà mô hình có thể xử lý. Không giống như phép toán ma trận cần thiết cho hầu hết quá trình suy luận LLM, tokenization là một thao tác chuỗi tuần tự phụ thuộc vào dữ liệu, có nhiều nhánh. Mặc dù nó có thể được song song hóa bằng cách chia nhỏ văn bản, nhưng nó không song song hóa mạnh mẽ theo cách mà phần lớn quá trình suy luận LLM thực hiện. Tokenization các lời nhắc nhỏ là một tác vụ tương đối đơn giản và sẽ không gây quá tải ngay cả cho một CPU cấp thấp. Tuy nhiên, một mô hình tác nhân (agentic model) thực hiện các lệnh gọi công cụ phải phân tích cú pháp và mã hóa token kết quả của lệnh gọi đó. Ông Chung cho biết: “Nếu bạn có một chuỗi liên tục, chẳng hạn 100.000 token, và bạn có kết quả công cụ là 1.000 token, bộ mã hóa token sẽ phải mã hóa lại toàn bộ chuỗi. Và bạn phải thực hiện tokenization ở mỗi lệnh gọi công cụ tác nhân”. Điều này vừa làm tăng tần suất tokenization vừa làm tăng số lượng token liên quan. Ông Chung nói rằng có thể các bộ mã hóa token trong tương lai sẽ tìm cách giảm thiểu vấn đề này, nhưng đây vẫn là một vấn đề đối với suy luận LLM hiện đại. Bài báo phát hiện ra rằng độ trễ thời gian đến token đầu tiên (thời gian cần thiết để mô hình tạo ra từ đầu tiên trong phản hồi của nó) có thể tăng đáng kể khi độ dài chuỗi tăng lên. CPU có nhiều lõi hơn có thể giảm bớt vấn đề này. Trong các lần chạy thử nghiệm ở độ dài chuỗi dài hơn, việc tăng số lượng lõi CPU có thể giảm độ trễ thời gian đến token đầu tiên khoảng 1,5 đến 7 lần. Chung và các đồng nghiệp của ông chỉ có thể thử nghiệm các mô hình nhỏ hơn, chẳng hạn như Qwen 3-30B của Alibaba và Llama 3.1-70B của Meta, do những hạn chế về phần cứng có sẵn để thử nghiệm. Ông đã trình bày.