Các tác tử AI (AI agents) không chỉ dừng lại ở việc tạo câu trả lời. Chúng còn tìm kiếm thông tin, truy vấn cơ sở dữ liệu, viết và kiểm thử mã nguồn, cũng như trực tiếp thực thi hành động.
Mỗi bước nêu trên đều phụ thuộc vào CPU, trong đó các tác tử liên tục luân chuyển giữa quá trình suy luận trên GPU và thực thi trên CPU trong suốt quá trình hoàn thành nhiệm vụ.
Khi các doanh nghiệp triển khai ngày càng nhiều tác tử vào vận hành, các nhà máy AI cần những CPU có khả năng xử lý nhanh các bước này và hỗ trợ đồng thời nhiều tác tử, trong khi vẫn bảo đảm nằm trong giới hạn nguồn điện cho phép.
Điều này đồng nghĩa với việc: Các nhà cung cấp hạ tầng AI cần hỗ trợ nhiều tác tử hơn mà không kéo dài thời gian chờ hoàn thành công việc của từng tác tử. Đặc biệt, các nhà máy AI luôn bị giới hạn về điện năng. Điều này có nghĩa...
Các tác tử AI (AI agent) không chỉ dừng lại ở việc tạo câu trả lời. Chúng còn tìm kiếm thông tin, truy vấn cơ sở dữ liệu, viết và kiểm thử mã nguồn, cũng như trực tiếp thực thi các tác vụ.
Mỗi bước xử lý này đều phụ thuộc vào CPU, trong đó các tác tử AI liên tục chuyển đổi giữa quá trình suy luận trên GPU và quá trình thực thi trên CPU trong suốt quá trình xử lý công việc.
Khi các doanh nghiệp triển khai ngày càng nhiều tác tử AI, các trung tâm dữ liệu AI cần những bộ xử lý CPU có khả năng thực thi nhanh chóng các bước này và hỗ trợ đồng thời nhiều tác tử, trong khi vẫn phải bảo đảm giới hạn điện năng khả dụng.
Ý nghĩa thực tiễn: Các nhà cung cấp hạ tầng AI cần hỗ trợ nhiều tác tử hơn mà không làm tăng thời gian chờ xử lý công việc. Đáng chú ý, các cơ sở hạ tầng AI đều bị giới hạn về nguồn điện. Do đó, các đơn vị vận hành buộc phải lựa chọn hạ tầng có khả năng tối ưu hóa khối lượng công việc trên mỗi watt điện năng.
Tầm quan trọng: Bộ xử lý CPU NVIDIA Vera mang lại hiệu năng xử lý tác tử nhanh chóng cùng mật độ xử lý cao trên mỗi watt điện chỉ với một CPU duy nhất. Điều này cho phép các nhà cung cấp sử dụng một dòng CPU duy nhất cho nhiều khối lượng công việc tác tử khác nhau, thay vì phải kết hợp phức tạp giữa các vi xử lý x86 tốc độ cao và x86 mật độ lõi cao để cân bằng giữa tốc độ và công suất.
Số liệu chứng minh: Trong phép thử nghiệm so sánh tại một trung tâm dữ liệu quy mô 100 megawatt, NVIDIA ghi nhận một CPU Vera duy nhất đạt hiệu năng vượt trội hơn cả dòng CPU x86 nhanh nhất và dòng CPU x86 tiết kiệm điện nhất.
Vera mang lại tốc độ xử lý tác tử hàng đầu ngành, đồng thời cho phép vận hành số lượng tác tử trên mỗi watt cao gấp 1,6 lần so với CPU x86 nhanh nhất.
Vera đạt tốc độ xử lý tác tử nhanh gấp 2 lần với hiệu quả sử dụng năng lượng vượt trội so với CPU x86 tiết kiệm điện nhất.
Các đối tác đã bắt đầu đưa Vera vào vận hành thực tế. Những đơn vị tiên phong ứng dụng đều ghi nhận hiệu năng vượt trội tương tự trong các bài kiểm thử môi trường sản xuất:
Perplexity: Thực hiện các tác vụ lập trình tự động bằng tác tử AI nhanh gấp 1,5 lần với Vera so với các CPU truyền thống. Doanh nghiệp này dự kiến sẽ triển khai Vera trong hệ thống sản xuất sắp tới.
DeepInfra: Đạt tốc độ điều phối tác tử AI nhanh gấp 2,2 lần so với bộ vi xử lý x86 tốt nhất trong khối lượng công việc thực tế, trở thành kiến trúc xử lý nhanh nhất trong bốn cấu trúc được thử nghiệm.
ClickHouse: Tệp nhị phân tiêu chuẩn, không cần tinh chỉnh riêng cho Vera, có khả năng mở rộng gần như tuyến tính trên 176 lõi (core) và đứng đầu bảng xếp hạng phần cứng ClickBench.
DuckLabs: Đạt hiệu năng trung vị trên chuẩn TPC-H SF1000 cao gấp khoảng 1,5 lần so với mức cơ sở của Intel Xeon 6.
Daytona: Khởi chạy 1.000 môi trường thử nghiệm độc lập (sandbox) cho tác tử chỉ trong 10,8 giây, đồng thời hoàn thành 12,7 tác vụ mỗi giây ở quy mô 2.000 sandbox đồng thời khi sử dụng Vera, so với thời gian 88,4 giây của cấu hình x86.
Modal: Đạt thông lượng sandbox trên mỗi lõi cao gấp 2 lần so với phần cứng x86 tương đương, với mức tăng trưởng hiệu năng thậm chí còn cao hơn khi chịu tải nặng.
Tìm hiểu thêm thông tin về CPU NVIDIA Vera.
Nguồn tin: NVIDIA AI Blog — Tác giả: Hannah Coutand. Bản dịch tiếng Việt do AI thực hiện, có thể có sai sót.
