Sự chuyển đổi sang AI tác nhân (agentic AI) tạo ra yêu cầu CPU mới cho các nhà máy AI: các lõi nhanh, băng thông bộ nhớ lớn và khả năng duy trì hiệu suất cao khi tất cả các lõi đều hoạt động.
Kết quả điểm chuẩn ban đầu được Phoronix công bố hôm nay cho thấy CPU NVIDIA Vera đáp ứng được nhu cầu này. Đối với lần công bố đầu tiên này, phạm vi điểm chuẩn tập trung vào các tác vụ tác nhân mà Vera được thiết kế cho trong trung tâm dữ liệu hiện đại.
CPU Vera mang lại thông lượng mà các nhà máy AI cần, đồng thời tối ưu hóa điện năng nền tảng. Tám mươi tám lõi NVIDIA Olympus tùy chỉnh, băng thông bộ nhớ 1,2TB/s và một bộ điều khiển tốc độ cao, trên chip.
Sự chuyển đổi sang AI tác nhân (agentic AI) tạo ra một yêu cầu CPU mới cho nhà máy AI: các lõi nhanh, băng thông bộ nhớ lớn và khả năng duy trì hiệu suất cao khi tất cả các lõi đều hoạt động.
Kết quả thử nghiệm ban đầu được Phoronix công bố hôm nay cho thấy CPU NVIDIA Vera đáp ứng được nhu cầu này. Đối với lần công bố đầu tiên này, phạm vi thử nghiệm tập trung vào các tác vụ tác nhân mà Vera được thiết kế cho trong trung tâm dữ liệu hiện đại.
CPU Vera mang lại thông lượng mà các nhà máy AI cần, đồng thời tối ưu hóa điện năng nền tảng. Tám mươi tám lõi NVIDIA Olympus tùy chỉnh, băng thông bộ nhớ 1,2 TB/s và một kiến trúc trên chip tốc độ cao tạo nên một nền tảng CPU kết hợp hiệu suất lõi và băng thông bộ nhớ trong một giới hạn điện năng hiệu quả.
NVIDIA Olympus mang lại hiệu suất mạnh mẽ
Trọng tâm của Vera là các lõi CPU NVIDIA Olympus tùy chỉnh. Tương thích hoàn toàn với kiến trúc tập lệnh Armv9.2, Olympus được thiết kế cho các tác vụ CPU tuần tự làm nền tảng cho AI tác nhân: các thời gian chạy nặng nhánh, mã được đóng hộp (sandboxed code), xử lý dữ liệu và điều phối.
Thiết kế đơn khối của Vera, các lõi rộng, dự đoán nhánh tiên tiến và kiến trúc NVIDIA Scalable Coherency Fabric thế hệ thứ hai giúp Vera duy trì việc di chuyển dữ liệu trên tất cả 88 lõi.
Thử nghiệm của Phoronix trên một CPU Vera một socket – được đánh giá ở mức công suất thiết kế nhiệt 450 watt với công suất bộ nhớ dưới 30 watt – cho thấy nó mang lại hiệu suất vượt trội trong giới hạn công suất đó, cùng với những cải tiến thế hệ trên một loạt các tác vụ bao gồm biên dịch mã, nén tệp, chuyển mã video, Python, Java và quản lý cơ sở dữ liệu.
Đây là những loại tác vụ nặng về CPU mà các tác nhân và nhà máy AI thực hiện hàng ngày: biên dịch mã, thực thi thời gian chạy, nén dữ liệu, truy vấn cơ sở dữ liệu và điều phối các chồng phần mềm lớn.
“Trước khi bắt đầu, tôi thực sự không biết phải mong đợi gì từ NVIDIA Vera với các lõi Olympus mới,” Michael Larabel, người sáng lập và tác giả chính của Phoronix, viết. “Nhưng cuối cùng tôi nhận ra đây là đối thủ cạnh tranh đáng gờm nhất đối với bộ xử lý Intel và AMD x86_64 từ trước đến nay.”
‘Lợi thế đáng kinh ngạc’ về hiệu suất bộ nhớ
Các tác vụ tác nhân không chỉ bị giới hạn bởi số lượng lõi. Chúng cần sử dụng lõi cao và băng thông bộ nhớ bền vững, làm cho hiệu suất bộ nhớ trên mỗi watt trở thành một phần quan trọng của hiệu quả CPU tổng thể.
Vera tích hợp hệ thống con bộ nhớ LPDDR5X thế hệ thứ hai, cho phép tiêu thụ năng lượng trên mỗi bit thấp hơn đáng kể so với DDR5. Điều này cho phép Vera cung cấp băng thông lên tới 1,2 TB/s – gấp đôi băng thông bộ nhớ đỉnh so với các CPU truyền thống với công suất bộ nhớ dưới 30 watt, trái ngược với hơn 100 watt đối với DDR5 truyền thống.
Trong thử nghiệm Phoronix STREAM TRIAD, Vera duy trì 90% băng thông bộ nhớ đỉnh của nó – đạt tỷ lệ phần trăm băng thông đỉnh được đánh giá cao nhất so với bất kỳ CPU nào được Phoronix thử nghiệm – và mang lại băng thông bộ nhớ trên mỗi lõi gấp hơn 4 lần so với các CPU x86 truyền thống.
“NVIDIA Vera với bộ nhớ LPDDR5X của nó đã thể hiện lợi thế đáng kinh ngạc về hiệu suất bộ nhớ so với các bộ xử lý Intel Xeon và AMD EPYC hiện tại,” Larabel viết.
Tuy nhiên, băng thông đỉnh chỉ là một phần của câu chuyện. Các tác vụ của nhà máy AI chạy nhiều hộp cát (sandboxes), lệnh gọi công cụ và dịch vụ dữ liệu cùng một lúc. Trong thử nghiệm riêng với Vera, Prime Intellect nhận thấy rằng Vera duy trì băng thông cao và độ trễ bộ nhớ thấp, nhất quán khi nhiều tác vụ chạy song song – loại hiệu suất có thể dự đoán được cần thiết cho AI tác nhân.
Bước nhảy vọt thế hệ — và vị trí dẫn đầu trong thử nghiệm của Phoronix
So với CPU NVIDIA Grace thế hệ trước, Vera đạt mức tăng trung bình nhân 1,6 lần trong thử nghiệm của Phoronix — một mức tăng đáng kinh ngạc qua từng thế hệ.
Ông Larabel viết: “Sự khác biệt từ Grace sang Vera liên tục vượt quá mong đợi của tôi về hiệu suất giữa các thế hệ mà chúng ta thường thấy ở các bộ xử lý. CPU Vera của NVIDIA với các lõi CPU Olympus do hãng tự thiết kế đã tạo ra một cú đấm mạnh mẽ với khả năng cạnh tranh với các CPU x86_64 của Intel/AMD mà tôi chưa từng thấy ở bất kỳ bộ xử lý ARM hoặc bộ xử lý không phải x86_64 nào khác.”
Vera dẫn đầu trong số các CPU được thử nghiệm, mang lại lợi thế hiệu suất tổng thể 1,5 lần so với bộ xử lý x86 128 lõi thế hệ mới nhất. Những cải tiến này thể hiện rõ trong các tác vụ phát triển thực tế. Vera một socket đã biên dịch một nhân Linux mặc định chỉ trong 20 giây, kết quả nhanh nhất mà Phoronix đo được trong thử nghiệm đó. Vera mang lại khả năng biên dịch nhân Linux nhanh hơn 2 lần trên mỗi lõi so với bộ xử lý 128 lõi.
Ông Larabel viết: “Trên cơ sở trung bình [nhân], NVIDIA Vera mang lại hiệu suất tốt hơn 10% so với bộ xử lý tần số cao AMD EPYC 9575F 5.0 GHz.”
Vera trong thử nghiệm của khách hàng, sắp ra mắt từ các đối tác
Tại NVIDIA GTC, NVIDIA đã công bố sự hỗ trợ rộng rãi của hệ sinh thái dành cho Vera, bao gồm các công ty AI bản địa, trung tâm siêu máy tính, nhà cung cấp dịch vụ đám mây và nhà cung cấp cơ sở hạ tầng.
NVIDIA cũng đã cung cấp các CPU Vera đầu tiên cho các công ty AI và nhà cung cấp đám mây hàng đầu, đánh dấu một cột mốc quan trọng khi Vera hướng tới việc cung cấp cho các đối tác vào nửa cuối năm.
Vera sẽ có sẵn từ các đối tác trong các hệ thống hai và một socket, với các tùy chọn làm mát bằng không khí và làm mát bằng chất lỏng để hỗ trợ triển khai nhà máy AI, từ các trung tâm dữ liệu doanh nghiệp tiêu chuẩn đến cơ sở hạ tầng AI tác nhân mật độ cao.
Tìm hiểu thêm về NVIDIA Vera.
Nguồn tin: NVIDIA AI Blog — Tác giả: Diana Aung. Bản dịch tiếng Việt do AI thực hiện, có thể có sai sót.