PCIe trong suy luận AI: Điểm sáng và những hạn chế

Ngày 07/11/2026 · @Srinivas Kodali Các cuộc thảo luận về phần cứng phục vụ suy luận AI phần lớn tập trung vào hai yếu tố: HBM (bộ nhớ tốc độ cao trên GPU) và NVLink (kết nối tốc độ cao giữa các GPU). Điều này hoàn toàn có cơ sở, bởi tốc độ tạo ra mỗi token của mô hình phụ thuộc chủ yếu vào hai thành phần này. Chuẩn kết nối PCIe ít nhận được sự quan tâm hơn và thường bị đánh giá chưa đúng mức. Một số ý kiến cho rằng các máy chủ dùng chuẩn PCIe không đáp ứng được các tác vụ suy luận quy mô lớn. Nhiều quan điểm khác lại bỏ qua PCIe cho đến khi mô hình mất tới một phút để nạp dữ liệu, hoặc một phiên hội thoại kéo dài bất ngờ bị chậm lại. Xét từ góc độ kiến trúc hệ thống của hạ tầng AI—nơi GPU kết nối với các thành phần còn lại của máy chủ—PCIe mang lại góc nhìn khác biệt. Những chi tiết mang tính quyết định bao gồm số lượng làn (lane) PCIe phân bổ cho mỗi thiết bị, các bộ chuyển mạch (switch), bộ tăng cường tín hiệu (retimer), vị trí bố trí của card mạng cùng các ổ đĩa, và việc mỗi liên kết có thực sự vận hành ở tốc độ tối đa hay không. Cách thức đấu nối phần cứng của máy chủ có tầm quan trọng không kém thế hệ PCIe được sử dụng. Do đó, câu trả lời khách quan cho câu hỏi "PCIe có làm chậm quá trình suy luận hay không?" là: tùy thuộc vào từng trường hợp cụ thể. Bài viết này phân tích từng liên kết trên đường truyền dữ liệu suy luận, chỉ dựa trên các thông số kỹ thuật công khai, bảng dữ liệu (datasheet), cấu hình mô hình và các kết quả đo kiểm (benchmark) đã được công bố. Với những số liệu qua tính toán, các dữ liệu đầu vào đều được nêu rõ để phục vụ việc kiểm chứng. Tóm lại: PCIe hoạt động hiệu quả khi mỗi GPU có thể tự xử lý độc lập các tác vụ. Hiệu năng sẽ gặp trở ngại khi các GPU phải liên tục trao đổi dữ liệu cho từng token được tạo ra, hoặc khi dữ liệu cho mỗi token buộc phải truy xuất từ bên ngoài bộ nhớ GPU. Vị trí của PCIe trong hệ thống Trong một máy chủ tiêu chuẩn gồm 8 GPU, các GPU giao tiếp với nhau qua NVLink; hầu hết các luồng dữ liệu còn lại đều đi qua PCIe. Theo mô tả của NVIDIA, một máy chủ PCIe thông thường bao gồm 2 CPU cùng 2 đến 4 bộ chuyển mạch PCIe. Các bộ chuyển mạch này kết nối các GPU với nhau và kết nối tới các card mạng. Một ví dụ điển hình được công bố là hệ thống NVIDIA DGX H100. Hệ thống này được trang bị 8 GPU H100, 2 CPU Xeon hỗ trợ PCIe Gen5, 2 TB bộ nhớ hệ thống, 10 card mạng ConnectX-7 và 8 ổ đĩa NVMe. Trong quá trình suy luận, PCIe đảm nhận 4 luồng dữ liệu chính: trọng số mô hình được chuyển từ bộ nhớ lưu trữ; dữ liệu bộ đệm khóa-giá trị (KV cache) luân chuyển giữa GPU và bộ nhớ hệ thống; lưu lượng mạng qua các card mạng; các gói tin điều khiển dung lượng nhỏ giữa CPU và các GPU. Trên các dòng GPU không hỗ trợ NVLink, PCIe đảm nhận toàn bộ lưu lượng truyền tải giữa các GPU với nhau. Các thông số kỹ thuật then chốt Một liên kết PCIe Gen5 x16 truyền tải khoảng 64 GB/s trên mỗi chiều (chưa tính phần hao hụt giao thức). Trong khi đó, một GPU H100 truy xuất bộ nhớ HBM nội bộ với tốc độ 3,35 TB/s, nhanh hơn khoảng 50 lần. Người xem bảng thông số kỹ thuật thường dễ nhầm lẫn ở hai điểm: Thứ nhất, bảng dữ liệu GPU thường cộng gộp băng thông của cả hai chiều. NVIDIA công bố liên kết PCIe của H100 đạt 128 GB/s; tuy nhiên, thao tác sao chép dữ liệu từ bộ nhớ hệ thống vào GPU chỉ sử dụng một chiều, do đó tốc độ thực tế chỉ đạt một nửa con số trên. Thứ hai, đây là các con số lý thuyết. Tốc độ truyền tải thực tế sẽ thấp hơn do mỗi gói tin đều chứa thêm phần dữ liệu tiêu đề (header). Tốc độ thực tế cần được đo lường cụ thể thông qua công cụ miễn phí nvbandwidth của NVIDIA, thay vì lấy trực tiếp từ bảng thông số kỹ thuật. Một chi tiết đáng lưu ý khác từ số liệu: một khe cắm Gen5 x16 chỉ có băng thông cao hơn khoảng 28% so với mức yêu cầu của một card mạng 400 Gb/s. Yếu tố này sẽ đóng vai trò quan trọng ở các phân tích tiếp theo. PCIe phần lớn ở trạng thái nghỉ trong quá trình xuất token Xét ví dụ: mô hình Llama 3.1 70B ở định dạng BF16 (2 byte cho mỗi tham số), vận hành trên 8 GPU H100 với kỹ thuật song song hóa tensor (tensor parallelism). Dung lượng trọng số của mô hình vào khoảng 141 GB (70,6 tỷ tham số, mỗi tham số chiếm 2 byte). Khi chia đều cho 8 GPU, mỗi GPU lưu trữ khoảng 17,6 GB. Để tạo ra mỗi token mới, từng GPU phải đọc toàn bộ 17,6 GB này từ bộ nhớ HBM. Với tốc độ 3,35 TB/s, riêng tác vụ này đã tiêu tốn khoảng 5,3 ms. Trong khoảng thời gian đó, lượng dữ liệu truyền qua PCIe là rất nhỏ. Hệ thống chỉ tiếp nhận mã định danh token (token ID) đầu vào và trả về token được lựa chọn. Ngay cả thao tác sao chép toàn bộ danh sách điểm số token của mô hình (logits) sang CPU cũng chỉ chiếm khoảng 0,5 MB (128.256 × 4 b byte). Quá trình này mất khoảng 8 microgiây trên kết nối Gen5, chiếm chưa đầy 0,2% thời gian của một bước xử lý. Quá trình đọc câu lệnh nhắc (prefill) đòi hỏi năng lực tính toán lớn, nhưng dữ liệu đầu vào cũng rất nhỏ. Một câu lệnh 128K token chỉ chiếm khoảng 0,5 MB mã định danh token. Vì vậy, khi mô hình đã được tải và bộ nhớ đệm KV (KV cache) nằm trọn trong bộ nhớ GPU, giao tiếp PCIe gần như không phải hoạt động. Điểm đáng chú ý nằm ở những tác vụ diễn ra xung quanh quá trình này. Trường hợp PCIe phát huy ưu thế Khi mỗi GPU vận hành một bản sao mô hình độc lập Minh chứng công khai rõ ràng nhất đến từ MLPerf, bộ công cụ đo kiểm chuẩn (benchmark) tiêu chuẩn của ngành AI. Trong đợt thử nghiệm phiên bản v5.1 với mô hình Llama 2 70B: Hệ thống HGX H200 gồm 8 GPU, sử dụng NVLink, đạt tốc độ khoảng 4.290 đến 4.410 token/giây trên mỗi GPU trong bài kiểm tra ngoại tuyến. Một máy chủ 4 GPU trang bị các card H200 NVL (phiên bản PCIe của cùng dòng chip) đạt khoảng 3.760 token/giây. Mức này tương đương 85% đến 88% so với các hệ thống sử dụng NVLink. Trong bài kiểm tra máy chủ có áp dụng giới hạn thời gian phản hồi, tỷ lệ này đạt từ 80% đến 83%. Khoảng cách chênh lệch không lớn do NVLink hầu như không được sử dụng trong trường hợp này. H200 sở hữu dung lượng bộ nhớ đủ lớn để cấu hình dự thi của NVIDIA không cần phân chia mô hình qua các GPU. Mỗi GPU hoạt động độc lập, do đó lưu lượng truyền tải giữa các GPU là rất thấp. Phần chênh lệch còn lại bắt nguồn từ công suất tiêu thụ: card PCIe bị giới hạn ở mức 600 W thay vì 700 W, và hiệu năng tính toán FP8 của phiên bản này đạt khoảng 84% so với phiên bản SXM. Tải mô hình Tải trọng số (weights) là tác vụ truyền tải dữ liệu đơn lẻ lớn nhất của một máy chủ suy luận. Tuy nhiên, thiết bị lưu trữ thường có tốc độ chậm hơn giao tiếp PCIe, do đó thiết bị lưu trữ sẽ quyết định tốc độ chung. Đây là các số liệu trong kịch bản tối ưu nhất. Trên thực tế, các thao tác đọc tệp, giải nén trọng số và thiết lập bộ nhớ thường tốn nhiều thời gian hơn bản thân quá trình sao chép. Việc sao chép trung gian qua bộ nhớ hệ thống sẽ làm tăng thêm thời gian xử lý, trong khi công nghệ GPUDirect Storage giúp loại bỏ bước trung gian này. PCIe chỉ trở thành điểm nghẽn khi các trọng số đã nằm sẵn trong bộ nhớ hệ thống. Trường hợp này thường xảy ra khi các máy chủ mở rộng, thu hẹp quy mô hoặc chuyển đổi giữa các mô hình. Khôi phục bộ nhớ đệm KV Đây là tác vụ mà giao tiếp PCIe phát huy hiệu quả cao nhất. Dung lượng của bộ nhớ đệm KV có thể dễ dàng tính toán từ cấu hình của mô hình: 2 (keys và values) × số lớp (layers) × số đầu KV (KV heads) × kích thước đầu (head size) × số byte trên mỗi giá trị Đối với Llama 3.1 70B (80 lớp, 8 đầu KV, kích thước đầu 128, định dạng BF16), mức tiêu tốn là 320 KiB cho mỗi token. Một phiên hội thoại dài 128K token cần khoảng 40 GiB dung lượng—tương đương gần một nửa bộ nhớ của một GPU H100 80 GB—chỉ tính riêng cho một người dùng. Khi người dùng đó quay lại, máy chủ có hai lựa chọn: tính toán lại bộ nhớ đệm từ câu lệnh nhắc, hoặc tải bản sao đã lưu từ bộ nhớ hệ thống. Trên hệ thống 8 GPU H100, việc tính toán lại 128K token cần khoảng 4 × 10¹⁶ phép tính, chia đều cho phần trọng số và cơ chế chú ý (attention). Quá trình này mất khoảng 5 giây ngay cả khi vận hành ở tốc độ tối đa, và trên thực tế có thể lên tới gần 10 giây