Đánh giá hiệu năng suy luận LLM

LLM Inference Benchmarking - Đo lường những gì quan trọng | DigitalOcean Blog Tài liệu Tuyển dụng Hỗ trợ Liên hệ bộ phận bán hàng DigitalOcean Sản phẩm Sản phẩm AI nổi bật Điện toán (Compute) Xây dựng, triển khai và mở rộng tài nguyên điện toán đám mây Bộ chứa và Hình ảnh (Containers and Images) Lưu trữ và quản lý bộ chứa cùng bản sao lưu một cách an toàn Cơ sở dữ liệu được quản lý (Managed Databases) Tài nguyên được quản lý hoàn toàn chạy các công cụ cơ sở dữ liệu phổ biến Công cụ quản lý và phát triển (Management and Dev Tools) Kiểm soát hạ tầng và thu thập thông tin chuyên sâu Mạng (Networking) Bảo mật và kiểm soát lưu lượng truy cập đến các ứng dụng Bảo mật (Security) Giúp bảo vệ tài khoản và tài nguyên của bạn bằng các tính năng bảo mật này Lưu trữ (Storage) Lưu trữ và truy cập bất kỳ lượng dữ liệu nào một cách đáng tin cậy trên đám mây Duyệt tất cả sản phẩm Giải pháp AI/ML CMS Dữ liệu và IoT Công cụ phát triển Trò chơi và truyền thông Lưu trữ (Hosting) Bảo mật và mạng Khởi nghiệp và SMB (doanh nghiệp vừa và nhỏ) Nền tảng web và ứng dụng Xem tất cả giải pháp Nhà phát triển Cộng đồng Tài liệu Công cụ phát triển Tham gia Tiện ích và trợ giúp Đối tác Trở thành đối tác Thị trường (Marketplace) Giá cả Đăng nhập Đăng ký Đăng nhập Đăng ký Công ty Giới thiệu Ban lãnh đạo Blog Tuyển dụng Khách hàng Đối tác Chương trình giới thiệu Chương trình liên kết Báo chí Pháp lý Chính sách bảo mật Bảo mật Quan hệ nhà đầu tư Sản phẩm Cơ sở tri thức GPU Droplets Bare Metal GPUs Inference Engine Dữ liệu & Học tập Đánh giá Thư viện mô hình Droplets Kubernetes Functions App Platform Load Balancers Managed Databases Spaces Block Storage Network File Storage API Uptime Cloud Security Posture Management (CSPM) Identity and Access Management (IAM) Cloudways Xem tất cả sản phẩm Tài nguyên Hướng dẫn cộng đồng Hỏi đáp cộng đồng CSS-Tricks Viết cho DOnations Nghiên cứu Currents DigitalOcean Startups Chương trình Wavemakers Hội đồng Compass Mã nguồn mở Đăng ký nhận bản tin Thị trường (Marketplace) Giá cả Công cụ tính giá Tài liệu Ghi chú phát hành Quy tắc ứng xử Mua sắm quà lưu niệm Giải pháp AI Training GPU GPU Inference VPS Hosting Website Hosting VPN Docker Hosting Node.js Hosting Web Mobile Apps WordPress Hosting Virtual Machines Xem tất cả giải pháp Liên hệ Hỗ trợ Bán hàng Báo cáo lạm dụng Trạng thái hệ thống Chia sẻ ý tưởng của bạn Công ty Giới thiệu Ban lãnh đạo Blog Tuyển dụng Khách hàng Đối tác Chương trình giới thiệu Chương trình liên kết Báo chí Pháp lý Chính sách bảo mật Bảo mật Quan hệ nhà đầu tư Sản phẩm Cơ sở tri thức GPU Droplets Bare Metal GPUs Inference Engine Dữ liệu & Học tập Đánh giá Thư viện mô hình Droplets Kubernetes Functions App Platform Load Balancers Managed Databases Spaces Block Storage Network File Storage API Uptime Cloud Security Posture Management (CSPM) Identity and Access Management (IAM) Cloudways Xem tất cả sản phẩm Tài nguyên Hướng dẫn cộng đồng Hỏi đáp cộng đồng CSS-Tricks Viết cho DOnations Nghiên cứu Currents DigitalOcean Startups Chương trình Wavemakers Hội đồng Compass Mã nguồn mở Đăng ký nhận bản tin Thị trường (Marketplace) Giá cả Công cụ tính giá Tài liệu Ghi chú phát hành Quy tắc ứng xử Mua sắm quà lưu niệm Giải pháp AI Training GPU GPU Inference VPS Hosting Website Hosting VPN Docker Hosting Node.js Hosting Web Mobile Apps WordPress Hosting Virtual Machines Xem tất cả giải pháp Liên hệ Hỗ trợ Bán hàng Báo cáo lạm dụng Trạng thái hệ thống Chia sẻ ý tưởng của bạn © 2026 DigitalOcean, LLC. Sơ đồ trang web. Kỹ thuật Đánh giá hiệu năng suy luận LLM - Đo lường những gì quan trọng Bởi Piyush Srivastava, Karnik Modi, Stephen Varela và Rithish Ramesh Cập nhật: ngày 17/02/2026 Thời gian đọc: 12 phút <- Quay lại trang chủ blog Suy luận mô hình ngôn ngữ lớn (LLM) ở cấp độ sản xuất là một thách thức phức tạp về hệ thống, đòi hỏi sự đồng thiết kế sâu rộng – từ các nguyên thủy phần cứng (FLOPs, băng thông bộ nhớ và kết nối) đến các lớp phần mềm tinh vi – trên toàn bộ ngăn xếp. Với sự đa dạng về phần cứng giữa các nhà cung cấp GPU như NVIDIA và AMD – bao gồm sự khác biệt thế hệ về hiệu suất kiểu số (FP8, BF16, NVFP4, v.v.), băng thông và dung lượng HBM, FLOPs đỉnh, v.v. – hiệu suất tối ưu không bao giờ được đảm bảo. Nó phụ thuộc vào khả năng của phần mềm trong việc tối đa hóa việc sử dụng FLOPs trong giai đoạn tiền xử lý (prefill), tối đa hóa hiệu quả băng thông trong giai đoạn giải mã (decode), tối ưu hóa định tuyến chuyên gia trong các mô hình MoE (Mixture of Experts), khám phá các chiến lược song song tối ưu, và nhiều yếu tố khác. Khi chi phí phần cứng suy luận vẫn ở mức cao, việc tối đa hóa hiệu suất để cải thiện hiệu quả kinh tế đơn vị là mục tiêu chính của các nhóm AI. Chúng ta hiện đang ở trong kỷ nguyên đồng thiết kế phần cứng-phần mềm mạnh mẽ, điều này sẽ định hình lại hiệu suất và hiệu quả chi phí. Do đó, việc đánh giá hiệu năng (benchmarking) phải phát triển để theo dõi ba trụ cột quan trọng: hiệu suất mô hình đầu cuối, đánh giá hiệu năng vi mô của các thành phần riêng lẻ và một phương pháp có cấu trúc để đạt được những cải tiến về hiệu suất. Bài viết này tập trung vào lĩnh vực hiệu suất LLM và phân tích sự tương tác giữa độ trễ (latency), thông lượng (throughput), đồng thời (concurrency) và chi phí. Tiền xử lý (Prefill) và Giải mã (Decode): Hai giai đoạn của Suy luận Suy luận LLM hoạt động theo hai giai đoạn: tiền xử lý (prefill) và giải mã (decode). Giai đoạn tiền xử lý là khi toàn bộ đầu vào đi qua quá trình chuyển tiếp (forward pass) của mô hình, bao gồm cơ chế tự chú ý (self-attention), cộng và chuẩn hóa (add & norm), và đi qua các lớp ẩn của mạng truyền thẳng (feed forward network) của mô hình. Giai đoạn này cực kỳ bị giới hạn bởi tính toán (compute bound). Số FLOPs trên mỗi byte được truyền (cường độ số học) cho giai đoạn tiền xử lý là rất cao. Nói một cách đơn giản hơn, GPU dành nhiều thời gian tính toán hơn là chờ dữ liệu từ bộ nhớ. Mặt khác, giai đoạn giải mã bị giới hạn bởi bộ nhớ (memory bound). Đối với mỗi token được tạo ra, giai đoạn giải mã cần tải toàn bộ ma trận trọng số, bộ nhớ đệm KV (KV cache) từ HBM, tạo ra một token và ghi lại vào HBM để tính toán token tiếp theo. GPU cuối cùng dành nhiều thời gian chờ dữ liệu từ bộ nhớ hơn là dành thời gian tính toán. Do đó, hai giai đoạn này có các đặc điểm tính toán rất khác nhau. Các chỉ số Trong phần này, chúng ta sẽ xem xét một số chỉ số có tác động trực tiếp đến nhận thức của người dùng về hiệu suất Suy luận. Thời gian đến Token đầu tiên (Time to First Token - TTFT) Thời gian đến Token đầu tiên là một chỉ số quan trọng đo lường khoảng thời gian từ khi một lời nhắc (prompt) được gửi đến khi mô hình tạo ra token đầu tiên của nó. Từ góc độ người dùng, đây là thời gian "chờ đợi" từ khi gửi một lời nhắc đến khi thấy văn bản bắt đầu xuất hiện. TTFT có liên quan chặt chẽ đến giai đoạn tiền xử lý vì mô hình không thể bắt đầu tạo bất kỳ token nào cho đến khi toàn bộ quá trình chuyển tiếp từ chuỗi đầu vào (lời nhắc) được hoàn thành.