Bài trình bày: Triển khai LLM trên quy mô lớn: Lợi thế tiềm ẩn từ KV Cache

Trang chủ InfoQ Bài thuyết trình Vận hành LLM ở quy mô lớn: Lợi thế tiềm ẩn của KV Cache AI, ML và Kỹ thuật Dữ liệu Vận hành LLM ở quy mô lớn: Lợi thế tiềm ẩn của KV Cache Thích Danh sách đọc Xem bài thuyết trình Dọc Ngang Toàn màn hình Tốc độ: 1x 1,25x 1,5x 2x 51:15 Tóm tắt Ông Khawaja Shams chia sẻ góc nhìn từ hệ thống phân tán về phương thức mở rộng quy mô các cụm hạ tầng suy luận LLM một cách hiệu quả. Diễn giả thảo luận các chiến lược thực tiễn nhằm tối ưu hóa hiệu suất sử dụng GPU, kiểm soát hiện tượng nghẽn bộ nhớ KV Cache, tận dụng hệ thống lưu trữ phân tầng, giảm độ trễ đuôi (tail latency), đồng thời triển khai kiến trúc phân tách giữa khâu nạp trước (prefill) và giải mã (decode) nhằm nâng cao hiệu năng tổng thể của hệ thống, tối ưu chi phí và bảo đảm tính sẵn sàng. Tiểu sử Ông Khawaja Shams là Đồng sáng lập kiêm Tổng Giám đốc của Momento, một doanh nghiệp khởi nghiệp tập trung vào hạ tầng dữ liệu hiệu năng cao, đồng thời là nhân sự đóng góp cho dự án nguồn mở Valkey. Ông từng được trao tặng Huy chương Cống hiến Sớm của NASA cho các công trình liên quan đến các xe tự hành thám hiểm Sao Hỏa (Mars Rovers), từ hệ thống máy ảnh trên thiết bị đến các quy trình xử lý hình ảnh. Tại AWS, ông từng dẫn dắt dự án DynamoDB và giữ chức Phó Chủ tịch Kỹ thuật của AWS Elemental, mang lại kinh nghiệm chuyên sâu về quy mô lớn cho lĩnh vực suy luận LLM. Về hội nghị QCon AI là sự kiện do đội ngũ chuyên gia thực hành chủ trì, tập trung toàn diện vào các nguyên tắc kỹ thuật cần thiết để mở rộng quy mô các khối lượng công việc này một cách an toàn. Sự kiện mang lại quyền tiếp cận trực tiếp các cẩm nang kiến trúc và chỉ số lỗi mà các tổ chức đồng cấp sử dụng trong môi trường vận hành thực tế. Bản ghi nội dung Khawaja Shams: Khảo sát cho thấy không nhiều đại biểu tự nhận là chuyên gia về suy luận (inference). Diễn giả là Khawaja. Nội dung được trình bày theo phong cách tiếp cận gần gũi và có sự lặp lại nhất định, xuất phát từ kinh nghiệm giảng dạy rằng sự nhắc lại giúp khắc sâu các khái niệm. Đây là những nội dung chuyên môn sâu và sẽ trở nên rõ ràng khi nắm bắt được bản chất. Diễn giả khởi đầu sự nghiệp bằng việc chế tạo máy ảnh cho các xe tự hành thám hiểm Sao Hỏa; công tác tám năm tại NASA trong lĩnh vực hệ thống phân tán; sau đó phụ trách dịch vụ DynamoDB tại AWS, một cơ sở dữ liệu NoSQL quy mô lớn. Hiện tại, diễn giả là đồng sáng lập công ty khởi nghiệp Momento, đơn vị tập trung tối ưu hóa tốc độ truy cập dữ liệu cho các ngăn xếp suy luận AI lẫn các hệ thống bộ nhớ đệm (cache) thông thường. Góc nhìn của một kỹ sư hệ thống phân tán Thực tế cho thấy phần lớn đại biểu tham dự không tự nhận là chuyên gia về suy luận. Đối với những nhân sự có nền tảng về hệ thống phân tán, ngăn xếp suy luận (inference stack) ban đầu có thể tạo ra cảm giác rất phức tạp. Sự xuất hiện của hàng loạt khái niệm như đầu chú ý (attention heads), phép chiếu KV (KV projections), CUDA kernels, tensors, hay lượng tử hóa (quantization) gợi nhắc đến các kiến thức đại số tuyến tính chuyên sâu. Tuy nhiên, lĩnh vực suy luận vẫn mở ra nhiều dư địa đóng góp cho các kỹ sư hệ thống phân tán. Những bài toán từng nảy sinh trong giai đoạn bùng nổ quy mô web (web scale) trước đây—như định tuyến (routing), độ trễ đuôi (tail latency) khi truy cập dữ liệu, hay phương thức vận hành bộ nhớ đệm—đều tiếp tục tồn tại bên trong ngăn xếp suy luận. Hiện nay, một trong những nguồn tài nguyên khan hiếm nhất là GPU. Năng lực sản xuất phần cứng này chưa đáp ứng kịp nhu cầu, đồng thời hạ tầng trung tâm dữ liệu trên thế giới cũng chưa đủ để đáp ứng. Trong bối cảnh toàn cầu tập trung gia tăng sản lượng GPU và mở rộng trung tâm dữ liệu, đây là cơ hội lớn cho đội ngũ kỹ thuật hệ thống phân tán nâng cao một chỉ số mang tính sống còn: tỷ lệ sử dụng (utilization). Các khái niệm được chia sẻ đều hướng tới việc giúp ngăn xếp suy luận đạt tỷ lệ sử dụng cao hơn. Việc tối ưu hóa tỷ lệ sử dụng và nâng cao hiệu quả khai thác công suất sẽ trực tiếp cải thiện tính sẵn sàng, hiệu năng vận hành và hiệu quả kinh tế. Hai giai đoạn của quá trình suy luận Quá trình suy luận diễn ra tương tự như khi người dùng gửi một yêu cầu chào hỏi tới ChatGPT và hệ thống mất khoảng 2 giây để phản hồi. Trên thực tế, câu lệnh (prompt) đó trải qua hai giai đoạn suy luận. Giai đoạn thứ nhất là nạp trước (prefill), nơi câu lệnh được tiếp nhận và xử lý. Nhằm minh họa trực quan theo cách giao tiếp tự nhiên để làm rõ các khái niệm, có thể liên hệ tới câu đố quen thuộc thời phổ thông: Một người lái xe buýt ban đầu không có hành khách; ở trạm thứ nhất có một người lên xe; ở trạm tiếp theo có hai người lên; đến trạm thứ ba, số lượng tăng gấp đôi; đến trạm thứ tư, một phần ba số hành khách rời xe, và tiến trình tiếp tục diễn ra như vậy. Cần hình dung trường hợp câu chuyện trên được nhắc đi nhắc lại liên tục trong suốt buổi trao đổi, và câu hỏi cuối cùng được đưa ra là ai đang lái chiếc xe buýt. Lời giải chính là người nghe, nhưng người nghe không thể trả lời câu hỏi n... ...cho đến khi hoàn tất quá trình xử lý toàn bộ dữ liệu đầu vào. Đó là giai đoạn nạp trước (prefill). Đây là thời điểm câu lệnh đầu vào (prompt) được chuyển đổi thành mã máy, tương thích với cơ chế hoạt động của mô hình. Trong khi đó, decode là giai đoạn tạo câu trả lời thực tế, ví dụ như khi đưa ra phát biểu "tôi đang lái xe buýt". Đó chính là giai đoạn decode. Trong ngăn xếp suy luận (inference stack), đây là hai giai đoạn hoàn toàn tách biệt. Mối liên hệ tương ứng giữa các giai đoạn này sẽ được làm rõ hơn. Giai đoạn prefill phụ thuộc rất lớn vào năng lực tính toán (compute-bound), khi hệ thống liên tục phân tích cú pháp và chuyển đổi các từ ngữ đầu vào. Quá trình này diễn ra hoàn toàn song song và chiếm dụng nhiều tài nguyên CPU. Ngược lại, giai đoạn decode đòi hỏi phải tham chiếu toàn bộ các dữ liệu trên, do đó phụ thuộc rất lớn vào bộ nhớ (memory-bound). Một chỉ số đang nhận được sự quan tâm rộng rãi trên thế giới là thời gian phản hồi token đầu tiên (time to first token). Đây là thước đo được người dùng đặc biệt lưu tâm, bởi chỉ số này cho phép...