Podcast: Suy luận LLM phân tán trên Kubernetes với llm-d, Wasm và TornadoVM

Trang chủ InfoQ Podcast Suy luận LLM phân tán trên Kubernetes với llm-d, Wasm và TornadoVM AI, ML và Kỹ thuật Dữ liệu Suy luận LLM phân tán trên Kubernetes với llm-d, Wasm và TornadoVM Ngày 09/11/2026 Chương trình Podcast cùng Edoardo Vacchi thực hiện bởi Olimpiu Pop Thích Danh sách lưu đọc Trong chương trình này, chuyên gia Edoardo Vacchi trao đổi về xu hướng phát triển của WebAssembly ở tầng backend, việc vận hành khối lượng công việc Java trên GPU bằng TornadoVM, cùng giải pháp tối ưu hóa suy luận AI phân tán thông qua llm-d và vLLM trên nền tảng Kubernetes. Chuyên gia Edoardo phân tích phương thức llm-d quản lý tính cục bộ của bộ nhớ đệm (KV cache và prefix cache), định tuyến yêu cầu và suy luận theo lô trên các cụm Kubernetes nhằm tối đa hóa hiệu suất khai thác tài nguyên GPU. Nội dung trọng tâm Wasm đã phát triển thành môi trường thực thi backend phục vụ cơ chế đóng gói bảo mật (sandboxing), biên dịch đa ngôn ngữ và chuyển đổi khối lượng công việc giữa trình duyệt với các thiết bị đầu cuối. TornadoVM cho phép các nhà phát triển biên dịch và thực thi trực tiếp mã nguồn Java trên hạ tầng GPU, tạo điều kiện triển khai các dự án như mô hình Llama 3 tăng tốc bằng GPU được viết hoàn toàn bằng Java. Trong khi vLLM tối ưu hóa suy luận thông lượng cao trên một phiên bản đơn lẻ thông qua PagedAttention, llm-d mở rộng năng lực này trên các cụm Kubernetes để quản lý suy luận phân tán đa nút. Các bộ cân bằng tải truyền thống của Kubernetes làm giảm hiệu quả vận hành LLM; llm-d giải quyết vấn đề này bằng cách duy trì kết nối trên cùng một phiên bản để tận dụng ngữ cảnh hội thoại đã lưu tạm, đồng thời ngăn ngừa tình trạng quá tải tại các nút. llm-d áp dụng cơ chế suy luận theo lô trong thời gian cụm hệ thống nhàn rỗi và phân loại ngữ nghĩa nhằm định tuyến câu lệnh đến các mô hình có quy mô phù hợp, tiết kiệm chi phí mà vẫn bảo đảm tính riêng tư. Đăng ký theo dõi trên: Apple Podcasts YouTube Soundcloud Spotify Overcast Podcast Feed Suy luận LLM phân tán trên Kubernetes với llm-d, Wasm và TornadoVM Phát nội dung Phát Đơn vị tài trợ liên quan Nội dung trao đổi Olimpiu Pop: Xin kính chào quý độc giả, đây là phóng viên Olimpiu Pop của InfoQ. Khách mời hôm nay là ông Edoardo Vacchi, một trong hai chuyên gia người Italy thường xuyên nghiên cứu về các cấu trúc máy ảo lồng nhau (boxes inside of boxes). Chuyên gia còn lại là ông Andrea Peruffo. Ông Edoardo Vacchi đã có thời gian dài làm việc trong hệ sinh thái WebAssembly, từng nghiên cứu nhiều loại máy ảo (VM) khác nhau, và hiện đã trở lại làm việc tại Red Hat nhằm tối ưu hóa các giải pháp liên quan đến Kubernetes và suy luận mô hình (inference). Xin ông xác nhận thông tin này. Edoardo Vacchi: Thông tin trên là chính xác. Đây là công việc của một nhóm nghiên cứu, và chuyên gia này chỉ là một thành viên trong đó. Nhóm hiện tập trung vào mảng suy luận phân tán trên nền tảng Kubernetes thông qua dự án llm-d, thuộc hệ sinh thái các dự án vLLM. Việc quay trở lại Red Hat và tham gia phát triển các công nghệ tiên tiến nhất mang lại nhiều trải nghiệm tích cực. Thực trạng của WebAssembly trên hệ thống máy chủ (Backend) [01:35] Olimpiu Pop: Trước khi đi sâu vào trọng tâm công việc hiện tại, xin ông chia sẻ thêm về những diễn biến gần đây trong lĩnh vực WebAssembly. Được biết, bên cạnh việc phát triển WebAssembly trên nền tảng Java, ông cũng từng tham gia dự án Wazero. Edoardo Vacchi: Thông tin đó hoàn toàn chính xác. Olimpiu Pop: Xin ông tóm tắt ngắn gọn về tình hình hiện nay của lĩnh vực này. Với tốc độ phát triển nhanh chóng của WebAssembly, xin ông cho biết thực trạng hiện tại, những thay đổi nổi bật và các định hướng đáng chú ý trong thời gian tới. Edoardo Vacchi: Để cung cấp thông tin rõ ràng hơn cho quý độc giả, cần lưu ý rằng Wasm ban đầu được thiết kế dành cho các trình duyệt web. Tuy nhiên, trong vài năm gần đây, cộng đồng công nghệ đã dành sự quan tâm lớn đến việc vận hành công nghệ này ngoài môi trường trình duyệt, cụ thể là trên hệ thống backend nhằm thực thi các phần mềm độc lập. Theo hướng tiếp cận đó, Wasm có sự tương đồng nhất định về bản chất với máy ảo Java (JVM). Đây cũng là lý do các kỹ sư từng nghiên cứu JVM bắt đầu quan tâm tới Wasm. Quá trình phát triển của Wasm ghi nhận sự biến chuyển nhanh chóng ở một số khía cạnh, song cũng có những mặt tiến triển chậm hơn. Hiện nay, nhiều cuộc thảo luận đang tập trung vào mô hình thành phần (component model) – một hệ thống mô-đun hóa mới được xây dựng quanh WebAssembly. Đây có thể coi là lĩnh vực đang thu hút phần lớn các hoạt động phát triển hiện thời. Bối cảnh ứng dụng của WebAssembly trên hệ thống backend đã có nhiều thay đổi rõ nét trong những năm qua, song hành cùng sự chuyển dịch của toàn bộ bức tranh phát triển phần mềm. Hiện nay, công nghệ này vẫn giữ vai trò đặc biệt quan trọng và mang tính thực tiễn cao, thậm chí còn thiết thực hơn cả giai đoạn thu hút nhiều sự chú ý trước đây, bởi Wasm gắn liền trực tiếp với kỹ thuật tạo môi trường cô lập (sandboxing) – một lĩnh vực đang nhận được sự quan tâm hàng đầu hiện nay. Olimpiu Pop: Một điểm sáng đáng ghi nhận của WebAssembly đã được thảo luận vào đầu năm nay trong cuộc trao đổi với cộng đồng công nghệ ưu tiên dữ liệu cục bộ (local-first). Một điểm đáng chú ý là nhóm phát triển một thư viện chuyên dụng đã quyết định xây dựng thư viện này bằng ngôn ngữ Rust, thay vì triển khai trên nhiều ngôn ngữ lập trình khác nhau. Điều này cho phép nhóm biên dịch mã nguồn sang WebAssembly và sau đó tích hợp vào nhiều ngôn ngữ lập trình khác nhau thông qua WebAssembly. Giải pháp này đã mang lại kết quả rất khả quan cho nhóm phát triển. Đó chính là ưu thế vượt trội của WebAssembly. Tương tự, trong năm trước, các kỹ sư phụ trách hạ tầng cũng đã đề cập đến Fir ecracker. Đáng chú ý, theo thông tin được cung cấp, phần lớn thời gian, năng lực phần cứng trong các hệ thống máy chủ đều ở trạng thái nhàn rỗi. Do đó, tận dụng phần dung lượng nhàn rỗi này, hệ thống đã triển khai các máy WebAssembly quy mô rất nhỏ... hay chính là các container.