IBM đưa bộ tăng tốc Spyre trở thành backend cấp một của PyTorch

Các mô hình và nền tảng AI IBM đưa Spyre Accelerator trở thành backend cấp một của PyTorch Xuất bản Ngày 26/10/2026 Tác giả Theo Nash, Tác nhân nghiên cứu AI phụ trách Hạ tầng và Năng lực tính toán AI Thêm Unite.AI vào các nguồn tin ưu tiên trên Google IBM cho biết trong một bài viết trên trang thông tin nghiên cứu IBM Research công bố ngày 26/10/2026 rằng, các bản cập nhật phần mềm được triển khai trên toàn bộ hệ sinh thái PyTorch trong nửa cuối năm 2026 đã đưa bộ tăng tốc luồng dữ liệu Spyre trở thành một backend chính thức của PyTorch, hoàn thành kế hoạch do IBM và PyTorch Foundation vạch ra vào tháng 10/2025. IBM mô tả Spyre là bộ tăng tốc AI luồng dữ liệu được tối ưu hóa cho tác vụ suy luận, được thiết kế cho các doanh nghiệp vận hành AI đồng thời với các ứng dụng và dữ liệu trên các hệ thống IBM Z, LinuxONE và Power. Năng lực tính toán với độ chính xác rút gọn của thiết bị tập trung vào các tác vụ xử lý ma trận khối lượng lớn trong các mô hình nhúng (embedding) và tạo ngôn ngữ. Khác với GPU truyền thống thực thi các nhân (kernel) dưới dạng luồng chỉ lệnh trên các nhóm luồng được lập lịch sẵn, Spyre kích hoạt tính toán ngay khi dữ liệu đến các công cụ xử lý. Bài viết nêu rõ, trong nửa cuối năm 2026, IBM, Red Hat và các đối tác trong PyTorch Foundation bao gồm Meta và Hugging Face đã đẩy mạnh các bản cập nhật hỗ trợ mô hình ngay từ giai đoạn đầu, các mô hình độc lập với phần cứng trong vLLM, quy trình kiểm thử hồi quy và phát hành liên tục, cùng khả năng tích hợp thiết bị gốc. Tại Hội nghị PyTorch 2025, trong bài đăng trên IBM Research ngày 21/10/2025, IBM cho biết doanh nghiệp dự kiến tăng cường ứng dụng Spyre trong năm 2026, đưa Spyre vận hành như một backend chính thức trong các quy trình suy luận mã nguồn mở, đồng thời tập trung vào các luồng trình biên dịch hợp nhất, tạo nhân tối ưu hóa và điều phối minh bạch trên nhiều bộ tăng tốc. Thời điểm đó, IBM đã chọn vLLM làm môi trường thực thi suy luận và torch.compile làm trình biên dịch giao diện để tích hợp các bộ tăng tốc như Spyre, đồng thời đóng góp một phần mềm mở rộng (plugin) Spyre cho vLLM nhằm kích hoạt cơ chế paged attention phục vụ suy luận mô hình ngôn ngữ lớn. Trình biên dịch được tái thiết lập trên nền tảng Inductor Trọng tâm của quy trình tích hợp là torch-spyre, một backend của PyTorch có nhiệm vụ biên dịch mã PyTorch tiêu chuẩn thành phương án thực thi cho Spyre. Phần lớn logic của mô hình được chuyển qua trình biên dịch PyTorch mà không thay đổi; khi một thao tác chưa thể hạ cấp (lower) hiệu quả, bộ điều hợp có thể thay thế thao tác đó bằng một dạng tương đương về mặt toán học mà trình biên dịch có thể xử lý. Trong bài viết của PyTorch Foundation công bố ngày 13/10/2026, các tác giả Dave Grove, Olivier Tardieu cùng Nhóm phát triển IBM Spyre đã mô tả việc chuyển đổi backend torch.compile của torch-spyre từ sendnn—ngăn xếp biên dịch được xây dựng hoàn chỉnh từ đầu—sang backend=inductor, một backend mã nguồn mở được phát triển bằng cách mở rộng nền tảng Inductor của PyTorch. Kết quả đo lường bằng công cụ phân tích mã nguồn lizard cho thấy, sendnn có tổng cộng khoảng 273.000 dòng mã C++ và Python trên 6.170 hàm; trong khi đó, phần mở rộng Inductor có khoảng 38.600 dòng mã Python trên 1.878 hàm, giúp giảm số dòng mã khoảng 7 lần và giảm độ phức tạp trên từng hàm. Spyre là bộ tăng tốc kết nối chuẩn PCIe với công suất 75 W, cấu thành từ 32 lõi nhỏ liên kết dạng vòng, mỗi lõi sở hữu bộ nhớ tạm (scratchpad) riêng dung lượng 2 MB thay vì sử dụng bộ nhớ đệm dùng chung, đồng thời truyền dữ liệu theo các khối cố định 128 byte gọi là "stick". Bài viết cho biết, quá trình phát triển trình biên dịch tập trung vào lưu chuyển dữ liệu theo kích thước stick, lập kế hoạch bộ nhớ tạm và phân bổ lõi tại thời điểm biên dịch. Các kết quả đo lường được công bố bao gồm mức giảm 29–69% thời gian xử lý nhân matmul nhờ các phương án phân mảng (tiling) và bố cục; thời gian trung vị của nhân softmax giảm từ 32,51 micro giây xuống 23,67 micro giây (giảm 27%) nhờ cơ chế điều phối thích ứng với bộ nhớ tạm; cùng với nhân kết hợp dạng MLP nâng mức sử dụng lõi từ khoảng hai phần ba lên xấp xỉ 80%, đồng thời giảm khoảng 17% thời gian chạy nhân. Trên một đồ thị tổng hợp được thiết kế nhằm kiểm tra giới hạn của các phương án kỹ thuật trên, giải pháp tái bố cục mới trên chip đã thay thế một thao tác kéo dài 80 micro giây... ... chu kỳ truy xuất bộ nhớ thiết bị với thao tác hoán vị (shuffle) giữa các lõi đạt 1,1 microgiây. Bài viết cũng lưu ý rằng yêu cầu của torch-spyre trong việc đăng ký các phân rã (decomposition) đặc thù cho thiết bị đã góp phần thúc đẩy các cải tiến đối với việc hỗ trợ backend Inductor độc lập (out-of-tree), vốn đã được sáp nhập vào bản phát hành chính thức của PyTorch 2.12 dưới dạng hai yêu cầu hợp nhất (pull request). Tích hợp thiết bị gốc Spyre trở thành một thiết bị PyTorch gốc thông qua cơ chế đăng ký PrivateUse1, mang lại cho câu lệnh tensor.to(“spyre”) một định danh thiết bị thực sự: bộ phân bổ bộ nhớ của PyTorch giữ các tensor thường trú trên thiết bị, các luồng (stream) cung cấp ngữ nghĩa thứ tự, và các sự kiện runtime kết nối các tác vụ phụ thuộc giữa các luồng. Bo mạch trang bị 32 lõi kết nối thông qua cấu trúc vòng (ring) băng thông cao, mỗi lõi có 2 MB bộ nhớ đệm cục bộ (scratchpad) và tối đa 128 GB bộ nhớ LPDDR5 cho các tensor cùng chương trình; môi trường thực thi hiện tại sẽ thực hiện vá chương trình khi khởi chạy, thay thế các địa chỉ tensor tượng trưng bằng địa chỉ thực theo ba bước tuần tự. Trong một thử nghiệm trên mô hình Granite 3.3 8B với kích thước lô (batch size) bằng 1 và độ dài chuỗi 1.024, nhóm nghiên cứu cho biết việc tách công đoạn dựng đồ thị khỏi tuyến truyền dữ liệu đã giúp cải thiện tốc độ prefill thêm 9,9% và decode thêm 13,6%. Việc loại bỏ hoàn toàn công đoạn này khỏi khâu điều phối tính toán cũng giúp tốc độ prefill nhanh hơn 1,7 lần và decode nhanh hơn 2,4 lần, với khoảng ba phần tư mức cải thiện bắt nguồn từ tuyến tính toán. “Thành công cốt lõi là cả Spyre lẫn PyTorch đều không phải đóng vai một nền tảng nào khác”, các tác giả nhận định trong bài viết “Building Spyre as a Native PyTorch Device” công bố ngày 8/10/2026, đồng thời cho biết thêm rằng Spyre vẫn duy trì mô hình thực thi luồng dữ liệu, trong khi người dùng được tiếp cận một thiết bị PyTorch gốc với cơ chế định vị tensor, luồng và biên dịch quen thuộc. Khả năng tương thích của vLLM và kết nối Llm-D Spyre là bộ tăng tốc ngoài nhánh chính (out-of-tree) thay vì là một trong các nền tảng GPU được phần mềm AI hỗ trợ phổ biến nhất; thiết bị phụ thuộc vào TorchDynamo để theo dấu (trace) đồ thị mô hình và TorchInductor để hạ cấp (lower) đồ thị đó cho phần cứng mục tiêu. Trong vLLM, các cơ chế mở rộng như CustomOp và PluggableLayer cho phép tiện ích phần cứng tùy biến hành vi mà không cần xây dựng lại phần lớn ngăn xếp phần mềm. Trong bài viết “Hardware-Agnostic Models in vLLM” được các tác giả từ IBM, Meta và Hugging Face công bố ngày 22/9/2026, nhóm nghiên cứu đã mô tả sự chuyển dịch của vLLM sang cấu trúc “phẳng (flat) đặc thù cho phần cứng