AWS ra mắt TorchNeuron cho phép chạy các mô hình PyTorch trên AWS Trainium mà không cần chỉnh sửa

Trang chủ InfoQ Tin tức AWS ra mắt TorchNeuron nhằm vận hành các mô hình PyTorch trên AWS Trainium mà không cần chỉnh sửa AI, ML và Kỹ thuật Dữ liệu AWS ra mắt TorchNeuron nhằm vận hành các mô hình PyTorch trên AWS Trainium mà không cần chỉnh sửa Ngày 09/11/2026 2 phút đọc Tác giả Sergio De Simone Theo dõi chúng tôi trên YouTube: 232.000 người theo dõi LinkedIn: 26.000 người theo dõi Instagram Mới RSS: 19.000 người đọc X: 57.100 người theo dõi Facebook: 21.000 lượt thích Bluesky Mới Nghe bài viết này - 0:00 Bản âm thanh đã sẵn sàng phát Trình duyệt của bạn không hỗ trợ thành phần âm thanh. 0:00 0:00 Chuẩn 1,25x 1,5x Thích Danh sách đọc Tại Hội nghị PyTorch Bắc Mỹ 2026 (PyTorch Conference North America 2026) vừa qua, Amazon đã giới thiệu TorchNeuron, một backend gốc của PyTorch cho phép các nhà phát triển vận hành mã nguồn PyTorch hiện có trên các chip AI AWS Trainium mà hầu như không cần chỉnh sửa mã. Bên cạnh việc giảm thiểu công sức kỹ thuật, TorchNeuron còn cho phép các doanh nghiệp chia sẻ năng lực phần cứng giữa các tác vụ huấn luyện và suy luận, tái phân bổ tài nguyên từ suy luận sang huấn luyện trong các khung giờ thấp điểm. Amazon cho biết chỉ cần một thay đổi cấu hình duy nhất là đủ để chuyển đổi phần cứng, loại bỏ yêu cầu phải viết lại và thẩm định lại mô hình khi chuyển sang Trainium. Hiện nay, 85% các nhà nghiên cứu và phát triển AI viết mã bằng PyTorch. Cho đến nay, phần cứng có thể chạy được các đoạn mã này còn hạn chế hơn nhiều so với chính các mã nguồn đó; việc mở rộng sang các dòng chip mới đồng nghĩa với việc phải viết lại và thẩm định lại những công trình đã mất nhiều tháng để hoàn thiện. Theo tài liệu kỹ thuật của TorchNeuron, khi tận dụng tính năng tự động nhận diện thiết bị của PyTorch thông qua torch.accelerator, thay đổi duy nhất cần thực hiện là chuyển từ .to('cuda') sang .to('neuron'). Backend này cũng hỗ trợ gốc cho quá trình huấn luyện phân tán và các API song song hóa của PyTorch, bao gồm DDP, FSDP2, DTensor cùng nhiều công cụ khác. Ngoài ra, TorchNeuron còn cung cấp hỗ trợ gốc cho các luồng và sự kiện Torch thông qua torch_neuronx.Stream và torch_neuronx.Event. Ông Colin Brace, Phó Chủ tịch Amazon Annapurna Labs, người đứng đầu nhóm phát triển TorchNeuron, nhấn mạnh rằng đội ngũ của ông đã thẩm định 100.000 mô hình phổ biến nhất cùng hơn 800 cấu trúc học máy (ML) nhằm bảo đảm trải nghiệm thuận lợi cho các nhà phát triển khi tiếp cận backend mới. Bên cạnh đó, TorchNeuron cho phép các nhà phát triển và nghiên cứu sử dụng Giao diện Nhân Neuron (Neuron Kernel Interface - NKI) để xây dựng, tối ưu hóa và thực thi các toán tử tùy chỉnh: Các nhà phát triển có thể kiểm soát hiệu năng chi tiết hơn ngoài các công cụ Adaptive Eager và torch.compile bằng cách gọi trực tiếp các nhân NKI tối quan trọng về hiệu năng trong mã mô hình, thay thế cho các chuỗi thao tác PyTorch tiêu chuẩn (toán tử ATen). Bình luận về thông báo của Amazon trên mạng xã hội LinkedIn, ông Yasuo Maeda, Tổng Giám đốc điều hành Liner Notes Consulting, nhận định: Thử thách thực sự sẽ là liệu các nhà phát triển có thể đạt được hiệu năng cạnh tranh và tổng chi phí sở hữu tối ưu trong môi trường vận hành thực tế hay không. Cuộc đua hạ tầng AI không chỉ dừng lại ở việc ai tạo ra những con chip tốt nhất, mà còn ở việc ai giúp chúng trở nên dễ sử dụng nhất ở quy mô lớn. Tương tự, người dùng Pratham pratham nhấn mạnh rằng, dù việc giảm rào cản chuyển đổi là yếu tố quan trọng để tránh phụ thuộc vào một nhà cung cấp phần cứng tăng tốc, thước đo thực sự lại nằm ở hiệu năng theo từng tác vụ cụ thể, chi phí trên mỗi token và khả năng tái lập kết quả. Amazon cũng nhấn mạnh rằng TorchNeuron đã được một số tổ chức ứng dụng, trong đó có Cartesia, đơn vị đang sử dụng công cụ này cho tác vụ suy luận AI giọng nói, và Viện Phát triển Não bộ Lieber (Lieber Institute for Brain Development), nơi đang nghiên cứu các ứng dụng trong việc xác định đích tác dụng của thuốc và phát minh thuốc mới. Thông báo của AWS về TorchNeuron xuất hiện ngay sau khi Google ra mắt TorchTPU, backend PyTorch gốc dành cho phần cứng TPU của hãng này. Thông tin tác giả Sergio De Simone Xem thêmThu gọn Đánh giá bài viết Mức độ ứng dụng Văn phong Đã liên hệ tác giả Nội dung này thuộc chủ đề AI, ML & Kỹ thuật Dữ liệu Các chủ đề liên quan: Phát triển phần mềm AI, ML & Kỹ thuật Dữ liệu AWS PyTorch Học máy Mô hình ngôn ngữ lớn Bài viết liên quan Nhà tài trợ liên quan Phổ biến trên InfoQ Uber xây dựng MCP Gateway nhằm quản lý quyền truy cập vào hơn 800 máy chủ và hơn 5.000 công cụ tác tử AI GitLab 19.5 đưa quy trình phát triển tác tử thành cấu phần được kiểm soát của nền tảng DevOps Điểm tin Java: TornadoVM 8.0, JNoSQL, Endive, JReleaser, JBang, LangChain4j, Quarkus Almanac LinkedIn ứng dụng OpenTelemetry để theo dõi hành trình thành viên từ thao tác chạm đến hệ thống phụ trợ (backend) Git Forge của Entire đổi mới mô hình cộng tác Git cho các tác tử lập trình Suy luận LLM phân tán trên Kubernetes với llm-d, Wasm và TornadoVM Nội dung liên quan Bản tin InfoQ Bản tin tổng hợp nội dung tuần qua trên InfoQ được gửi vào thứ Ba hằng tuần. Gia nhập cộng đồng hơn 250.000 lập trình viên cấp cao. Xem ví dụ Nhập địa chỉ email Chọn quốc gia Chọn một quốc gia Đồng ý để InfoQ.com xử lý dữ liệu theo nội dung quy định tại Thông báo về quyền riêng tư này. Bảo đảm quyền riêng tư của người dùng.