Google và Meta phát hành mã nguồn mở TorchTPU nhằm mang lại khả năng hỗ trợ PyTorch nguyên bản cho Google TPU

Trang chủ InfoQ Tin tức Google và Meta phát hành mã nguồn mở TorchTPU nhằm hỗ trợ PyTorch nguyên bản cho Google TPU AI, ML và Kỹ thuật Dữ liệu Google và Meta phát hành mã nguồn mở TorchTPU nhằm hỗ trợ PyTorch nguyên bản cho Google TPU Ngày 02/11/2026 2 phút đọc Tác giả: Sergio De Simone Theo dõi chúng tôi trên YouTube: 232.000 người theo dõi LinkedIn: 26.000 người theo dõi Instagram (Mới) RSS: 19.000 độc giả X: 57.100 người theo dõi Facebook: 21.000 lượt thích Bluesky (Mới) Nghe bài viết này - 0:00 Bản ghi âm đã sẵn sàng để phát Trình duyệt không hỗ trợ phần tử âm thanh này. 0:00 0:00 Chuẩn 1,25x 1,5x Thích Danh sách đọc TorchTPU là một dự án mã nguồn mở do Google hợp tác phát triển cùng Meta, cung cấp backend PyTorch gốc cho các bộ xử lý TPU của Google. Dự án này cho phép các khối lượng công việc PyTorch thực thi trên phần cứng TPU với sự điều chỉnh mã nguồn ở mức tối thiểu, hỗ trợ cả cơ chế thực thi eager và compiled, tính toán phân tán cùng các tối ưu hóa đặc thù theo phần cứng. Google bắt đầu hỗ trợ các khối lượng công việc PyTorch vận hành trên TPU từ năm 2020 thông qua PyTorch/XLA, công cụ vốn tận dụng JAX, XLA và lazy tensor. Theo Google, phương pháp tiếp cận này tồn tại nhiều hạn chế đáng kể: Cụ thể, PyTorch/XLA đòi hỏi việc can thiệp sâu vào mã nguồn nhằm xác định rõ các vùng có thể biên dịch, gặp phải độ trễ biên dịch nghiêm trọng, thiếu hỗ trợ cho chế độ thực thi mệnh lệnh gốc ("eager") của PyTorch, đồng thời chậm thích ứng với các cấu trúc tính toán phân tán mới xuất hiện trong hệ sinh thái PyTorch. TorchTPU áp dụng một cách tiếp cận hoàn toàn khác biệt khi đặt chế độ thực thi eager làm ưu tiên hàng đầu, cho phép các khối lượng công việc PyTorch hiện có vận hành mà chỉ cần thay đổi rất ít mã nguồn. Cụ thể, quá trình chuyển đổi từ GPU sang TPU chỉ cần thay thế thiết bị cuda bằng tpu và backend phân tán nccl bằng tpu_dist. Ngoài ra, các nhà phát triển có thể sử dụng API mới torch.accelerator.current_accelerator để xác định bộ tăng tốc khả dụng, như thể hiện trong đoạn mã sau: import torch import torch.distributed as dist def main(): device = torch.device("cuda") # -> device = torch.accelerator.current_accelerator dist.init_process_group(backend="nccl") # -> dist.init_process_group() rank = dist.get_rank() word_size = dist.get_world_size() ... model = model.to(device) ... TorchTPU hỗ trợ ba chế độ thực thi eager: strict, debug và DeferAndFuse. Trong đó, DeferAndFuse là chế độ thực thi lai mới giữa eager và compiled mà theo tuyên bố của Google là "có thể nhanh hơn từ 50% trở lên so với Strict Eager, đồng thời giảm mức tiêu thụ bộ nhớ HBM đỉnh". Nhằm kiểm chứng khả năng chạy các mô hình PyTorch hiện có mà không cần chỉnh sửa của TorchTPU, Google đã xây dựng một quy trình tích hợp để đánh giá khoảng 5.000 mô hình trên Hugging Face thuộc hơn 500 cấu trúc khác nhau ở cả hai chế độ eager và compiled, trên các thế hệ phần cứng TPU từ v5e trở đi. Chúng tôi áp dụng một phương pháp kiểm thử chặt chẽ dựa trên việc phân tầng tập dữ liệu và lựa chọn cấu trúc cân bằng. Cách tiếp cận của chúng tôi dựa vào quy trình tuyển chọn hai cấp độ nhằm cân đối giữa mức độ ứng dụng thực tế với sự đa dạng cấu trúc trên diện rộng, tránh kiểm thử trùng lặp các biến thể nhỏ trong khi vẫn bảo đảm các trọng số vận hành thực tế được đánh giá toàn diện. Để xác thực hiệu năng của TorchTPU, Google đã vận hành thử nghiệm mô hình Muse Glimmer quy mô 30 tỷ tham số được triển khai trên nền tảng PyTorch tiêu chuẩn. Trên một chip TPUv7 đơn lẻ, thông lượng suy luận đạt 25,7 nghìn token/giây với độ dài chuỗi 5.120 và đạt 22,4 nghìn token/giây với độ dài chuỗi 10.240. Đối với tác vụ huấn luyện sử dụng bốn chip TPUv7, thông lượng lần lượt đạt 5,6 nghìn token/giây và 4,6 nghìn token/giây ở các độ dài chuỗi tương ứng là 5.120 và 10.240. Google cũng tiến hành các thử nghiệm huấn luyện với mô hình Qwen3 MoE 235B, mở rộng quy mô từ 1.024 lên 8.192 chip TPUv7. Đối với tác vụ suy luận, Google ghi nhận tỷ lệ hiệu năng trên chi phí có tính cạnh tranh cao cho các khối lượng công việc MoE quy mô lớn khi sử dụng vLLM. Bình luận về thông báo này, người dùng tingkuanpei trên diễn đàn Hacker News nhận định: Đây là một bước tiến rất đáng chú ý. Google lẽ ra nên triển khai việc này từ lâu, bởi hệ sinh thái của PyTorch thực sự rất phong phú. Nhiều người dùng khác cũng chỉ ra rằng bên cạnh việc cung cấp TPU thông qua GCP, Google còn bán các thiết bị này cho "khách hàng doanh nghiệp để triển khai tại hạ tầng nội bộ", điều mà trong đó bao gồm Anthropic và có khả năng Meta sẽ tham gia trong tương lai. TorchTPU hiện vẫn đang ở giai đoạn đầu và liên tục được hoàn thiện. Lộ trình của dự án bao gồm các hạng mục về dynamic shapes, hiệu năng biên dịch, phạm vi hỗ trợ toán tử, học tăng cường (reinforcement learning) và lượng tử hóa (quantization). Để biết thêm thông tin chi tiết, có thể tham khảo thông báo gốc nhằm có cái nhìn toàn diện hơn về kiến trúc cũng như quy mô của TorchTPU. Về tác giả Sergio De Simone Xem thêmThu gọn Đánh giá bài viết Khả năng ứng dụng Văn phong Đã liên hệ tác giả Nội dung này thuộc chủ đề AI, ML & Kỹ thuật dữ liệu Các chủ đề liên quan: Phát triển phần mềm AI, ML & Kỹ thuật dữ liệu Mã nguồn mở Mô hình ngôn ngữ lớn (LLM) Tác tử AI (Agents) Google PyTorch Facebook GPU Bài viết biên tập liên quan Nhà tài trợ liên quan Phổ biến trên InfoQ Báo cáo Xu hướng AI, ML và Kỹ thuật dữ liệu năm 2026 của InfoQ Anthropic nhận định không cần xây dựng mô hình nhận thức về Claude Code, giới chuyên môn đang tiến hành kiểm chứng