Hội nghị PyTorch 2026: Google và Meta công bố mã nguồn mở TorchTPU nhằm hỗ trợ PyTorch nguyên bản trên TPU

Trang chủ InfoQ Tin tức Hội nghị PyTorch 2026: Google và Meta mở mã nguồn TorchTPU hỗ trợ PyTorch nguyên bản trên TPU AI, ML và Kỹ thuật Dữ liệu Hội nghị PyTorch 2026: Google và Meta mở mã nguồn TorchTPU hỗ trợ PyTorch nguyên bản trên TPU Ngày 25/10/2026 4 phút đọc bởi Andrew Hoblitzell Theo dõi chúng tôi trên Youtube 232.000 người theo dõi Linkedin 26.000 người theo dõi Instagram Mới RSS 19.000 người đọc X 57.100 người theo dõi Facebook 21.000 lượt thích Bluesky Mới Nghe bài viết này - 0:00 Âm thanh sẵn sàng phát Trình duyệt của bạn không hỗ trợ phần tử âm thanh. 0:00 0:00 Bình thường 1,25x 1,5x Thích Danh sách đọc Tại Hội nghị PyTorch Bắc Mỹ 2026 diễn ra ở San Jose, Google và Meta đã mở mã nguồn TorchTPU, một backend PyTorch nguyên bản dành cho các bộ xử lý TPU (Tensor Processing Unit) của Google. Kỹ sư phần mềm Zongwei Zhou của Meta cho biết trong phiên phát biểu định hướng ngày 21/10 rằng Meta, đơn vị sáng lập PyTorch vào năm 2016, có kế hoạch chuyển dịch các khối lượng công việc LLM quy mô lớn hơn sang TPU bằng công cụ này. TorchTPU thay thế PyTorch/XLA, cầu nối lazy-tensor từ năm 2020 mà theo thông cáo là "đòi hỏi phải can thiệp sửa đổi sâu vào mã nguồn". Backend mới hướng tới mục tiêu đơn giản hóa việc chuyển đổi mô hình, chỉ cần thay đổi từ model.to("cuda") sang model.to("tpu"). "Với TorchTPU, TPU cùng với GPU và CPU trở thành những lựa chọn nguyên bản cho PyTorch", Google Cloud nêu trong thông cáo do Bill Jia, Phó Chủ tịch phụ trách kỹ thuật mảng Core ML/AI, đồng tác giả. Ông Jia cùng ông Zhou đã trình bày bài tham luận "Khả năng hoán đổi khối lượng công việc trong kỷ nguyên Agentic: Đưa PyTorch nguyên bản lên Cloud TPU", tiếp nối hai phiên thảo luận định hình nhu cầu thị trường. Giám đốc điều hành PyTorch Foundation, ông Mark Collier, cho biết khối lượng công việc suy luận (inference) đã vượt qua đào tạo (training) để trở thành tác vụ lớn nhất tại các trung tâm dữ liệu, tạo ra "cơn khát token chưa từng có". Ông Collier khẳng định mục tiêu của cộng đồng là xây dựng phần mềm mã nguồn mở cho các mô hình có thể "vận hành trên bất kỳ chip nào, trên bất kỳ nền tảng đám mây nào và kết nối với bất kỳ agent nào". Các dữ liệu trình chiếu của Foundation cho thấy tốc độ biến động nhanh chóng của thị trường: mô hình Flash của DeepSeek giảm 60% chi phí trong 37 ngày, trong khi Kimi K3 vận hành nhanh hơn 68% trên cùng một phần cứng chỉ sau 33 ngày. Ông Mazin Gilbert, Giám đốc điều hành Agentic AI Foundation, cho biết mức tiêu thụ token của agent đã vượt mức tiêu thụ của con người vào ngày 6/2/2026. Kể từ thời điểm đó, chỉ số này đã tăng gấp 14 lần, so với mức tăng 2,8 lần của con người. "Về cơ bản, đồ thị này đang tăng vọt theo quỹ đạo hình gậy khúc côn cầu", ông Gilbert nhận định. Tuy nhiên, giới chuyên môn cần cân nhắc phạm vi đánh giá trước khi dẫn lại các số liệu trên, bởi nguồn dữ liệu công khai này chỉ xuất phát từ một nền tảng duy nhất là OpenRouter. Các diễn giả cho biết, do TorchTPU được tích hợp trực tiếp vào bộ điều phối cấp thấp (low-level dispatcher) của PyTorch, các mô hình của Hugging Face có thể tương thích và vận hành ngay lập tức. Các công cụ suy luận vLLM và SGLang hoạt động theo phương thức gốc (natively), trong khi TorchTitan hỗ trợ các mô hình dày đặc (dense), mô hình kết hợp chuyên gia (mixture-of-experts) và mô hình khuếch tán (diffusion) phục vụ huấn luyện quy mô lớn. Ray và llm-d cho phép mở rộng khối lượng công việc trên TPU giữa các máy chủ trong môi trường Kubernetes. Bốn kho lưu trữ mã nguồn mở đã được công bố bao gồm: TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU và TorchTitan. Ông Jia đã minh họa khả năng mở rộng gần như tuyến tính khi vượt mốc 8.000 chip TPU, với thông lượng trên mỗi chip được duy trì gần như không đổi khi quy mô cụm tăng lên. Kết quả công bố của Google bao gồm thử nghiệm mô hình kết hợp chuyên gia Qwen3 235B vận hành trên 8.192 chip TPU v7x, đạt 28% hiệu suất sử dụng FLOPs của mô hình. Thông báo cũng thẳng thắn thừa nhận việc chỉ thay đổi một dòng mã lệnh mới chỉ là bước khởi đầu: Người dùng chưa thể đạt hiệu suất TPU tối đa chỉ bằng thay đổi đơn giản đó, bởi cấu trúc hình dạng (shapes), cơ chế phân mảnh (sharding) và các phép toán (ops) của mô hình có thể đã được tối ưu hóa cho kiến trúc GPU; tuy nhiên, mô hình vẫn có thể vận hành được ngay. Giải pháp của Google cho khoảng cách tối ưu hóa này là sử dụng thêm các tác tử (agents). Kết thúc phiên trình bày, ông Jia đã công bố bộ công cụ tác tử TPU (TPU agent suite), hiện đang trong giai đoạn thử nghiệm trên GitHub, có khả năng tích hợp vào các khung lập trình để tự động hóa quy trình triển khai, chẩn đoán lỗi và tinh chỉnh hiệu năng. Ông Zhou cho biết đội ngũ phát triển PyTorch của Meta đã đồng phát triển TorchTPU cùng Google "nhằm biến TPU thành một mục tiêu gốc hạng nhất của PyTorch", xuất phát từ các yêu cầu thực tế trong sản xuất về hiệu năng, độ tin cậy và khả năng bảo trì. "Toàn bộ các giải pháp này đều là mã nguồn mở, đã sẵn sàng sử dụng từ hôm nay và đây mới chỉ là sự khởi đầu", ông Zhou nhấn mạnh. Bà Jana van Greunen, Giám đốc kỹ thuật PyTorch tại Meta, nêu rõ động lực phát triển trong thông cáo của Google Cloud: Tại Meta, việc thúc đẩy các giới hạn phát triển mới của AI đòi hỏi quy mô tính toán khổng lồ cùng sự đa dạng sâu rộng về phần cứng. Chúng tôi không thể bị ràng buộc bởi một kiến trúc phần cứng đơn lẻ. Không chỉ có Google, vào ngày 20/10, AWS cũng đã phát hành bản thử nghiệm công khai (public beta) của TorchNeuron, phần phụ trợ (backend) gốc của PyTorch dành cho các dòng chip Trainium, trong đó thay đổi duy nhất về mã lệnh là cú pháp .to('neuron'). Cả hai phần phụ trợ đều đăng ký thông qua PrivateUse1, điểm mở rộng của PyTorch dành cho phần cứng tùy chỉnh. Tuy nhiên, phiên bản phát hành đầu tiên của TorchNeuron vẫn còn những hạn chế: trang tin The Next Web cho biết công cụ này chưa hỗ trợ các hình dạng đầu vào động (dynamic input shapes) và bỏ qua khoảng 22.000 bài kiểm thử PyTorch. Trong một bài phân tích trên chuyên trang Forkast, chuyên gia Blair Hayes nhận định rằng sự ràng buộc nhà cung cấp không biến mất mà chỉ chuyển đổi hình thức: Dù điểm mở rộng của PyTorch mang lại một ngôn ngữ chung cho các nhà phát triển, song các tầng tối ưu hóa và chuỗi cung ứng vẫn nằm hoàn toàn dưới sự kiểm soát của nhà cung cấp. Trên diễn đàn Hacker News, nơi chủ đề ra mắt TorchTPU thu hút 379 điểm đánh giá, tâm lý hoan nghênh đan xen với những hoài nghi thực tế. Một người dùng bình luận: "Tôi vẫn nhớ những ngày tháng phải chật vật với XLA để vận hành PyTorch trên TPU, dường như cuối cùng chúng ta cũng có được sự hỗ trợ chính thức từ nhà phát triển gốc!". Những ý kiến khác đặt câu hỏi về việc có thể mua TPU ở đâu. Một bình luận từ người có công ty từng tìm hiểu giải pháp TPU tại chỗ (on-premises) của Google tỏ ra thận trọng hơn: "Chúng tôi đã đánh giá nhưng quyết định tiếp tục gắn bó với Nvidia, ít nhất là trong thêm một thế hệ nữa". Tính khả chuyển cũng là trọng tâm được nhấn mạnh bên ngoài phạm vi trung tâm dữ liệu. Trong phiên thảo luận về việc triển khai các chính sách điều khiển robot bằng ExecuTorch, ông Anthony Shoumikhin và ông Jacob Szwejbka thuộc Meta nhận định rằng các chính sách này có thể được duy trì hoàn toàn trong môi trường PyTorch, từ giai đoạn huấn luyện đến quá trình phát triển.