Google ML Drift tăng tốc suy luận AI trên thiết bị đối với nhiều dòng GPU khác nhau

Trang chủ InfoQ Tin tức Google ML Drift tăng tốc suy luận AI trên thiết bị đối với nhiều dòng GPU khác nhau Thiết bị di động Google ML Drift tăng tốc suy luận AI trên thiết bị đối với nhiều dòng GPU khác nhau Ngày 25/10/2026 2 phút đọc bởi Sergio De Simone Theo dõi chúng tôi trên Youtube 232 nghìn người theo dõi Linkedin 26 nghìn người theo dõi Instagram Mới RSS 19 nghìn độc giả X 57,1 nghìn người theo dõi Facebook 21 nghìn lượt thích Bluesky Mới Nghe bài viết này - 0:00 Âm thanh đã sẵn sàng phát Trình duyệt không hỗ trợ phần tử âm thanh. 0:00 0:00 Bình thường 1,25x 1,5x Thích Danh sách đọc Google đã phát hành ML Drift, một công cụ tính toán GPU đa nền tảng, mã nguồn mở, được thiết kế cho các tác vụ suy luận học máy và AI trực tiếp trên thiết bị. Được cấp phép theo chuẩn Apache 2.0, công cụ này giúp đơn giản hóa cấu trúc phức tạp của các phần cứng GPU và API cấp thấp khác nhau, đồng thời hỗ trợ OpenGL ES, OpenCL, Metal và WebGPU. ML Drift là công cụ tăng tốc GPU cốt lõi vận hành LiteRT. Bằng việc mở mã nguồn công cụ này, Google tạo điều kiện cho các nhà phát triển xây dựng môi trường đồ họa và suy luận tùy chỉnh cho nhiều ứng dụng, từ thị giác máy tính truyền thống, xử lý âm thanh, đo độ sâu cho đến AI tạo sinh. Một trong những mục tiêu chính của ML Drift là đơn giản hóa việc tiếp cận các phần cứng GPU đa dạng mà các nhà phát triển gặp phải khi xây dựng ứng dụng cho thiết bị biên. Các nhà phát triển hiện phải xử lý nhiều kiến trúc GPU, phiên bản trình điều khiển (driver) và API cấp thấp khác nhau, mà không thể biết trước ứng dụng sẽ chạy trên phần cứng cụ thể nào. Theo Google, ML Drift hướng tới thiết lập nền tảng mới về khả năng tương thích và hiệu năng, mang lại "sự ổn định cho học máy truyền thống và hiệu năng tối đa cho các mô hình AI tạo sinh tiên tiến nhất". Để đạt được mục tiêu này, ML Drift mang đến nhiều cải tiến kỹ thuật so với giải pháp TFLite GPU delegate tiền nhiệm, bao gồm cơ chế hợp nhất shader thông qua ảo hóa tensor, khả năng mở rộng các tác vụ tùy chỉnh và hỗ trợ tensor 5 chiều. Công cụ cũng tích hợp các giải pháp tối ưu hóa chuyên biệt cho GPU của Arm, Intel và Qualcomm Technologies nhằm "tối đa hóa hiệu suất sử dụng trên các dòng GPU hiện đại". ML Drift mở rộng hỗ trợ suy luận trên môi trường máy tính để bàn chạy Windows và Linux thông qua Dawn – bản triển khai WebGPU của Chromium, đồng thời vẫn duy trì hỗ trợ backend Metal gốc trên macOS. Dawn cung cấp mô hình API hợp nhất dựa trên lớp trừu tượng hóa phần cứng của WebGPU, loại bỏ yêu cầu phải can thiệp trực tiếp vào các API đồ họa đặc thù của từng nền tảng như DirectX và Vulkan. Google đã tiến hành đánh giá hiệu năng của ML Drift bằng các mô hình Gemma trên phần cứng máy trạm chuyên dụng và ghi nhận mức tiêu hao bộ nhớ thấp hơn 12% so với các framework khác, bao gồm llama.cpp và MLX LM. Tập đoàn này cũng nhấn mạnh ML Drift hiện đã được triển khai trên hàng triệu thiết bị thông qua các ứng dụng như Chrome, YouTube Shorts, Photos và Meet. Trên YouTube Shorts, ML Drift giúp giảm tới 40% độ trễ khung hình trung bình đối với các hiệu ứng phân đoạn hình ảnh trên Android và iOS. Trên Google Photos, công cụ rút ngắn quy trình xử lý ảnh điện toán và phân đoạn hình ảnh tới 2 giây. Adobe Lightroom và Photoshop ghi nhận hiệu năng cải thiện tới 30% ở một số tính năng chỉnh sửa ảnh tích hợp AI như Select Subject, Select Sky và Adaptive Portrait. Bên cạnh đó, Snapchat cũng giảm được 30% độ trễ mô hình đối với các hiệu ứng tạo phong cách và khuôn mặt ứng dụng học máy trên Android, tạo điều kiện vận hành các mô hình khuếch tán (diffusion) quy mô lớn hơn. Bình luận về thông báo này trên LinkedIn, kỹ sư AI/ML Pavithra Agraharam nhận định: Khả năng hỗ trợ trực tiếp tensor 5 chiều mà không cần can thiệp bố cục là một bước tiến lớn trong việc vận hành các mô hình không gian và transformer trên GPU của thiết bị biên. Việc tách rời các tensor logic khỏi phân bổ bộ nhớ vật lý sẽ giúp giảm đáng kể tình trạng phân mảnh bộ nhớ trong quá trình suy luận thực tế. Ông Matthew Charles Vladislav Busel, nhà sáng lập kiêm lập trình viên duy nhất của Tensorust, đặt câu hỏi về "khả năng so sánh với Core ML trên các dòng iPhone gần đây về độ trễ và dung lượng bộ nhớ, bởi đó là tiêu chuẩn triển khai thực tế của phần lớn các nhà phát triển hiện nay", dù phía Google chưa công bố số liệu đối chứng cụ thể. Cùng với việc phát hành ML Drift, Google sẽ dừng cập nhật công cụ TensorFlow Lite GPU delegate tiền nhiệm. ate. Để bảo đảm khả năng tương thích ngược với các mô hình hiện có, công ty khuyến nghị chuyển đổi sang bộ tăng tốc GPU LiteRT ML Drift. Các nhà phát triển ứng dụng có thể sử dụng bộ tăng tốc LiteRT ML Drift, trong khi các kỹ sư GPU và kỹ sư hệ thống có thể truy cập API C++ cấp thấp của công cụ này để xây dựng các đồ thị tính toán GpuModel tùy chỉnh và viết các shader tùy chỉnh. Thông tin tác giả Sergio De Simone Xem thêmThu gọn Đánh giá bài viết Mức độ ứng dụng Văn phong Đã liên hệ tác giả Nội dung thuộc chuyên mục Thiết bị di động Các chủ đề liên quan: Phát triển phần mềm AI, ML & Kỹ thuật dữ liệu Thiết bị di động Mã nguồn mở Các mô hình ngôn ngữ lớn (LLM) TensorFlow Điện toán biên Suy luận cục bộ Google Bài viết cùng chuyên đề Đơn vị tài trợ liên quan Được quan tâm trên InfoQ Nhà phát triển các phần mềm tương tự Adobe do AI tạo ra nhận định các ứng dụng này “còn lâu mới sẵn sàng” Google tối ưu hóa cơ sở mã Python 200.000 dòng của Agent Development Kit chỉ sau một đêm bằng Gemini 4 Argon Tương lai của ứng dụng web: Liệu các tác tử AI có tự động tạo giao diện người dùng theo thời gian thực? Cloudflare thu hồi 100 T