Google ra mắt LiteRT Tensor API phục vụ xây dựng, tùy chỉnh và tối ưu hóa các mô hình ML trên thiết bị

Trang chủ InfoQ Tin tức Google ra mắt LiteRT Tensor API phục vụ xây dựng, tùy biến và tối ưu hóa mô hình ML trên thiết bị Di động Google ra mắt LiteRT Tensor API phục vụ xây dựng, tùy biến và tối ưu hóa mô hình ML trên thiết bị Ngày 3/11/2026 2 phút đọc bởi Sergio De Simone Theo dõi chúng tôi trên YouTube 232.000 người theo dõi LinkedIn 26.000 người theo dõi Instagram Mới RSS 19.000 người đọc X 57.100 người theo dõi Facebook 21.000 lượt thích Bluesky Mới Nghe bài viết này - 0:00 Tệp âm thanh đã sẵn sàng phát Trình duyệt của bạn không hỗ trợ phần tử phát âm thanh. 0:00 0:00 Chuẩn1.25x1.5x Thích Danh sách bài đọc Google vừa giới thiệu LiteRT Tensor API, một giao diện lập trình ứng dụng (API) C++ gọn nhẹ, cho phép các nhà phát triển xây dựng, tùy chỉnh và tối ưu hóa các mô hình học máy trực tiếp để thực thi trên thiết bị. Theo Google, công cụ này kết hợp tính linh hoạt của việc khởi tạo mô hình gốc với khả năng tương thích đa nền tảng. Google cho biết, phương pháp truyền thống là các nhà phát triển tự viết các phép tính thủ công bằng C++ để đạt quyền kiểm soát tối đa, song điều này đi kèm một nhược điểm lớn: Các quá trình triển khai bị gắn chặt vào các hệ thống phụ trợ (backend) cụ thể (như Metal, OpenCL hoặc Vulkan) và phải viết lại cho từng mục tiêu phần cứng mới. Hơn nữa, việc quản lý khả năng tương tác và đồng bộ hóa bộ đệm không sao chép (zero-copy buffer) giữa CPU, GPU và NPU, đồng thời liên kết các khâu tiền xử lý, suy luận và hậu xử lý đòi hỏi nguồn lực kỹ thuật thủ công rất lớn. LiteRT Tensor API hướng tới giải quyết các thách thức này bằng cách cho phép các nhà phát triển xây dựng đồ thị tính toán theo từng phép toán bằng C++. Điều này mang lại khả năng kiểm soát tốt hơn đối với kiến trúc mô hình, việc tối ưu hóa và thực thi trên bộ tăng tốc, đồng thời cho phép cùng một đồ thị có thể vận hành thông qua LiteRT trên phần cứng CPU, GPU và NPU mà không cần viết lại cho từng mục tiêu mới. Ngoài việc cung cấp toàn quyền kiểm soát đối với các đồ thị mô hình, các khả năng then chốt khác của API này bao gồm nạp trọng số trực tiếp, cho phép các nhà phát triển tải trọng số trực tiếp từ các điểm kiểm tra (checkpoint), bao gồm các tệp .safetensors của Hugging Face; khả năng tương tác bộ đệm không sao chép, giúp tránh việc sao chép các bộ đệm tăng tốc qua các khâu tiền xử lý, suy luận và hậu xử lý; cùng khả năng tương thích với các tác tử lập trình AI (coding agent), vốn có thể xây dựng, chỉnh sửa, xác thực và đánh giá hiệu năng đồ thị mô hình bằng cách tạo mã C++. Google đã sử dụng một tác tử lập trình để xây dựng một ứng dụng thực tế, minh họa cách sử dụng LiteRT Tensor API cho việc phân đoạn và theo dõi đa đối tượng. Ứng dụng này cũng đóng vai trò là cơ sở để đo kiểm hiệu năng trên các nền tảng: "Chúng tôi đã chạy cùng một mã nguồn C++ cho mô hình SAM 2 trên GPU của ba thiết bị: một máy tính xách tay macOS (Metal), một điện thoại iOS (Metal) và một điện thoại Android (OpenCL). Trong các thử nghiệm trên MacBook Pro, mô hình vận hành nhanh hơn khoảng 1,5 lần so với Apple MLX (fp16, bộ mã hóa hình ảnh cùng bộ giải mã mặt nạ)." Google nhấn mạnh rằng tác tử lập trình có thể thực hiện nhiều tối ưu hóa nhờ vào việc đồ thị mô hình được định nghĩa bằng C++ thuần túy. Cụ thể, hệ thống "đã chuyển các quyết định trên từng khung hình của SAM 2, chẳng hạn như việc đối tượng còn hiển thị hay không, từ mã CPU vào trong đồ thị" và viết lại các phép toán vốn kích hoạt cơ chế dự phòng trên CPU của WebGPU bằng các phép số học tương thích với GPU. Bình luận về thông báo này trên mạng xã hội LinkedIn, Giám đốc mảng AI của Arm, ông Laurence Moroney nhấn mạnh rằng các nhà phát triển nên luôn bắt đầu bằng việc chuyển đổi mô hình và chỉ chuyển sang C++ API "khi cần kiểm soát ở cấp độ đồ thị hoặc muốn các khâu tiền và hậu xử lý duy trì trên bộ tăng tốc". Ông cũng nêu bật những lợi ích của việc định nghĩa đồ thị mô hình bằng C++ thuần túy: "Việc tăng từ dưới 10 lên hơn 30 khung hình/giây ở độ phân giải 512x512 trên WebGPU, với việc tác tử lập trình thực hiện quá trình lặp, cho thấy các cấu trúc nguyên thủy có tổ chức hỗ trợ các tác tử thực hiện công việc tối ưu hóa thực tế hiệu quả như thế nào." Google cũng đang nghiên cứu một số cải tiến theo kế hoạch, bao gồm hỗ trợ trực tiếp backend ML Drift, bổ sung các phép toán thân thiện với NPU, tự động lượng tử hóa toàn bộ đồ thị và mở rộng cấu trúc hình dạng động (dynamic-shape) cho các kích thước hình ảnh, kích thước lô (batch size) và độ dài chuỗi khác nhau. Về tác giả Sergio De Simone Xem thêmThu gọn Đánh giá bài viết này Mức độ ứng dụng Phong cách Đã liên hệ tác giả Nội dung này thuộc chủ đề Di động Các chủ đề liên quan: Phát triển phần mềm AI, ML & Kỹ thuật dữ liệu iOS Di động Mã nguồn mở Tác tử lập trình AI C++ Điện toán biên TensorFlow Android GPU Google Chuyên mục liên quan Đơn vị tài trợ liên quan Được quan tâm trên InfoQ File Mover Express: AWS phát hành công cụ mã nguồn mở phục vụ chuyển tệp S3 Báo cáo xu hướng năm 2026 về AI, ML và Kỹ thuật dữ liệu của InfoQ Anthropic nhận định không cần mô hình tư duy về Claude Code; các chuyên gia đang kiểm chứng điều này Đào tạo kiến trúc sư phần mềm: Đối thoại cùng Luca Mezzalira Uber xây dựng MCP Gateway nhằm quản trị quyền truy cập hơn 800 máy chủ và hơn 5.000 công cụ tác tử AI Điểm tin Spring: Ra mắt các bản ứng viên phát hành đầu tiên của Boot, Framework, Data, Security, Modulith, AI Nội dung liên quan InfoQ