Litert.js, suy luận AI hiệu suất cao trên web của Google

LiteRT.js, suy luận AI hiệu suất cao trên web của Google - Google Developers Blog Ngày 9/7/2026 Ping Yu Kỹ sư phần mềm Marko Ristić Kỹ sư phần mềm Matthew Soulanille Kỹ sư phần mềm Chintan Parikh Giám đốc sản phẩm Chúng tôi vui mừng thông báo ra mắt LiteRT.js, một liên kết JavaScript của LiteRT để chạy AI trực tiếp trong trình duyệt web. Bằng cách đưa thư viện suy luận trên thiết bị đáng tin cậy LiteRT lên web, các nhà phát triển web giờ đây có thể chạy các mô hình học máy (ML) và AI với hiệu suất tối đa hoàn toàn cục bộ. Điều này có nghĩa là quyền riêng tư của người dùng được tăng cường, không tốn chi phí máy chủ và độ trễ cực thấp cho trải nghiệm thời gian thực. Đối với các nhà phát triển có các mô hình .tflite hiện có, LiteRT.js giúp việc triển khai lên trình duyệt web di động và máy tính để bàn mượt mà hơn bao giờ hết, đóng vai trò là một sự phát triển mạnh mẽ từ TensorFlow.js để thực thi các mô hình .tflite. Trong khi các giải pháp AI web trước đây như TensorFlow.js dựa vào các nhân (kernel) dựa trên JavaScript kém hiệu quả hơn, chúng tôi hiện đang cung cấp trực tiếp thời gian chạy đa nền tảng gốc với tất cả các tối ưu hóa của nó cho các nhà phát triển web thông qua WebAssembly. LiteRT.js mở khóa hiệu suất ấn tượng bằng cách chạy các mô hình .tflite của bạn trực tiếp trong trình duyệt, tận dụng khả năng tăng tốc phần cứng tiên tiến của LiteRT, bao gồm XNNPACK cho CPU, ML Drift cho GPU và WebNN sắp ra mắt cho NPU. Bản phát hành ban đầu của chúng tôi cung cấp tất cả các công cụ cần thiết để bắt đầu, bao gồm gói npm LiteRT.js mới và một bộ sưu tập các bản demo thể hiện việc triển khai trong thế giới thực. Xin lỗi, trình duyệt của bạn không hỗ trợ phát video này Tìm kiếm vector ngay trong trình duyệt, được hỗ trợ bởi LiteRT.js và EmbeddingGemma. Hãy thử tại đây. LiteRT.js mang lại lợi ích gì cho các nhà phát triển web Với LiteRT.js, các nhà phát triển web có thể tích hợp các mô hình vào ứng dụng của họ được viết bằng JavaScript hoặc TypeScript để xử lý các tác vụ phức tạp như tạo văn bản, phát hiện đối tượng và xử lý âm thanh hoàn toàn phía máy khách. Vì LiteRT.js chia sẻ một ngăn xếp đa nền tảng thống nhất với LiteRT, các ứng dụng web của bạn tự động hưởng lợi từ các bản nâng cấp hiệu suất, cải tiến lượng tử hóa và tối ưu hóa phần cứng mới nhất được phát triển cho Android, iOS và máy tính để bàn. Bằng cách tận dụng luồng hạ cấp và thời gian chạy của LiteRT, bạn có thể chuyển đổi mô hình đơn giản từ nhiều khung ML Python và tăng tốc phần cứng gốc trên tất cả các bộ tăng tốc chính (CPU / GPU / NPU). Để giúp bạn dễ dàng mở khóa các khả năng AI này, đây là những điểm nổi bật chính của LiteRT.js: 1. Chuyển đổi PyTorch và lượng tử hóa phù hợp Với LiteRT Torch, các mô hình PyTorch có thể được chuyển đổi chỉ trong một bước, sẵn sàng tận dụng khả năng tăng tốc phần cứng tiên tiến dựa trên trình duyệt. Hãy bắt đầu ngay hôm nay bằng cách làm theo hướng dẫn LiteRT Torch. Để tối ưu hóa hơn nữa, AI Edge Quantizer cho phép cấu hình các lược đồ lượng tử hóa phù hợp trên các lớp mô hình khác nhau. Điều này giúp giảm đáng kể kích thước và tăng hiệu suất trong khi vẫn giữ được chất lượng tổng thể của mô hình. Khám phá colab lượng tử hóa để xem điều này hoạt động như thế nào. 2. Tăng tốc phần cứng gốc trên CPU, GPU và NPU LiteRT.js cho phép suy luận AI hiệu suất cao cho nhiều loại phần cứng phụ trợ khác nhau. CPU: sử dụng XNNPACK, thư viện được tối ưu hóa cao của Google để tăng tốc CPU trên thiết bị, cung cấp hỗ trợ đa luồng mạnh mẽ và bản dựng SIMD được nới lỏng để tăng cường hiệu suất. GPU: được hỗ trợ bởi ML Drift, giải pháp hàng đầu của Google để tăng tốc GPU trên thiết bị. LiteRT.js tận dụng WebGPU để cho phép tăng tốc GPU tiên tiến trên web. NPU: khai thác API WebNN đang nổi (hiện đang thử nghiệm trong Chrome và Edge) để nhắm mục tiêu các NPU chuyên dụng nhằm suy luận hiệu quả năng lượng, độ trễ cực thấp. Sẵn sàng tăng tốc các ứng dụng web của bạn? Hãy tìm hiểu tài liệu LiteRT.js để bắt đầu. Tổng quan kiến trúc LiteRT.js Hiệu suất và tác động thực tế Để chứng minh tác động thực tế của thời gian chạy hợp nhất và các phần phụ trợ tăng tốc phần cứng, chúng tôi đã đánh giá LiteRT.js so với các giải pháp web hiện có. Trên các mô hình xử lý thị giác máy tính và âm thanh cổ điển, LiteRT.js mang lại tốc độ tăng đáng kể—vượt trội so với các thời gian chạy web khác lên đến 3 lần trên cả suy luận CPU và GPU. Lưu ý: Các điểm chuẩn hiệu suất được thực hiện trên Apple MacBook Pro 2024 với M4 Apple Silicon trong môi trường trình duyệt được kiểm soát. Hiệu suất của từng người dùng có thể khác nhau tùy thuộc vào khả năng GPU cục bộ, điều tiết nhiệt và tối ưu hóa trình điều khiển trình duyệt. Để chứng minh những tuyên bố này về hiệu quả trong thế giới thực, chúng tôi đã đánh giá các mô hình AI phổ biến bằng LiteRT.js trên ba phần phụ trợ thực thi web riêng biệt: CPU (qua XNNPACK), WebGPU và WebNN (qua Apple CoreML). Đối với các ứng dụng thời gian thực đòi hỏi khắt khe như theo dõi đối tượng, chuyển đổi âm thanh thành văn bản hoặc thao tác hình ảnh, việc tận dụng GPU hoặc NPU qua WebGPU hoặc WebNN mang lại tốc độ tăng từ 5-60 lần so với thực thi CPU tiêu chuẩn, đảm bảo độ trễ thấp hơn mà không ảnh hưởng đến hiệu suất. Lưu ý: Các điểm chuẩn hiệu suất được thực hiện trên Apple MacBook Pro 2024 với M4 Apple Silicon trong môi trường trình duyệt được kiểm soát. Hiệu suất của từng người dùng có thể khác nhau tùy thuộc vào khả năng GPU cục bộ, điều tiết nhiệt và tối ưu hóa trình điều khiển trình duyệt. Xem nó hoạt động Để xem LiteRT.js hoạt động, hãy khám phá o