Nhẫn AI trên ngón tay có thể giải thích ngôn ngữ ký hiệu

Một nghiên cứu mới cho thấy vòng điện tử được kết nối không dây với hệ thống AI có khả năng dịch nhiều ngôn ngữ ký hiệu thành văn bản. Ki Jun Yu, phó giáo sư kỹ thuật điện và điện tử tại Đại học Yonsei, Hàn Quốc, cho biết: “Tôi tin rằng đây là một bước quan trọng hướng tới việc làm cho hệ thống dịch ngôn ngữ ký hiệu trở nên thiết thực hơn, gọn nhẹ hơn và có thể sử dụng được trong môi trường thực tế”. Hơn 300 ngôn ngữ ký hiệu khác nhau được sử dụng trên toàn thế giới và nhiều dự án nghiên cứu đang phát triển các thiết bị dịch thuật để giao tiếp với những người không biết ngôn ngữ ký hiệu. Tuy nhiên, các dự án này đã gặp phải nhiều trở ngại. Ví dụ: một số dự án đã sử dụng máy ảnh và thuật toán thị giác máy tính để nhận dạng cử chỉ tay. Tuy nhiên, những điều này thường bị giới hạn ở các cài đặt được kiểm soát bằng camera cố định và rất nhạy cảm với các biến đổi ánh sáng cũng như các dạng nhiễu khác. Các thiết bị khác dựa vào cảm biến đeo được để phát hiện chuyển động của tay hoặc tín hiệu điện liên quan đến hoạt động của cơ. Tuy nhiên, một loại cảm biến đeo được phổ biến, găng tay thông minh, bị kẹt nhiệt và ẩm, khiến việc sử dụng kéo dài không thoải mái và các cảm biến cố định của chúng không tính đến các biến thể riêng lẻ về kích thước bàn tay, chiều dài ngón tay và vị trí khớp, làm giảm độ chính xác của chúng. Ngoài ra, các cảm biến đeo trên người thường phải kết nối với máy tính bằng dây dẫn, cản trở chuyển động của tay. Mặc dù một số cảm biến đeo được cuối cùng đã truyền dữ liệu không dây đến bộ xử lý bên ngoài, nhưng tất cả các cảm biến này thường vẫn được kết nối với cùng một bộ phát bằng dây dẫn. Sống tốt hơn nhờ mạng không dây Giờ đây, các nhà khoa học đã phát triển một bộ vòng điện tử mà mỗi vòng truyền chuyển động của chúng đến một thiết bị xử lý không dây. Việc sử dụng nhẫn thay cho găng tay cho phép định vị linh hoạt các cảm biến để giúp giải thích những biến đổi ở bàn tay con người. Các kết nối không dây cho phép chuyển động tay không hạn chế. Yu cho biết: “Bluetooth Low EnergySoC [hệ thống trên chip] đã đạt đến điểm mà toàn bộ hệ thống giao tiếp không dây, mạch quản lý nguồn và mô-đun cảm biến có thể nằm gọn trên một đế linh hoạt đủ nhỏ để đeo như một chiếc nhẫn”. Trong nghiên cứu mới, các nhà nghiên cứu đã kiểm tra xem mỗi ngón tay đóng góp bao nhiêu vào các dấu hiệu bàn tay và phát hiện ra rằng bảy ngón tay đóng vai trò quan trọng. Do đó, hệ thống của họ chỉ sử dụng bảy vòng để giảm số lượng phần cứng cần thiết. Mỗi vòng sử dụng gia tốc kế làm cảm biến quán tính. Chúng có thể phát hiện cả tư thế đứng yên và chuyển động của tay để giúp nắm bắt toàn bộ sự phức tạp của ngôn ngữ ký hiệu, thường liên quan đến sự chuyển đổi giữa các thành phần tĩnh và động. Ngoài ra, các nhà khoa học muốn tránh dựa vào tín hiệu điện sinh học, vốn có tính đặc hiệu cao đối với mỗi người và do đó cần phải hiệu chuẩn rộng rãi cho từng người dùng. Một thách thức trong việc phát triển những chiếc nhẫn này là độ tin cậy cơ học. Ban đầu, các nhà khoa học sử dụng các mối nối thẳng bằng đồng, chúng gần như bị gãy khi bị uốn cong nhiều lần. Họ chuyển sang sử dụng các mối nối có kiểu dáng ngoằn ngoèo có thể chịu được sự uốn cong lặp đi lặp lại. Một AI để hợp nhất các vòng Các nhà nghiên cứu cũng phát triển một hệ thống học sâu để nhận biết các dấu hiệu từ chuyển động của tay. Nó có thể xác định các dấu hiệu không chỉ từ hai người được sử dụng để đào tạo hệ thống mà còn từ năm người không tham gia giai đoạn đào tạo. Điều này cho thấy hệ thống mới có thể được sử dụng rộng rãi mà không đòi hỏi sự thích ứng tốn nhiều công sức của mỗi người dùng. Trong các thử nghiệm với 5 người không giúp đào tạo hệ thống, hệ thống mới có thể nhận dạng 100 ngôn ngữ ký hiệu phổ biến của Mỹ và 100 từ Ngôn ngữ ký hiệu quốc tế phổ biến với độ chính xác lần lượt là 88,3 và 88,5%. Ngược lại, hầu hết các nỗ lực trước đây trong hệ thống dịch ngôn ngữ ký hiệu đều bị giới hạn ở những từ vựng dưới 50 từ. Dosik Hwang, giáo sư kỹ thuật điện và điện tử tại Đại học Yonsei ở Hàn Quốc, cảnh báo: “Hai trăm từ là một tiến bộ có ý nghĩa so với các hệ thống không dây trước đây, nhưng nó vẫn chỉ là một phần nhỏ trong từ vựng ngôn ngữ ký hiệu đầy đủ, vốn có thể chứa hàng nghìn ký hiệu”. “Tôi muốn cẩn thận để không phóng đại những gì hệ thống hiện tại có thể làm trong cuộc trò chuyện từ vựng mở, trong thế giới thực.” Hệ thống mới không chỉ có khả năng nhận dạng các từ riêng biệt mà còn có thể dịch toàn bộ câu từ ký hiệu liên tục. Các nhà khoa học cho rằng điều này có thể giúp hỗ trợ việc giải thích theo thời gian thực. Về lâu dài, “mục tiêu của chúng tôi là làm cho hệ thống hoạt động với các thiết bị hàng ngày như điện thoại thông minh mà không cần Yu cho biết: “Những chiếc nhẫn có thể truyền không dây tín hiệu ngôn ngữ ký hiệu đến thiết bị di động, nơi chúng sẽ được dịch tự động và hiển thị theo thời gian thực. Điều này sẽ làm cho công nghệ trở nên di động hơn, dễ tiếp cận hơn và thiết thực hơn cho giao tiếp hàng ngày.” Tuy nhiên, “điều quan trọng nhất cần lưu ý là hệ thống của chúng tôi chuyển chuyển động của bàn tay thành văn bản,” Hwang nói. “Nó chưa nắm bắt được ngữ pháp khuôn mặt, cách nói, tư thế cơ thể hoặc cú pháp không gian, tất cả đều có ý nghĩa ngữ pháp trong ngôn ngữ ký hiệu.” Yu cho biết thêm, thách thức trong tương lai nằm ở việc kết hợp những thứ đó “vào một kiến trúc liền mạch, tiêu thụ ít năng lượng, duy trì tính chất kín đáo trong thiết kế hiện tại của chúng tôi”. Yu cho biết, mục tiêu tiếp theo của các nhà khoa học là đào tạo hệ thống với nhiều người hơn, vốn từ vựng lớn hơn cũng như nhiều phong cách ký hiệu và phương ngữ khu vực hơn. Ông nói thêm: “Với nguồn gốc thể chế của chúng tôi, Ngôn ngữ ký hiệu tiếng Hàn là bước đi tự nhiên tiếp theo”. Yu cho biết, các nhà nghiên cứu cũng hy vọng làm cho những chiếc nhẫn của họ có thể đeo cả ngày, thay vì gần 12 giờ, thông qua việc thu nhỏ hơn nữa và tối ưu hóa năng lượng. “Ưu tiên chính là di chuyển quy trình xử lý từ phần cứng bên ngoài [như máy tính xách tay] sang điện toán biên trên thiết bị [như điện thoại di động]. Quá trình chuyển đổi này không chỉ cần thiết cho tính di động thực sự mà còn để đảm bảo quyền riêng tư của người dùng và giảm độ trễ trong cuộc trò chuyện tự nhiên.” Hwang và các đồng nghiệp có kế hoạch hợp tác với các tổ chức cộng đồng người khiếm thính để phát triển thiết bị của họ: “Chúng tôi tin rằng công nghệ này sẽ