Google AI 演算法讓手機APP可以辨識手語,並且朗讀出來

谷歌表示,它的人工智慧技術讓智慧型手機能夠解讀和「朗讀」手語。這家科技巨頭還沒有開發出自己的APP,但已經發佈了演算法,它希望開發者可以利用這些演算法開發出自己的APP。在此之前,這類軟體只能在個人電腦上使用。

 

來自聽力受損社群的活動人士對該舉表示歡迎,但他們表示,這項技術可能會難以完全掌握部分對話內容。

在人工智慧部落客上,谷歌的兩位研究工程師瓦倫丁‧巴扎列夫斯基(Valentin Bazarevsky)和Fan Zhang稱,這項免費公開的技術旨在成為「理解手語的基礎」。它是與圖像軟體公司MediaPipe合作打造而成的。

「我們很期待開發者會產生什麼樣的點子。就我們而言,我們將繼續展開我們的研究,以使得這一技術變得更加強大,進一步穩定對手語手勢的跟蹤,增加我們可以可靠地檢測到的手勢的數量。」谷歌的發言人向媒體表示。

谷歌坦言這是第一步。活動人士指出,僅僅依靠手勢產生語音的APP,可能會忽略掉任何的臉部表情或做手勢的速度,而這些因素可能會影響對實際手語意思的理解。

此外,該技術不會將任何存在於局部地區的地域性因素納入考慮。

Google AI 演算法讓手機APP可以辨識手語,並且朗讀出來

該演算法可以跟蹤兩隻手

聽力損失行動(Action on Hearing Loss)的技術經理傑塞爾‧維什努拉姆(Jesal Vishnuram)說道,這項計畫在聽到耳聾者的「聲音」上是一個良好的開端,但還需要配套其它的一些功能。

他說,「站在耳聾者的角度來看,開發一種軟體將文本或音訊自動翻譯成手語,以幫助他們的日常溝通,減少其在聽覺世界中的孤獨感,會更加有益。」

被遮擋的手指

過往,當這類技術試圖在視頻中追蹤手部動作的時候,手指的彎曲和手腕的擺動會遮蓋住手其他的部分,因此無法全面進行追蹤。這是這類軟體的早期版本的一個痛點。

而谷歌的技術則能夠在手指、手掌和手背上的21個3D點位上繪製出一個圖形,這樣當手和手臂彎曲或兩根手指接觸時,就能更容易理解手勢。

美國其他的大型軟體供應商也開發了一些技術,來嘗試在個人電腦上解讀手語。去年,微軟與美國國家聾人工學院展開合作,為教室配置桌上型電腦,然後透過即時翻譯員幫助有聽力障礙的學生。

Google AI 演算法讓手機APP可以辨識手語,並且朗讀出來

在一篇部落客中,學生們描述了他們之前錯過了一些教授說過的話,因為他們在上課時無法同時查看人工手語翻譯和教授在黑板上寫的東西,得在二者之間來回轉移注意力。

但是透過讓電腦桌面顯示所有要查看的訊息,這一問題便得到解決。

在世界的其他地方,創新者們也已經創造了他們自己的本土技術。

肯亞的一名25歲的開發人員研製出了一副觸覺手套,它可以為一款Android APP翻譯手語,然後該APP會將對應的文本朗讀出來。該款手套是羅伊‧阿萊拉(Roy Allela)專門為他聽力受損的姪女打造的,他的這一發明最近獲得了美國機械工程師協會的獎項。

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則