從鋼琴指法得到啟發(fā)把手語轉(zhuǎn)化成語音
王娜娜:
“后來我看家里的小朋友,學彈鋼琴,,老師說手指該用力的時候,,小朋友沒用力。我就問老師這怎么能看出來的,,老師說看肌肉的用力情況,肌肉沒有動指法肯定不對,。這點提醒了我,,我就上網(wǎng)查,有一種研究是戴著一個臂環(huán)來判斷小朋友的指法正確不正確,,我立馬就想到了手語,。”
不同的手指動作,,會觸動不同區(qū)域的小臂肌肉,,發(fā)出不一樣的肌肉電信號。受益于鋼琴臂環(huán)的啟發(fā),,王娜娜和黃爽打算也應(yīng)用這項技術(shù):將每個手語詞匯的肌肉電信號錄入系統(tǒng),,讓人工智能深度學習,再次遇見時,,識別和轉(zhuǎn)化成語音,,應(yīng)該并不難。在運動手環(huán),、智能手表普及的今天,,佩戴臂環(huán),也不會讓失語者顯得突兀,。然而,,想讓電腦準確識別一個手勢動作,,需要反復(fù)采集肌肉電信號上千次。
黃爽:
“我們兩人就成天不停地在那兒抬手放手,、抬手放手,。”
讓失語者像普通人一樣流利對話
一個多月時間,,王娜娜和黃爽對著手語教材,,完成30個手勢的錄入,每人至少重復(fù)比劃了一萬五千多次,。證實方案可行后,,她們將更多志同道合的朋友拉入團隊。如同八萬多個漢字,,只有3500字常用,,8000多個手語手勢,也只有一小部分被失語者熟知,。
經(jīng)過天津理工大學聾人工學院的推薦,,團隊決定先錄入400個常用的手語動作。盡管目前,,臂環(huán)只能逐個翻譯手語,,實現(xiàn)失語者像普通人一樣流利對話,也存在許多技術(shù)難題,,但她們相信,,隨著人工智能的成熟,這些都將迎刃而解,。