從鋼琴指法得到啟發(fā)把手語(yǔ)轉(zhuǎn)化成語(yǔ)音
王娜娜:
“后來(lái)我看家里的小朋友,,學(xué)彈鋼琴,,老師說(shuō)手指該用力的時(shí)候,小朋友沒(méi)用力,。我就問(wèn)老師這怎么能看出來(lái)的,,老師說(shuō)看肌肉的用力情況,肌肉沒(méi)有動(dòng)指法肯定不對(duì),。這點(diǎn)提醒了我,,我就上網(wǎng)查,有一種研究是戴著一個(gè)臂環(huán)來(lái)判斷小朋友的指法正確不正確,,我立馬就想到了手語(yǔ)?!?/p>
不同的手指動(dòng)作,,會(huì)觸動(dòng)不同區(qū)域的小臂肌肉,發(fā)出不一樣的肌肉電信號(hào),。受益于鋼琴臂環(huán)的啟發(fā),,王娜娜和黃爽打算也應(yīng)用這項(xiàng)技術(shù):將每個(gè)手語(yǔ)詞匯的肌肉電信號(hào)錄入系統(tǒng),讓人工智能深度學(xué)習(xí),,再次遇見時(shí),,識(shí)別和轉(zhuǎn)化成語(yǔ)音,應(yīng)該并不難,。在運(yùn)動(dòng)手環(huán),、智能手表普及的今天,,佩戴臂環(huán),也不會(huì)讓失語(yǔ)者顯得突兀,。然而,,想讓電腦準(zhǔn)確識(shí)別一個(gè)手勢(shì)動(dòng)作,需要反復(fù)采集肌肉電信號(hào)上千次,。
黃爽:
“我們兩人就成天不停地在那兒抬手放手,、抬手放手?!?/p>
讓失語(yǔ)者像普通人一樣流利對(duì)話
一個(gè)多月時(shí)間,,王娜娜和黃爽對(duì)著手語(yǔ)教材,完成30個(gè)手勢(shì)的錄入,,每人至少重復(fù)比劃了一萬(wàn)五千多次,。證實(shí)方案可行后,她們將更多志同道合的朋友拉入團(tuán)隊(duì),。如同八萬(wàn)多個(gè)漢字,,只有3500字常用,8000多個(gè)手語(yǔ)手勢(shì),,也只有一小部分被失語(yǔ)者熟知,。
經(jīng)過(guò)天津理工大學(xué)聾人工學(xué)院的推薦,團(tuán)隊(duì)決定先錄入400個(gè)常用的手語(yǔ)動(dòng)作,。盡管目前,,臂環(huán)只能逐個(gè)翻譯手語(yǔ),實(shí)現(xiàn)失語(yǔ)者像普通人一樣流利對(duì)話,,也存在許多技術(shù)難題,,但她們相信,隨著人工智能的成熟,,這些都將迎刃而解,。