在线欧美精品国产综合五月_国产精品免费久久久久影院_国产精品久久久久无码av_a级毛片黄免费a级毛片

首頁(yè) > 科技 > 正文

清華團(tuán)隊(duì)推出新穎唇語(yǔ)解讀系統(tǒng) 測(cè)試準(zhǔn)確率可達(dá)94.5%

2022-04-06 08:43:16來源:科技日?qǐng)?bào)   

人說話時(shí)嘴唇動(dòng)作跟語(yǔ)音同步,可以通過識(shí)別唇動(dòng)信息進(jìn)行語(yǔ)言信息交流。唇語(yǔ)對(duì)講話者友好,但是對(duì)解讀唇語(yǔ)的聽眾來說卻并不輕松,唇語(yǔ)解讀一直以來是個(gè)難題,掌握唇語(yǔ)解讀技能的成本較高。

據(jù)了解,為降低唇語(yǔ)解讀難度,現(xiàn)有技術(shù)手段常采用磁場(chǎng)、視覺圖像、超聲波等方法。以最流行的非接觸式視覺圖像方法為例,其唇語(yǔ)識(shí)別準(zhǔn)確率較高,但依然容易受到面部角度、光強(qiáng)、頭動(dòng)和遮擋等因素干擾。特別是在此次新冠病毒流行期間,佩戴的口罩給基于視覺的唇動(dòng)解讀帶來全新挑戰(zhàn)。因此,通過直接捕捉面部肌肉細(xì)微動(dòng)作解讀唇語(yǔ)技術(shù)具有重要的科學(xué)研究?jī)r(jià)值與廣闊的應(yīng)用前景。

如果在不久的將來,嘴唇掀動(dòng)——“開門”,也許電子門禁能秒懂,馬上識(shí)別身份并解鎖;與汽車對(duì)話——“左拐”,或許可控制車的方向逐漸向目標(biāo)移動(dòng);對(duì)于聲帶、喉舌損傷的失聲人群,唇語(yǔ)可能將是一種不占用雙手的、日常無(wú)障礙交流的有效方式......

這些想法,在近日清華大學(xué)機(jī)械工程系智能與生物機(jī)械團(tuán)隊(duì)推出一種新穎的唇語(yǔ)解讀系統(tǒng)之后,將很有可能夢(mèng)想成真。相關(guān)研究成果發(fā)表在最新的《自然·通訊》期刊上。

據(jù)了解,這項(xiàng)技術(shù)的主要試驗(yàn)和測(cè)試工作由清華機(jī)械工程系智能與生物機(jī)械實(shí)驗(yàn)室完成,中科院納米能源與系統(tǒng)研究所的王中林院士對(duì)整個(gè)科研工作過程進(jìn)行建議和指導(dǎo)。

那么,究竟這項(xiàng)唇語(yǔ)解讀系統(tǒng)的新穎之處何在?“這個(gè)基于深度學(xué)習(xí)輔助自供電柔性傳感器的唇語(yǔ)解讀技術(shù),目標(biāo)是解決聲帶、喉舌損傷失聲人群的日常無(wú)障礙交流問題,其不占用雙手,不受面部角度、光強(qiáng)、遮擋和頭動(dòng)等外部因素的干擾,新穎之處在于開發(fā)自供電的柔性傳感器(靈敏度0.61183 V/kPa)采集肌肉的微小動(dòng)作信號(hào),并采用基于原型學(xué)習(xí)的深度學(xué)習(xí)模型,使用較少的數(shù)據(jù)訓(xùn)練,測(cè)試準(zhǔn)確率可達(dá)94.5%,實(shí)現(xiàn)即時(shí)捕捉失聲人群的唇動(dòng)并轉(zhuǎn)譯成語(yǔ)音,可用于失聲人群的日常無(wú)障礙語(yǔ)音交流。”3月29日,該論文第一作者、清華大學(xué)機(jī)械工程系智能與生物機(jī)械團(tuán)隊(duì)助理研究員路益嘉在接受科技日?qǐng)?bào)記者采訪時(shí)表示。

這個(gè)唇語(yǔ)解讀系統(tǒng)是否會(huì)運(yùn)用大數(shù)據(jù)、人工智能等技術(shù),突破的技術(shù)瓶頸是什么?路益嘉答道,“實(shí)現(xiàn)對(duì)唇動(dòng)信號(hào)的識(shí)別需要用到人工智能技術(shù)和機(jī)器學(xué)習(xí)算法。在實(shí)際測(cè)試中發(fā)現(xiàn),由于不同人的面部骨骼肌肉、肌肉運(yùn)動(dòng)形式、肌肉動(dòng)作先后順序和習(xí)慣語(yǔ)速等存在不同,即使是同一個(gè)詞和同一句話,采集到的信號(hào)也有區(qū)別,為了得到通用的可以接受的測(cè)試準(zhǔn)確率,需要采集海量的數(shù)據(jù)進(jìn)行模型訓(xùn)練。然而,這樣的成本偏高。”

據(jù)介紹,研究人員沒有采用訓(xùn)練通用模型的技術(shù)路線,而是采用訓(xùn)練個(gè)性化的小樣本量數(shù)據(jù)模型的方法,即對(duì)每個(gè)人的每個(gè)詞(或每句話)分別采集小樣本量(相對(duì)海量數(shù)據(jù)而言)的數(shù)據(jù)進(jìn)行模型訓(xùn)練,考慮到每人說話的唇動(dòng)都具有獨(dú)特的習(xí)慣特征,這樣訓(xùn)練出的模型缺少通用性但更有針對(duì)性,而不考慮通用性的要求降低模型對(duì)訓(xùn)練數(shù)據(jù)量的需求,小樣本量也能得到可接受的測(cè)試準(zhǔn)確率。研究人員使用基于原型學(xué)習(xí)的空洞循環(huán)神經(jīng)網(wǎng)絡(luò),來減少模型對(duì)訓(xùn)練樣本量的需求。例如,在測(cè)試中對(duì)20個(gè)常用水果名稱的唇動(dòng)信號(hào)進(jìn)行分類訓(xùn)練,每個(gè)水果名稱的唇動(dòng)信號(hào)選取100個(gè)樣本,測(cè)試準(zhǔn)確率達(dá)94.5%。

這項(xiàng)研究將在哪些領(lǐng)域應(yīng)用,發(fā)揮作用?“該研究通過自供電傳感器采集唇動(dòng)微動(dòng)信號(hào),并使用深度學(xué)習(xí)模型將信號(hào)識(shí)別為有含義的語(yǔ)音信號(hào)或文字信號(hào),比較適合服務(wù)失聲人群,在日常生活交流中可恢復(fù)失聲人群的基本語(yǔ)音交流能力,并保留失聲前的說話習(xí)慣。”路益嘉表示。

此外,其還可應(yīng)用于個(gè)人身份識(shí)別。研究人員制作出一個(gè)唇動(dòng)指令開門的應(yīng)用演示。由于該方法融合特定密碼口令的靜態(tài)特征和個(gè)人特殊的唇部動(dòng)態(tài)特征,可以實(shí)現(xiàn)雙重特征驗(yàn)證,特別是戴口罩不發(fā)聲說密碼的方式可進(jìn)一步提升系統(tǒng)安全性,適用于安全驗(yàn)證要求較高的場(chǎng)合。

該研究成果還可用于人機(jī)交互的研究。研究人員制作出一個(gè)唇動(dòng)信號(hào)控制模型車運(yùn)動(dòng)方向的應(yīng)用演示,通過檢測(cè)唇動(dòng)發(fā)出的方向指令,機(jī)器模型車可改變行進(jìn)方向。這為現(xiàn)有人機(jī)交互方案提供了新的可能性。(華凌)

責(zé)任編輯:hnmd003

相關(guān)閱讀

相關(guān)閱讀

精彩推送

推薦閱讀

在线欧美精品国产综合五月_国产精品免费久久久久影院_国产精品久久久久无码av_a级毛片黄免费a级毛片

      
      

        美女精品自拍一二三四| 成人精品视频一区二区三区| 99精品久久只有精品| 亚洲乱码国产乱码精品精可以看| 欧美亚洲国产怡红院影院| 国产三级一区二区| 亚洲h在线观看| 99精品桃花视频在线观看| 久久99国产精品免费| 久久美女高清视频| 91久久线看在观草草青青| 国产欧美一区二区三区在线看蜜臀| 婷婷久久综合九色综合绿巨人 | 一区二区三区**美女毛片| 国产麻豆视频精品| ㊣最新国产の精品bt伙计久久| 欧美群妇大交群中文字幕| 亚洲四区在线观看| 国产成人在线电影| 一区二区三区欧美日韩| 欧美不卡123| 视频一区视频二区在线观看| 久久综合九色综合97婷婷| 日本韩国一区二区| 欧美韩国日本综合| 亚洲成在线观看| 欧美精品一区二区在线观看| 日韩专区中文字幕一区二区| 久久一区二区视频| 欧美视频在线不卡| 亚洲激情男女视频| 99精品视频在线免费观看| 色激情天天射综合网| 国产精品电影院| 大胆欧美人体老妇| 五月天丁香久久| 综合久久久久综合| thepron国产精品| 91成人看片片| 一级女性全黄久久生活片免费| 99re热视频这里只精品| 欧美性xxxxx极品少妇| 一区二区三区久久| 久久一夜天堂av一区二区三区| 欧美日韩国产首页| 亚洲bt欧美bt精品777| 国产精品视频一二| 久久综合九色综合97婷婷女人| 久久精品国产免费| 一区二区免费在线| 国产精品国产精品国产专区不蜜 | 亚洲一区影音先锋| 91麻豆免费在线观看| 欧美日韩国产高清一区二区三区 | 国产精品色哟哟网站| 国产a久久麻豆| 欧洲色大大久久| 偷窥少妇高潮呻吟av久久免费| 中文字幕av一区二区三区免费看 | 欧美色电影在线| 图片区小说区区亚洲影院| 国产精品久久久久久久久快鸭| 精品国产伦一区二区三区观看方式 | 成人欧美一区二区三区| bt7086福利一区国产| 欧美丰满少妇xxxxx高潮对白| 天堂av在线一区| 一区二区三区高清在线| 国产精品久久久久aaaa| 久久色中文字幕| 26uuu色噜噜精品一区二区| 国内精品伊人久久久久影院对白| 一本到高清视频免费精品| 亚洲地区一二三色| 亚洲女同ⅹxx女同tv| 亚洲天堂2016| 国产精品国产三级国产aⅴ无密码 国产精品国产三级国产aⅴ原创 | 亚洲欧美色一区| 中文字幕巨乱亚洲| 国产日韩欧美综合一区| 91丨九色丨蝌蚪丨老版| 欧美大片在线观看| 国产99精品国产| 欧美麻豆精品久久久久久| 久久成人18免费观看| 在线观看日韩国产| 蜜臀av性久久久久蜜臀av麻豆| 亚洲高清视频中文字幕| 午夜视频一区在线观看| 亚洲二区在线观看| 午夜天堂影视香蕉久久| 国产一区二区精品久久| 欧美三级中文字幕| 久草在线在线精品观看| 欧美午夜精品免费| 国产在线不卡视频| 欧美理论电影在线| 国产传媒日韩欧美成人| 欧美一区二区三区成人| 国产ts人妖一区二区| 日韩美一区二区三区| 成人久久久精品乱码一区二区三区 | 亚洲午夜视频在线| 日韩精品一二三| 色婷婷综合视频在线观看| 日本欧美肥老太交大片| 香蕉久久一区二区不卡无毒影院| 日韩电影一二三区| 在线免费一区三区| 国产美女精品一区二区三区| 91精品综合久久久久久| 成人avav影音| 欧美极品美女视频| 国产精品三级av在线播放| 亚洲精品日产精品乱码不卡| 一区二区三区不卡在线观看 | 国产精品乱码妇女bbbb| 亚洲激情在线激情| 亚洲午夜成aⅴ人片| 蜜臀久久久99精品久久久久久| 欧美亚日韩国产aⅴ精品中极品| 精品一区二区三区免费| 欧美一区二区高清| 久久综合五月天婷婷伊人| 国产精品青草久久| 一区二区三区中文字幕电影| 天天影视涩香欲综合网| 欧美无砖专区一中文字| 高清在线成人网| 国产欧美一区二区精品秋霞影院| 国产精品毛片无遮挡高清| 亚洲午夜在线视频| 精品视频999| 99re成人在线| 亚洲免费在线观看| 色婷婷综合中文久久一本| 国产福利一区二区三区视频在线 | 亚洲成人精品影院| 国产一区二区三区蝌蚪| 久久众筹精品私拍模特| 亚洲天堂a在线| 九九视频精品免费| 欧美大胆一级视频| 国产精品乱码人人做人人爱| 日韩黄色一级片| 欧美一区二区免费视频| 国产欧美视频一区二区| 一二三四社区欧美黄| 欧美视频在线一区| 久久天堂av综合合色蜜桃网| 亚洲愉拍自拍另类高清精品| 欧美日韩情趣电影| 久久亚洲一区二区三区四区| 亚洲一级电影视频| 欧美精三区欧美精三区| 国产香蕉久久精品综合网| 亚洲国产精品一区二区www| 欧美精品v日韩精品v韩国精品v| 久久这里只精品最新地址| 亚洲电影第三页| 日韩一区二区三区高清免费看看| 国产精品日产欧美久久久久| 日韩电影在线观看电影| 久久这里只有精品6| 一区二区三区高清不卡| 丰满亚洲少妇av| 亚洲色图欧洲色图婷婷| 欧美日韩国产乱码电影| 中文字幕精品综合| 久久97超碰色| 国产精品久久久久久亚洲伦| 在线视频欧美精品| 欧美激情综合在线| 麻豆精品精品国产自在97香蕉 | 捆绑调教美女网站视频一区| 中文字幕日本乱码精品影院| 免费美女久久99| 久久久91精品国产一区二区三区| 亚洲伊人伊色伊影伊综合网| 成人v精品蜜桃久久一区| 一区二区三区加勒比av| 91精品国产乱| 一区二区三区日韩在线观看| 粉嫩一区二区三区在线看| 伊人夜夜躁av伊人久久| 欧美一区二区三区四区久久| 亚洲人被黑人高潮完整版| 成人性视频免费网站| 亚洲综合激情网| 亚洲精品在线观看视频| 一本久久a久久精品亚洲| 国产亚洲欧美日韩在线一区| 久久国产精品露脸对白| 国产精品久久久久久久久久久免费看 | 色综合天天综合网天天看片| 久久久综合视频| 黄色成人免费在线| 一区二区三区日韩在线观看| 日韩女同互慰一区二区| 午夜精品久久久久|