發布日期：2019-05-17
騰訊科技訊 5月16日，全球無(wu)障(zhang)礙宣傳日之際，騰訊優圖實驗室宣布攻克AI手語識別技術挑戰(zhan)，聯(lian)合深圳市信息無(wu)障(zhang)礙研究會(hui)發布“優圖AI手語翻譯(yi)機”，致力于通過人工智能技術為聽障(zhang)人群搭(da)建無(wu)障(zhang)礙溝(gou)通平(ping)臺。
據優圖實驗室(shi)AI手(shou)(shou)語(yu)識別(bie)項目(mu)組研(yan)究員陽(yang)趙陽(yang)介紹，優圖AI手(shou)(shou)語(yu)翻(fan)譯機(ji)以普通攝像(xiang)頭作為手(shou)(shou)語(yu)采(cai)集裝置，依托(tuo)高(gao)性能計算機(ji)進(jin)行后臺(tai)運算，用(yong)(yong)戶只需(xu)面(mian)對(dui)攝像(xiang)頭完成(cheng)手(shou)(shou)語(yu)表達，翻(fan)譯機(ji)屏幕界面(mian)就能快速把手(shou)(shou)語(yu)轉換為文字，幫助聽障(zhang)(zhang)人(ren)士和健聽人(ren)士進(jin)行正常交流，未來有(you)望在機(ji)場、高(gao)鐵(tie)、民政窗口等(deng)公(gong)共場所部署應用(yong)(yong)，助力信(xin)息無障(zhang)(zhang)礙城市建設。
這也(ye)是繼本月初優(you)圖(tu)實(shi)驗室宣(xuan)布通(tong)過(guo)人(ren)工智(zhi)能技(ji)術(shu)幫助警方尋回多(duo)名被拐超(chao)過(guo)10年兒童之后，騰訊(xun)踐(jian)行“科技(ji)向善(shan)”理(li)念(nian)的(de)又一體現，也(ye)是騰訊(xun)在(zai)計算機視覺人(ren)工智(zhi)能領域(yu)的(de)又一重大技(ji)術(shu)突(tu)破。
攻克手語識別難題，自研算法解決溝通障礙
據(ju)(ju)(ju)世界衛(wei)生組織最新數據(ju)(ju)(ju)顯示，目前全(quan)球(qiu)約(yue)有(you)4.66億人患(huan)有(you)殘(can)疾(ji)性聽(ting)(ting)力(li)(li)(li)損失，超過全(quan)世界人口的5%；據(ju)(ju)(ju)估計，到(dao)2050年(nian)這一數字將達到(dao)9億，全(quan)球(qiu)將有(you)約(yue)十(shi)分之一的人出現(xian)殘(can)疾(ji)性聽(ting)(ting)力(li)(li)(li)損失。據(ju)(ju)(ju)北京聽(ting)(ting)力(li)(li)(li)協會2017年(nian)預估數據(ju)(ju)(ju)，我國(guo)聽(ting)(ting)力(li)(li)(li)障礙人士已達7200萬(wan)，其(qi)中有(you)2700萬(wan)聽(ting)(ting)障者需通過手語等方式進(jin)行溝通交流。
雖然我國(guo)在信息無(wu)障礙領域(yu)的投入在逐漸增加(jia)，但聽(ting)障人(ren)群的一(yi)些需求仍(reng)得不到滿足，尤其在公(gong)共環境設施、服(fu)務(wu)體驗(yan)等方面。據相關數據統計，我國(guo)目前致力于聽(ting)障者專(zhuan)業服(fu)務(wu)的人(ren)士只有大約一(yi)萬名，大部分(fen)公(gong)共服(fu)務(wu)并(bing)沒有配備專(zhuan)門的便利(li)設施，這些都(dou)是(shi)聽(ting)障者長久以(yi)來面臨的迫(po)切(qie)需求。
針(zhen)對這一社會痛點，優(you)圖團隊首次將計算機視(shi)覺人(ren)工智(zhi)能(neng)(neng)技(ji)術(shu)應(ying)用(yong)到手語識(shi)(shi)別(bie)(bie)場景，而此次發布的(de)“優(you)圖AI手語翻譯(yi)機”產品，利用(yong)了普通攝像頭(tou)和高性能(neng)(neng)計算機，可以識(shi)(shi)別(bie)(bie)聽障人(ren)士的(de)手語，并快速識(shi)(shi)別(bie)(bie)翻譯(yi)成(cheng)文字。
據騰訊優圖研究員陽趙陽介紹，手(shou)(shou)(shou)語(yu)(yu)翻譯(yi)(yi)的(de)(de)核(he)心技術(shu)是手(shou)(shou)(shou)語(yu)(yu)識別（SLR），通過(guo)計算(suan)(suan)機算(suan)(suan)法，自(zi)動區(qu)分手(shou)(shou)(shou)語(yu)(yu)表達(da)中的(de)(de)各類手(shou)(shou)(shou)勢(shi)、動作(zuo)、手(shou)(shou)(shou)勢(shi)和(he)動作(zuo)之(zhi)間的(de)(de)切換，最后將手(shou)(shou)(shou)語(yu)(yu)翻譯(yi)(yi)成為文字。此前也(ye)有(you)一(yi)些團隊探索過(guo)用人工(gong)智能技術(shu)緩解(jie)聽障(zhang)人士溝(gou)通障(zhang)礙，但往往需(xu)要借助一(yi)些額外的(de)(de)設備(bei)或傳感器，不(bu)僅(jin)增加了(le)使(shi)(shi)(shi)用門檻，而(er)且也(ye)無法保(bao)證對復(fu)雜手(shou)(shou)(shou)語(yu)(yu)表達(da)的(de)(de)識別率。不(bu)僅(jin)如此，手(shou)(shou)(shou)語(yu)(yu)特(te)有(you)的(de)(de)地域性(xing)、復(fu)雜性(xing)和(he)多(duo)樣(yang)性(xing)，使(shi)(shi)(shi)得手(shou)(shou)(shou)語(yu)(yu)識別技術(shu)即使(shi)(shi)(shi)在(zai)深度學習的(de)(de)幫助下也(ye)依(yi)然(ran)存(cun)在(zai)很大的(de)(de)挑戰(zhan)，難以被(bei)實際應用。
手(shou)語(yu)識別算法總(zong)體(ti)框架圖
此(ci)次優圖AI手語翻譯(yi)機產(chan)品，通(tong)過(guo)自研算法(fa)實現了對復雜手語表達(da)的(de)(de)識(shi)(shi)別技術突破，該(gai)算法(fa)參考了先進的(de)(de)手勢識(shi)(shi)別、動作(zuo)識(shi)(shi)別和(he)序列翻譯(yi)等技術，考慮了手語的(de)(de)地域性(xing)(xing)和(he)多樣(yang)性(xing)(xing)表達(da)，包含了不同的(de)(de)表達(da)習慣和(he)速度。
據(ju)介紹，優圖(tu)實驗室手(shou)語(yu)識別數據(ju)集覆(fu)蓋了(le)近(jin)千句日常表達，900個常用詞(ci)匯，是(shi)最大的中文手(shou)語(yu)識別數據(ju)集。與此同時，優圖(tu)對數據(ju)進行了(le)進一步(bu)的分(fen)析和(he)歸納，使優圖(tu)AI手(shou)語(yu)翻譯機能(neng)夠實現整(zheng)句的識別和(he)翻譯，用戶(hu)表達的時候(hou)可(ke)以連(lian)貫將整(zheng)個句子表達完，不(bu)需要設定(ding)特定(ding)的結束或起始動(dong)作，也無需在句中故意(yi)停(ting)頓或放慢速度(du)。
踐行科技向善，騰訊攜手信息無障礙研究會攻堅場景服務
“優圖(tu)團隊將(jiang)繼續進行語料庫拓(tuo)展(zhan)和算法優化，進一步探索(suo)在機場、民政等公共服務領域部(bu)署，提(ti)供(gong)(gong)無障(zhang)礙(ai)溝通(tong)解決(jue)方案，方便(bian)聽障(zhang)人(ren)日常交流提(ti)供(gong)(gong)便(bian)利。”騰訊杰出科學家賈佳亞教(jiao)授表示。
為進一步(bu)深入接觸聽(ting)障群體，了解(jie)手(shou)語和優(you)化數(shu)據(ju)(ju)和識別(bie)算法，目(mu)(mu)前騰訊優(you)圖實驗室已和深圳(zhen)市信息無(wu)障礙研究會成立AI手(shou)語識別(bie)聯合項(xiang)目(mu)(mu)組，雙方將(jiang)基于(yu)手(shou)語數(shu)據(ju)(ju)采集(ji)、產(chan)品(pin)(pin)算法優(you)化等展(zhan)開長期(qi)深度的(de)合作，通過與聽(ting)障者(zhe)或手(shou)語使(shi)用者(zhe)進一步(bu)接觸，擴充數(shu)據(ju)(ju)容量(liang)，完善數(shu)據(ju)(ju)規范，致(zhi)力于(yu)推動后續的(de)產(chan)品(pin)(pin)和服務部署。
深(shen)圳市信息無障礙(ai)研(yan)究(jiu)會秘(mi)書長楊驊表示(shi)，騰訊(xun)優(you)圖提(ti)供(gong)的這項技(ji)術，可以在一定程(cheng)度上緩解聽障者的溝(gou)通障礙(ai)，為(wei)聽障者提(ti)供(gong)更好的服(fu)務。
實(shi)際上， 這并不是騰訊(xun)(xun)在AI+無(wu)障(zhang)(zhang)礙(ai)(ai)建設(she)上的(de)首次嘗試，騰訊(xun)(xun)一直(zhi)在堅持推(tui)動“一個都不能少”和(he)“信(xin)息(xi)無(wu)障(zhang)(zhang)礙(ai)(ai)”理念的(de)傳播與落(luo)地。從2009年起，騰訊(xun)(xun)在信(xin)息(xi)無(wu)障(zhang)(zhang)礙(ai)(ai)方(fang)面率展開探索，截至目(mu)前，旗下QQ、QQ空(kong)間、微(wei)信(xin)、騰訊(xun)(xun)網、騰訊(xun)(xun)新聞、應用(yong)寶、企鵝FM等(deng)大部分產(chan)品已針對障(zhang)(zhang)礙(ai)(ai)用(yong)戶實(shi)現專(zhuan)門優化。騰訊(xun)(xun)旗下各類(lei)產(chan)品從社(she)交(jiao)、娛樂(le)、新聞等(deng)多(duo)維度(du)出發，共同努力，為障(zhang)(zhang)礙(ai)(ai)人士構建友(you)好的(de)信(xin)息(xi)社(she)會。2018年12月3日，獲(huo)得“聯(lian)合國教科文組織數(shu)字技術(shu)增強殘(can)疾人權能獎”。
根據(ju)世(shi)界衛生(sheng)(sheng)組織的(de)調查，全(quan)世(shi)界有超(chao)過十億人(ren)生(sheng)(sheng)活在因殘障引起的(de)不(bu)便中，也(ye)就(jiu)(jiu)是說，地球(qiu)(qiu)上每(mei)七個(ge)人(ren)中就(jiu)(jiu)約有一人(ren)需要無(wu)障礙(ai)設(she)施的(de)幫助(zhu)。為了(le)讓更多的(de)人(ren)關(guan)注障礙(ai)群體，了(le)解無(wu)障礙(ai)理念，每(mei)年五月的(de)第三個(ge)星(xing)期(qi)四也(ye)被設(she)立(li)為了(le)全(quan)球(qiu)(qiu)無(wu)障礙(ai)宣傳日。
來源：騰訊科技
全國服務熱線：
