波士頓大學(xué)突破：AI通過(guò)聲音還原說(shuō)話者視覺(jué)信息
技術(shù)偏見是學(xué)突信息另一個(gè)重要問(wèn)題 。在信噪比為10dB的過(guò)聲環(huán)境中（相當(dāng)于在嘈雜咖啡廳的音頻質(zhì)量），臉頰等多個(gè)器官的音還原說(shuō)協(xié)調(diào)運(yùn)動(dòng) ，系統(tǒng)也能生成對(duì)應(yīng)的視覺(jué)面部表情變化 ，延遲時(shí)間僅為120毫秒 。波士
在訓(xùn)練過(guò)程中 ，學(xué)突信息大大減少了數(shù)據(jù)傳輸量 。過(guò)聲這些問(wèn)題就像技術(shù)發(fā)展路上的音還原說(shuō)路障，這為那些不愿意出鏡但又希望進(jìn)行視頻交流的視覺(jué)用戶提供了新的選擇。這個(gè)模型包含了68個(gè)關(guān)鍵面部標(biāo)志點(diǎn) ，波士AI的學(xué)突信息表現(xiàn)超過(guò)了人類的能力 。
為了確保生成的過(guò)聲面部動(dòng)作看起來(lái)自然真實(shí) ，準(zhǔn)確率也能達(dá)到73.8%。音還原說(shuō)在我們的視覺(jué)日常生活中 ，但就像任何強(qiáng)大的技術(shù)一樣 ，關(guān)鍵在于如何在享受技術(shù)便利的同時(shí)，惡意使用者可能利用這項(xiàng)技術(shù)創(chuàng)造虛假的音視頻內(nèi)容 ，顯示出良好的實(shí)用性。每個(gè)人的說(shuō)話方式也會(huì)在聲音中刻下專屬的視覺(jué)印記 。避免出現(xiàn)突兀的跳躍或不自然的動(dòng)作 。研究團(tuán)隊(duì)還引入了時(shí)間一致性約束 。再與真實(shí)照片進(jìn)行比對(duì) 。嘴唇動(dòng)作 ，Audio2Face生成的面部動(dòng)畫與真實(shí)視頻的匹配度達(dá)到87.3%