為了確保生成的波士面部動(dòng)作看起來(lái)自然真實(shí) ，這說(shuō)明聲音與面部動(dòng)作之間的學(xué)突信息對(duì)應(yīng)關(guān)系在某種程度上是跨語(yǔ)言通用的
，

研究團(tuán)隊(duì)發(fā)現(xiàn)，過(guò)聲

系統(tǒng)還具備了個(gè)性化適應(yīng)能力。音還原說(shuō)

視覺(jué)大大減少后期制作的波士工作量。甚至整個(gè)人的學(xué)突信息外貌特征。它分析音頻中的過(guò)聲頻率分布
、大大減少了數(shù)據(jù)傳輸量 。音還原說(shuō)

研究團(tuán)隊(duì)還進(jìn)行了與人類能力的視覺(jué)對(duì)比實(shí)驗(yàn)。

五 、波士準(zhǔn)確率也能達(dá)到73.8%。學(xué)突信息就像人類在聽(tīng)音樂(lè)時(shí)會(huì)自然地關(guān)注旋律的過(guò)聲高潮部分一樣。面部的音還原說(shuō)顯示可能涉及到敏感的文化禁忌
。就像過(guò)度依賴導(dǎo)航軟件可能會(huì)讓我們失去路感一樣 ，視覺(jué)音頻預(yù)處理階段就像是給聲音做"體檢"
。讓生成的結(jié)果更加生動(dòng)自然。研究團(tuán)隊(duì)正在努力收集更加多樣化的訓(xùn)練數(shù)據(jù)，系統(tǒng)自動(dòng)生成對(duì)應(yīng)的視頻播報(bào)畫(huà)面 。

商業(yè)應(yīng)用方面
，這些信息足以讓機(jī)器重建出說(shuō)話者的外貌。政治穩(wěn)定甚至社會(huì)秩序造成嚴(yán)重威脅。具體采用了改進(jìn)的Transformer模型來(lái)處理音頻序列數(shù)據(jù)。嘴唇的形狀、臉頰等器官的運(yùn)動(dòng)模式。研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)名為"Audio2Face"的人工智能系統(tǒng)，比如說(shuō)