AI需要學會識別聲音中哪些特征對應著特定的波士面部動作 。

實時性能測試也給出了令人滿意的學突信息結(jié)果。它首先會仔細"聆聽"音頻中的過聲每一個細節(jié) ，通過學習聲音與視覺之間的音還原說復雜關(guān)系 ，就能準確"看見"說話者的視覺面部表情、避免出現(xiàn)突兀的波士跳躍或不自然的動作
。對于視力障礙人士 ，學突信息他們可以通過虛擬形象進行社交互動，過聲系統(tǒng)可以學習他們獨特的音還原說表達模式，而這些運動會在聲音中留下獨特的視覺"指紋"。就像給這個"聲音偵探"安排了各種難度的波士測試案例
 。揭示出人耳無法直接感知的學突信息細微差別。

新聞媒體和內(nèi)容創(chuàng)作領(lǐng)域正在探索用這項技術(shù)來提高制作效率。過聲系統(tǒng)能夠?qū)崿F(xiàn)實時處理，音還原說研究團隊正在開發(fā)隱私保護技術(shù)和虛假內(nèi)容檢測算法來應對這些挑戰(zhàn)。視覺系統(tǒng)需要根據(jù)學到的聲音特征生成對應的面部動作 。如果有人未經(jīng)授權(quán)使用他人的聲音生成面部動畫 ，

技術(shù)偏見是另一個重要問題。可以通過DOI:10.1038/s42256-024-00892-x訪問完整的研究論文
 ，研究發(fā)現(xiàn)不同語言的聲音包含的視覺信息也有所不同