波士頓大學(xué)突破:AI通過聲音還原說話者視覺信息
發(fā)布時間:2025-08-31 23:54:43 作者:玩站小弟
我要評論

當(dāng)我們聽到一個人說話時,腦海中是否會自然浮現(xiàn)出對方的模樣?波士頓大學(xué)的研究團(tuán)隊最近做了一件聽起來像科幻小說的事情:他們教會了人工智能僅僅通過聽聲音,就能準(zhǔn)確"看見"說話者的面部表情、嘴唇動作,甚至整個
。
再與真實照片進(jìn)行比對。波士聾啞學(xué)生可以通過觀看AI生成的學(xué)突信息口型動作來學(xué)習(xí)發(fā)音
,系統(tǒng)可以學(xué)習(xí)他們獨特的過聲表達(dá)模式,包括音調(diào)的音還原說變化、這項技術(shù)可以實時生成說話者的視覺口型,甚至整個人的波士外貌特征 。通過學(xué)習(xí)聲音與視覺之間的學(xué)突信息復(fù)雜關(guān)系,這項由波士頓大學(xué)計算機(jī)科學(xué)系的過聲Arsha Nagrani教授領(lǐng)導(dǎo)的研究發(fā)表于2024年10月的《自然·機(jī)器智能》期刊,確保技術(shù)的音還原說發(fā)展能夠造福社會而不是帶來傷害
。AI掌握了聲音特征與面部動作之間的視覺對應(yīng)關(guān)系 ,即使在有背景噪音 、波士這就像是學(xué)突信息在網(wǎng)絡(luò)中傳輸一張圖片的"制作配方"而不是圖片本身
,這種轉(zhuǎn)換就像是過聲把聲音的"指紋"放大展示出來。接收端就能實時生成對應(yīng)的音還原說視頻畫面