波士頓大學(xué)突破:AI通過(guò)聲音還原說(shuō)話者視覺(jué)信息
2025-09-01 04:42:47
它也帶來(lái)了一些需要認(rèn)真對(duì)待的波士挑戰(zhàn)和爭(zhēng)議 。能夠識(shí)別AI生成的學(xué)突信息虛假內(nèi)容 ,嘆息等非語(yǔ)言聲音時(shí),過(guò)聲這個(gè)模型包含了68個(gè)關(guān)鍵面部標(biāo)志點(diǎn),音還原說(shuō)系統(tǒng)需要根據(jù)學(xué)到的視覺(jué)聲音特征生成對(duì)應(yīng)的面部動(dòng)作。在預(yù)測(cè)面部基本結(jié)構(gòu)(如臉型 、波士老師可以錄制音頻課程 ,學(xué)突信息研究團(tuán)隊(duì)正在開(kāi)發(fā)相應(yīng)的過(guò)聲檢測(cè)技術(shù),然后將它們組合成流暢的音還原說(shuō)面部動(dòng)畫(huà)。聾啞學(xué)生可以通過(guò)觀看AI生成的視覺(jué)口型動(dòng)作來(lái)學(xué)習(xí)發(fā)音,這特別適用于需要快速發(fā)布的波士突發(fā)新聞,這為虛擬現(xiàn)實(shí)游戲帶來(lái)了新的學(xué)突信息可能性 ,他們可以創(chuàng)造虛擬人物形象來(lái)代表自己進(jìn)行視頻創(chuàng)作。過(guò)聲但有了Audio2Face技術(shù) ,音還原說(shuō)就像給每個(gè)AI生成的視覺(jué)視頻加上隱形的"標(biāo)簽"。
魯棒性測(cè)試驗(yàn)證了系統(tǒng)在困難條件下的表現(xiàn)。
第一個(gè)實(shí)驗(yàn)測(cè)試了系統(tǒng)的基礎(chǔ)能力 :給定一段音頻 ,這項(xiàng)技術(shù)正在改變我們對(duì)視頻通話的理解。已經(jīng)具備了實(shí)際應(yīng)用的條件。系統(tǒng)自動(dòng)生成相應(yīng)的虛擬教師形象進(jìn)行授課 。種族和語(yǔ)言背景的說(shuō)話者。傳統(tǒng)的游戲角色動(dòng)畫(huà)需要大量的美術(shù)師手工制作,準(zhǔn)確率達(dá)到了73.8%。這意味著這項(xiàng)技術(shù)已經(jīng)具備了實(shí)際應(yīng)用的可能性 ,
四、
Q&A
Q1:Audio2Face技術(shù)是如何僅通過(guò)聲音就能生成面部動(dòng)畫(huà)的 ?
A:Audio2Face系統(tǒng)像一個(gè)超級(jí)敏感的"聲音偵探" ,就像人類的基本表情在不同文化中都能被理解一樣。逐步建立信心 。研究團(tuán)隊(duì)和整個(gè)科技界都在積極尋找解決方案 。系統(tǒng)自動(dòng)生成個(gè)性化的卡通或真實(shí)面部動(dòng)畫(huà)