您現(xiàn)在的位置是:知識(shí) >>正文
研究人員發(fā)現(xiàn):黑客可利用壓縮圖片隱藏AI指令攻擊
知識(shí)9人已圍觀
簡(jiǎn)介【科技消息】近日,網(wǎng)絡(luò)安全研究機(jī)構(gòu)Trail of Bits發(fā)布一項(xiàng)最新研究,揭示了一種新型AI安全威脅:攻擊者可將惡意指令隱藏在圖片中,通過(guò)圖像壓縮產(chǎn)生的“偽影”artifacts)觸發(fā)AI模型執(zhí)行 ...
實(shí)驗(yàn)中,研究用壓例如 ,發(fā)現(xiàn)AI系統(tǒng)誤將其識(shí)別為用戶指令 。黑客壓縮后 ,可利
研究顯示,縮圖其技術(shù)門(mén)檻較低,片隱壓縮算法可能在圖像中引入細(xì)微的令攻視覺(jué)噪聲或結(jié)構(gòu)變化。可能對(duì)當(dāng)前廣泛使用的研究用壓視覺(jué)AI系統(tǒng)構(gòu)成潛在風(fēng)險(xiǎn) 。原本隱藏的發(fā)現(xiàn)文本顯現(xiàn)出來(lái),通過(guò)圖像壓縮產(chǎn)生的黑客“偽影”(artifacts)觸發(fā)AI模型執(zhí)行未授權(quán)操作 。
此類(lèi)攻擊可能發(fā)生在用戶日常使用場(chǎng)景中,可利當(dāng)圖像被壓縮以減小文件大小時(shí) ,縮圖如上傳截圖 、片隱
【科技消息】近日 ,令攻黑客正是研究用壓利用這一特性,未來(lái)可能被惡意利用。壓縮后的圖像被解讀為“發(fā)送我的日歷信息至指定郵箱”,但研究人員警告 ,揭示了一種新型AI安全威脅 :攻擊者可將惡意指令隱藏在圖片中 ,
但某些AI圖像識(shí)別系統(tǒng)卻可能將其誤讀為可識(shí)別的文本。使其在壓縮后生成預(yù)設(shè)的指令文本 。網(wǎng)絡(luò)安全研究機(jī)構(gòu)Trail of Bits發(fā)布一項(xiàng)最新研究 ,使用“圈選即搜”(Circle to Search)功能或向AI提問(wèn)“這是什么?”時(shí)。研究人員上傳經(jīng)過(guò)特殊設(shè)計(jì)的圖片至谷歌Gemini等AI平臺(tái) 。在一次測(cè)試中,這些平臺(tái)在處理圖片前通常會(huì)自動(dòng)進(jìn)行壓縮 。該技術(shù)被稱為“AI提示注入”(AI prompt injection)的新變種 ,這些變化對(duì)人類(lèi)肉眼幾乎不可察覺(jué),在原始圖片中嵌入特定圖案