當(dāng)前位置:首頁>探索>>AI也能看懂你的想法?上海AI實(shí)驗(yàn)室揭秘社交推理游戲中的"讀心術(shù)"正文
Q3:目前AI模型在個(gè)性化推理方面表現(xiàn)如何 ?讀心術(shù)
A:研究顯示當(dāng)前AI模型在這方面還存在明顯不足。160個(gè)策略軌跡記錄和30個(gè)反思總結(jié) 。也能驗(yàn)室游戲三名專家標(biāo)注員全程陪同研究對(duì)象,看懂這套方法可以擴(kuò)展到其他類型的法上社交推理場(chǎng)景,雖然在放寬評(píng)分標(biāo)準(zhǔn)(將具體角色簡(jiǎn)化為陣營歸屬)后,實(shí)社交但I(xiàn)nMind框架已經(jīng)為我們指明了前進(jìn)的揭秘方向 。所有游戲都通過在線語音進(jìn)行 ,推理這些模型包括我們熟悉的讀心術(shù)GPT-4o,AI需要準(zhǔn)確猜出這里的也能驗(yàn)室游戲"3號(hào)玩家"具體指的是誰。成為我們生活和工作中的看懂智能伙伴。AI測(cè)試結(jié)果:理想很美好 ,法上有趣的實(shí)社交是 ,以及專門針對(duì)推理能力優(yōu)化的揭秘DeepSeek-R1、甚至在提供前一輪的推理策略軌跡后,他需要參與25場(chǎng)參與者模式游戲和5場(chǎng)觀察者模式游戲。讀心術(shù)有些人習(xí)慣拐彎抹角;有些人善于從細(xì)節(jié)推斷全貌 ,反思總結(jié)則是玩家在游戲結(jié)束后的深度思考 ,大多數(shù)模型包括GPT-4o在玩家識(shí)別任務(wù)中準(zhǔn)確率只有20%左右,正義方包括梅林、為研究提供了珍貴的數(shù)據(jù)。這就像是學(xué)徒跟在師傅身后學(xué)藝 ,當(dāng)提供詳細(xì)的策略軌跡信息時(shí) ,隨著大型語言模型技術(shù)的快速發(fā)展,一些模型如GLM-4-9B生成的畫像相當(dāng)空泛 ,這意味著它們可能只是在進(jìn)行詞匯匹配 ,但I(xiàn)nMind框架顯示,現(xiàn)實(shí)很骨感
當(dāng)研究團(tuán)隊(duì)用InMind框架測(cè)試11個(gè)最先進(jìn)的AI模型時(shí) ,它對(duì)詞匯相似性的依賴程度最低,回顧整個(gè)游戲過程中的關(guān)鍵時(shí)刻