10月21日消息,斯坦福大學(xué)最新發(fā)布的AI透明度指標(biāo)揭示,市面上幾乎所有的AI基礎(chǔ)模型都存在透明度不足的問題。其中,meta的Lama2在指標(biāo)上表現(xiàn)最佳,但透明度僅為54%。
據(jù)ITBEAR科技資訊了解,這項(xiàng)研究由HAI基礎(chǔ)模型研究中心(CRFM)的負(fù)責(zé)人RishiBommasani領(lǐng)導(dǎo),對(duì)海外最受歡迎的10款基礎(chǔ)模型進(jìn)行了調(diào)查,包括meta的Lama2、BigScience的BloomZ、OpenAI的GPT-4、Stability AI的Stable Diffusion、AnthropicPBC的Claude、谷歌的PaLM 2、Cohere的Command、AI21 Labs的Jurassic-2、InflectionAI的Inflection以及亞馬遜的Titan。
研究人員發(fā)現(xiàn),在具體的透明度指標(biāo)方面,評(píng)估主要圍繞著模型訓(xùn)練數(shù)據(jù)集版權(quán)、訓(xùn)練模型所使用的計(jì)算資源、模型生成內(nèi)容的可信度、模型自身能力、模型被誘導(dǎo)生成有害內(nèi)容的風(fēng)險(xiǎn)以及使用模型的用戶隱私性等100個(gè)項(xiàng)目展開。
綜合調(diào)查結(jié)果顯示,meta的Lama 2以54%的透明度位列榜首,而OpenAI的GPT-4僅有48%的透明度,谷歌的PaLM2則以40%的透明度排名第五。
具體來看,這些模型在“模型基本信息”(ModelBasics)方面表現(xiàn)最佳,這包括模型是否準(zhǔn)確介紹了其模式、規(guī)模和架構(gòu),平均透明度為63%。而在“影響”(Impact)方面,模型是否會(huì)調(diào)用用戶信息進(jìn)行評(píng)估,平均透明度僅為11%。
CRFM的主任Percy Liang表示,商業(yè)基礎(chǔ)模型的透明度對(duì)于推動(dòng)AI立法對(duì)產(chǎn)業(yè)和學(xué)術(shù)界都非常重要。
Rishi Bommasani則認(rèn)為,較低的模型透明度讓企業(yè)難以確定是否可以安全地依賴這些模型,同時(shí)也給研究人員帶來了挑戰(zhàn)。
最終,Rishi Bommasani認(rèn)為,上述十大基礎(chǔ)模型的透明度都不及格,他指出,模型的透明度至少需要達(dá)到82%,才能得到外界認(rèn)可。
本文鏈接:http://www.tebozhan.com/showinfo-45-2254-0.html斯坦福大學(xué)發(fā)布AI透明度指標(biāo):市面AI模型面臨透明度挑戰(zhàn)
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 深度學(xué)習(xí)技術(shù)突破,實(shí)現(xiàn)攝像機(jī)拍攝的2D圖像直接生成3D全息圖像