元宇宙步入暗夜
撰文 | 文燁豪元宇宙的故事，似乎講不通了。 當(dāng)下，刮起元宇宙熱潮的Roblox股價已跌去大半，帶頭大哥Meta也正因元宇宙虧損深陷泥潭。 再看國內(nèi)，從字節(jié)“派對島&
4 月 6 日消息，一項新研究似乎為 OpenAI 至少使用部分受版權(quán)保護內(nèi)容來訓(xùn)練其人工智能模型的指控提供了依據(jù)。
注意到，OpenAI 正面臨由作家、程序員以及其他版權(quán)持有者提起的訴訟，這些原告指責(zé)該公司在未經(jīng)許可的情況下，使用他們的作品 —— 包括書籍、代碼庫等，來開發(fā)其模型。盡管 OpenAI 一直聲稱其享有合理使用的抗辯理由，但原告方則認為美國版權(quán)法中并無針對訓(xùn)練數(shù)據(jù)的豁免條款。
該研究由華盛頓大學(xué)、哥本哈根大學(xué)和斯坦福大學(xué)的研究人員共同撰寫，提出了一種新方法，用于識別像 OpenAI 這樣通過應(yīng)用程序接口（API）提供服務(wù)的模型所“記憶”的訓(xùn)練數(shù)據(jù)。
AI 模型本質(zhì)上是預(yù)測引擎，通過大量數(shù)據(jù)訓(xùn)練，它們能夠?qū)W習(xí)各種模式，從而生成文章、照片等。雖然大多數(shù)輸出并非訓(xùn)練數(shù)據(jù)的逐字復(fù)制，但由于模型的“學(xué)習(xí)”方式，部分內(nèi)容不可避免地會被模型記憶下來。此前已有研究發(fā)現(xiàn)，圖像模型會重復(fù)生成其訓(xùn)練數(shù)據(jù)中電影的截圖，而語言模型則被觀察到存在剽竊新聞文章的行為。
該研究的核心方法依賴于研究人員提出的“高意外性”詞匯，即在大量作品中顯得不常見的詞匯。例如，在句子“Jack and I sat perfectly still with the radar humming”中，“radar”（雷達）一詞被認為是高意外性的，因為從統(tǒng)計學(xué)角度來看，它出現(xiàn)在“humming”（嗡嗡作響）之前的可能性比“engine”（引擎）或“radio”（收音機）等詞要低。
共同作者對包括 GPT-4 和 GPT-3.5 在內(nèi)的幾種 OpenAI 模型進行了測試，通過從虛構(gòu)小說片段和《紐約時報》文章中移除高意外性詞匯，然后讓模型嘗試“猜測”被屏蔽的詞匯，來尋找記憶跡象。研究人員認為，如果模型能夠成功猜出這些詞語，則很可能表明該模型在訓(xùn)練過程中記憶了這些片段。
根據(jù)測試結(jié)果，GPT-4 顯示出記住了流行小說書籍的部分內(nèi)容，包括一個包含受版權(quán)保護電子書樣本的數(shù)據(jù)集 BookMIA 中的書籍。結(jié)果還表明，該模型記住了《紐約時報》文章的部分內(nèi)容，盡管比例相對較低。
華盛頓大學(xué)的博士生、該研究的共同作者阿比拉沙?拉維奇漢德（Abhilasha Ravichander）對 TechCrunch 表示，這些發(fā)現(xiàn)揭示了模型可能接受訓(xùn)練的“有爭議的數(shù)據(jù)”。
長期以來，OpenAI 一直倡導(dǎo)放寬對使用受版權(quán)保護數(shù)據(jù)開發(fā)模型的限制。盡管該公司已經(jīng)達成了一些內(nèi)容許可協(xié)議，并提供了允許版權(quán)所有者標記不希望其用于訓(xùn)練的內(nèi)容的退出機制，但該公司一直在游說多個政府將圍繞人工智能訓(xùn)練方法的“合理使用”規(guī)則編入法典。
本文鏈接：http://www.tebozhan.com/showinfo-45-12015-0.htmlOpenAI 遭實錘：研究稱其 AI 模型“記住”了受版權(quán)保護的內(nèi)容
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號