1 月 20 日消息,科技媒體 TechCrunch 昨日(1 月 19 日)發布博文,報道稱 Epoch AI 因未及時披露 OpenAI 的資助而引發爭議,其開發的數學基準測試 FrontierMath 的客觀性受到質疑。
簡要介紹下 Epoch AI 組織,是主要由 Open Philanthropy 資助的非營利組織。該組織推出了 FrontierMath 基準測試,通過整合專家級數學問題,衡量和測試 AI 模型的數學能力。
OpenAI 的 o3 模型在 EpochAI 的 FrontierMath 基準測試中,以碾壓式優勢傲視其它模型,準確率高達 25%,而其他模型得分在 2% 左右。
Epoch AI 的一位承包商“Meemi”在 LessWrong 論壇上發帖稱,許多 FrontierMath 的貢獻者直到公開宣布時才知道 OpenAI 參與了該基準搭建。
Meemi 寫道:“溝通完全不透明。我認為 Epoch AI 應該披露 OpenAI 的資助,承包商在選擇是否參與基準測試工作時,應該獲得關于其工作成果可能被用于能力提升的透明信息。”
六位參與 FrontierMath 基準測試設計的數學家表示,他們并不知道 OpenAI 擁有獨家訪問權限。如果事先知道,他們可能不會參與。
一些社交媒體用戶擔心,這種保密行為可能會損害 FrontierMath 作為客觀基準的聲譽。除了資助 FrontierMath 之外,OpenAI 還可以訪問該基準測試中的許多問題和解決方案 ——Epoch AI 在 12 月 20 日 o3 發布之前并未透露這一事實。
Epoch AI 副主任兼聯合創始人之一 Tamay Besiroglu 在回復 Meemi 的帖子時堅稱,FrontierMath 的完整性沒有受到損害,但也承認 Epoch AI 在未能更加透明方面“犯了一個錯誤”。
AI 專家 Gary Marcus 質疑 OpenAI 的聲明,將此事件與 Theranos 丑聞相提并論。注:該丑聞是由伊麗莎白?霍爾姆斯創立的血液檢測公司 Theranos 的欺詐事件,該公司聲稱其技術只需幾滴血就能進行數百項檢測,但最后謊言被揭穿,公司最終倒閉,霍爾姆斯也被判犯有欺詐罪。
Besiroglu 承認 OpenAI 可以訪問 FrontierMath 的大部分問題和答案,但有一個“OpenAI 未見過的保留數據集”用于驗證模型的能力。
Besiroglu 寫道
我們被限制在 o3 發布前后才能披露合作關系,事后看來,我們應該更努力地爭取盡快對基準測試貢獻者保持透明。我們的數學家應該知道誰可以訪問他們的工作。即使我們在合同上受到限制,我們也應該讓與貢獻者的透明度成為我們與 OpenAI 協議中不可協商的一部分。
本文鏈接:http://www.tebozhan.com/showinfo-45-9485-0.htmlOpenAI o3 碾壓式 AI 數學成績遭質疑:既當選手又是裁判,翻版 Theranos 世紀騙局
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 深夜突發!光刻機巨頭傳出大消息!
下一篇: 阿斯麥財報誤發,半導體板塊驚起一片漣漪?