一個創(chuàng)新性的開放平臺SciArena近期正式啟動，其核心目的在于評估大型語言模型（LLM）在科學文獻處理任務(wù)中的實際效能，這一評估依據(jù)的是研究人員的真實偏好。平臺運行初期，已明顯觀察到不同模型間存在效能差異。bas28資訊網(wǎng)——每日最新資訊28at.com

SciArena由耶魯大學、紐約大學以及艾倫人工智能研究所的專家攜手打造，它專注于系統(tǒng)性地評測專有和開源LLM在科學文獻處理方面的表現(xiàn)，這一領(lǐng)域此前缺乏系統(tǒng)的評估工具。bas28資訊網(wǎng)——每日最新資訊28at.com

該平臺采用了不同于傳統(tǒng)基準測試的方法，效仿Chatbot Arena的模式，引入了真實研究人員的直接評估。用戶在提交科學問題后，會收到兩個由模型生成并附有相關(guān)引用的詳細答案，然后用戶根據(jù)判斷選擇更優(yōu)的答案。這些引用的文獻均通過專門的ScholarQA檢索流程獲取。bas28資訊網(wǎng)——每日最新資訊28at.com

SciArena已積累了來自自然科學、工程學、生命科學和社會科學四大領(lǐng)域102位研究人員的超過13,000份評估數(shù)據(jù)，涵蓋概念闡述、文獻檢索等多個維度。bas28資訊網(wǎng)——每日最新資訊28at.com

在當前的排名中，OpenAI的o3模型獨占鰲頭，領(lǐng)先于Claude-4-Opus和Gemini-2.5-Pro。而在開源模型領(lǐng)域，Deepseek-R1-0528表現(xiàn)突出，甚至超越了部分專有系統(tǒng)。研究團隊特別指出，o3在自然科學和工程科學領(lǐng)域的表現(xiàn)尤為亮眼。研究人員還發(fā)現(xiàn)，用戶在評估時更注重引用與陳述的匹配度，而非單純引用數(shù)量。答案長度等因素對SciArena的影響相對較小，與Chatbot Arena或Search Arena等平臺有所不同。bas28資訊網(wǎng)——每日最新資訊28at.com

盡管取得了顯著進展，但自動化評估仍面臨挑戰(zhàn)。為此，團隊還推出了一項名為SciArena-eval的新基準測試，旨在測試語言模型判斷其他模型答案的能力。然而，即便是表現(xiàn)最佳的模型，也只有約65%的時間與人類偏好一致，這反映出當前LLM在科學領(lǐng)域的評估系統(tǒng)尚存局限。bas28資訊網(wǎng)——每日最新資訊28at.com

SciArena平臺現(xiàn)已向公眾開放，其代碼、數(shù)據(jù)及SciArena-eval基準測試均以開源形式提供，旨在助力開發(fā)更符合研究人員在科學信息任務(wù)中需求的模型。bas28資訊網(wǎng)——每日最新資訊28at.com

舉報 0收藏 0打賞 0評論 0分享 0  更多>同類資訊谷歌發(fā)布Gemini for Education：免費AI工具助力全球教育創(chuàng)新與公平07-03榮耀總裁方飛：蘋果入局折疊屏，是激勵也是新起點07-03OpenAI堅持英偉達與AMD，暫不全面采用谷歌TPU芯片07-03Crunchyroll新動畫字幕出錯，疑似AI生成引熱議，觀眾呼吁保證創(chuàng)作質(zhì)量07-03三星Galaxy Z Fold新機：7月9日震撼發(fā)布，16GB+1TB高配來襲現(xiàn)在的手游和應用不斷升級，對配置的要求越來越高，所以不少品牌推出自研芯片、性能引擎、算法等方面，進一步優(yōu)化性能，提升新機體驗。新機也被官方稱為三星超輕薄折疊旗艦，看來今年的新折疊屏不斷追求輕薄，甚至是與直板機…07-03榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片榮耀Magic V5采用全新AI交互方式，以更輕薄的折疊旗艦形態(tài)與行業(yè)領(lǐng)先的AI智能體實力，釋放PC級生產(chǎn)力，開啟智能交互體驗的全新想象，用科技拓寬一小時的生命寬度，帶來一輩子的溫暖陪伴。榮耀正式宣布支持MC…07-03中國移動新動作：九天人工智能科技公司成立，注冊資本高達20億07-03榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版07-03榮耀Magic V5深度評測：輕薄新紀錄，AI折疊屏新標桿在多設(shè)備聯(lián)動上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機等智能聯(lián)動，不僅支持手表解鎖手機功能以及一鍵鎖定手表，并支持雙向查找，AI體驗同步流轉(zhuǎn)，在榮耀手表5 Ultra上，也可以直接喚醒…07-02榮耀Magic V5震撼發(fā)布：纖薄新紀錄，滿血配置售價8999元起7月2日，榮耀推出了新一代旗艦大折疊手機——榮耀Magic V5，這款手機不僅再創(chuàng)多項大折疊手機纖薄世界紀錄，還具有大折疊滿血配置，并將AI與手機深度融合，搭載更為智慧化的使用方式。在護眼方面，此前在榮耀直板…07-02榮耀Magic V5評測：輕薄新巔峰，全能AI折疊屏旗艦重塑標準在多設(shè)備聯(lián)動上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機等智能聯(lián)動，不僅支持手表解鎖手機功能以及一鍵鎖定手表，并支持雙向查找，AI體驗同步流轉(zhuǎn)，在榮耀手表5 Ultra上，也可以直接喚醒…07-02榮耀Magic V5震撼登場：纖薄新紀錄，滿血配置，售價8999元起7月2日，榮耀推出了新一代旗艦大折疊手機——榮耀Magic V5，這款手機不僅再創(chuàng)多項大折疊手機纖薄世界紀錄，還具有大折疊滿血配置，并將AI與手機深度融合，搭載更為智慧化的使用方式。在護眼方面，此前在榮耀直板…07-02榮耀Magic V5深度評測：輕薄新標桿，AI折疊屏的全面進化07-02榮耀Magic V5：超薄旗艦新標桿，AI交互重塑大折疊體驗它的低溫與常溫性能差異大約在33.4%，也符合我們對于超薄大折疊的性能釋放預期，同時即便是有著如此嚴格的溫控策略，MagicV5的性能表現(xiàn)也依然要明顯高于那些使用老平臺的競爭對手。Magic V5不只是開創(chuàng)…07-02京東JoyInside攜AI潮玩來襲，攜手十余家機器人品牌打造智能生態(tài)07-02點擊查看更多 +全站最新宇宙信使：揭秘玻璃隕石的奧秘與魅力2025上半年機票均價740元，暑運旺季來臨價格上揚至839元美波音737客機飛行中襟翼掉落 疑似墜入居民區(qū)車道美波音737客機飛行中襟翼掉落 疑似墜入居民區(qū)車道馬斯克旗下xAI Grok 4曝光，百億融資助力“重塑知識庫”計劃豐田汽車上調(diào)零部件采購價，力保6萬家供應商穩(wěn)定運營熱門內(nèi)容

• 高考志愿填報熱潮中，夸克“深度搜索”成考生新寵，人均使用4次尋建議
• 馬斯克宣布Grok 4大模型即將面世，或?qū)榫幊檀蛟?/li>
• 高考志愿填報熱潮下，夸克“深度搜索”助力考生，人均使用達4次
• 中國知網(wǎng)CNKI AI：重塑知識服務(wù)新生態(tài)，四大核心力引領(lǐng)未來
• 蘋果AI「Apple Intelligence」國行版，終于要來了嗎？
• QQ瀏覽器AI高考通新上線：智能生成高考志愿報告，助你科學填報！
• 火山引擎PromptPilot：一鍵優(yōu)化指令，解鎖AI大模型新效能
• 阿里領(lǐng)投硅基流動，清華系A(chǔ)I創(chuàng)企再獲數(shù)億融資，DeepSeek流量爆棚后新動作？
• 夸克高考志愿大模型上線，讓每個考生擁有自己的AI志愿填報顧問！
• 字節(jié)跳動火山引擎發(fā)布豆包1.6與Seedance1.0，AI技術(shù)再升級成本大降
• 優(yōu)志愿鴻蒙版上線，AI智能填報高考志愿，科學規(guī)劃升學新路徑
• 英偉達攬才：清華“天才少年”朱邦華攜手焦劍濤加盟
• 淘天集團RecGPT大模型上線，電商推薦迎來個性化新升級
• 斯坦福評測：DeepSeek R1醫(yī)療AI大放異彩，成臨床場景新冠軍
• 《Artificial》今夏開機，揭秘OpenAI 2023年CEO罷免又復職風波

本欄最新三星Galaxy Z Fold新機：7月9日震撼發(fā)布，16GB+1TB高配來襲榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片中國移動新動作：九天人工智能科技公司成立，注冊資本高達20億榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版榮耀Magic V5深度評測：輕薄新紀錄，AI折疊屏新標桿榮耀Magic V5震撼發(fā)布：纖薄新紀錄，滿血配置售價8999元起

本文鏈接：http://www.tebozhan.com/showinfo-45-14354-0.htmlSciArena平臺亮相：科研人員親測，大語言模型科學文獻任務(wù)表現(xiàn)大比拼

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： MIT新研究：AI寫作工具使用或致大腦活躍度下滑

下一篇： 谷歌發(fā)布Gemini for Education：免費AI工具助力全球教育創(chuàng)新與公平