7月18日消息,近日,上海人工智能實驗室揭曉了一場特殊的“高考”成績,這場考試與眾不同,因為它的參考者并非真實的學生,而是7個頂尖的AI大模型。這一評測的初衷在于探索當前大模型的真實能力水平,并尋找其可能存在的問題,以期推動技術的進步。
據評測結果,書生?浦語 2.0 系列文曲星大模型(浦語文曲星)、阿里通義千問大模型 Qwen2-72B 和廣為人知的 GPT-4o在眾多模型中脫穎而出,分別在文科和理科的評測中位列前三。這三款大模型的文、理科成績均超越了“一本”和“二本”的分數線,這一參考線是基于今年高考人數最多的河南省的分數線設定的。
此次參與評測的大模型除了上述三款外,還包括了Yi-1.5-34B、Qwen2-57B、GLM-4-9B以及來自法國AI初創公司Mistral的Mixtral8×22B。整個評測過程嚴謹而全面,不僅進行了全卷的評分,還特意邀請了有高考閱卷經驗的老師進行打分,以確保評分的公正性和準確性。
在這場特殊的“高考”中,Qwen2-72B以546分的高分奪得了文科狀元的桂冠,而浦語文曲星則以468.5分領跑理科。與此同時,GPT-4o在文理科均展現出不俗的實力。不過,國外的大模型Mixtral8x22B在此次評測中表現相對較弱。
閱卷老師們在對答案進行仔細分析后指出,雖然大模型在基礎知識的掌握上表現出色,但與真實考生相比,在邏輯推理和知識靈活應用上還存在明顯差距。特別是在解答主觀題時,大模型往往難以完整理解題目要求,導致答案與題目要求不符。在數學題的解答過程中,大模型的表現也顯得機械且邏輯性不強。
根據上海人工智能實驗室上個月公布的 AI 高考全卷結果,Qwen2-72B、GPT-4o 及書生?浦語 2.0文曲星(InternLM2-20B-WQX)成為本次大模型高考的前三甲,得分率均超過70%。大部分模型“考生”語文、英語科目表現良好,但數學方面仍有很大提升空間。
本文鏈接:http://www.tebozhan.com/showinfo-45-6035-0.html通義千問、GPT-4o 等七款大模型“高考”成績揭曉:前三名文科破一本線,理科躍二本線
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com