這場虛擬人爭奪戰，互聯網巨頭下場先贏一半？
撰文/ 孟會緣 近兩年間，要論引得無數互聯網巨頭競折腰的一大熱門產業，莫過于元宇宙領域中的數字人了。 作為繼數字藏品之后，開發元宇宙的又一重點落地項目，互聯網
6 月 20 日消息，上海人工智能實驗室 19 日公布了首個 AI 高考全卷評測結果。據介紹，2024 年全國高考甫一結束，該實驗室旗下司南評測體系 OpenCompass 選取 6 個開源模型及 GPT-4o 進行高考“語數外”全卷能力測試。
評測采用全國新課標 I 卷，參與評測的所有開源模型開源時間均早于高考，確保評測“閉卷”性。同時，成績由具有高考評卷經驗的教師人工評判，更加接近真實閱卷標準。
該機構表示，Qwen2-72B、GPT-4o 及書生?浦語 2.0 文曲星（InternLM2-20B-WQX）成為本次大模型高考的前三甲，得分率均超過 70%。大部分模型“考生”語文、英語科目表現良好，但數學方面仍有很大提升空間。
具體來看，InternLM2-20B-WQX 取得了數學單科的最高分，超越包括 GPT-4o 在內的所有模型。
注：此次參與“大模型高考”評測的產品包含 GPT-4o 及其他 6 個模型。為公平起見，此次評測沒有納入商用閉源模型。
Mixtral 8x22B：法國 AI 創業公司 Mistral 于 2024 年 4 月 17 日開源的對話模型。
Yi-1.5-34B：零一萬物公司于 2024 年 5 月 12 日開源的 Yi-1.5 系列最大的模型。
GLM-4-9B：智譜 AI 于 2024 年 6 月 4 日推出的最新一代預訓練模型 GLM-4 系列的開源版本。
InternLM2-20B-WQX：上海人工智能實驗室于 2024 年 6 月 4 日開源的書生?浦語 2.0 系列文曲星大語言模型。
Qwen2-57B：阿里巴巴于 2024 年 6 月 6 日開源的 Qwen2 系列 MoE 對話模型。
Qwen2-72B：阿里巴巴于 2024 年 6 月 6 日開源的 72B 稠密模型。
語數外三科加起來的滿分為 420 分，此次高考測試結果顯示，阿里通義千問 2-72B 排名第一，為 303 分，OpenAI 的 GPT-4o 排名第二，得分 296 分，上海人工智能實驗室的書生?浦語 2.0 排名第三，三個大模型的得分率均超過 70%。來自法國大模型初創公司的 Mistral 排名末尾，僅拿下 185 分。
數學是所有大模型的短板，平均得分率僅有 36%，參與測試的大模型無一及格。
此外，閱卷教師也對大模型表現進行了整體分析，為模型能力提升策略提供參考。
語文模型的現代文閱讀理解能力普遍較強，但是不同模型的文言文閱讀理解能力差距較大。
大模型作文更像問答題，雖然有針對性但缺乏修飾，幾乎不存在人類考生都會使用舉例論證、引用論證、名人名言和人物素材等手法。
多數模型無法理解“本體”“喻體”“暗喻”等語文概念。語言中的一些“潛臺詞”，大模型尚無法完全理解。
數學大模型的主觀題回答相對凌亂，且過程具有迷惑性，甚至出現過程錯誤但得到正確答案的情況。
大模型的公式記憶能力較強，但是無法在解題過程中靈活引用。
英語英語整體表現良好，但部分模型由于不適應題型，在七選五、完形填空等題型得分率較低。
大模型英語作文普遍存在因超出字數限制而扣分的情況，而人類考生多因為字數不夠扣分。
本文鏈接：http://www.tebozhan.com/showinfo-45-4723-0.html上海人工智能實驗室發布首個 AI 高考評測結果：語數英總分最高 303 分，數學全部不及格
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號