5月安卓手機好評榜：魅族20 Pro奪冠
性能榜和性價比榜之后，我們來看最后的安卓手機好評榜，數(shù)據(jù)來源安兔兔評測，收集時間2023年5月1日至5月31日，僅限國內市場。第一名：魅族20 Pro好評率：97.50%不得不感慨魅族老品牌還
7 月 10 日消息，中文大模型測評基準 SuperCLUE 發(fā)布 2024 上半年報告，披露針對國內外 33 個大模型的綜合測評結果。阿里通義千問的開源模型 Qwen2-72B 成為排名第一的中國大模型，也是全球最強的開源模型，SuperCLUE 報告認為通義千問“超過眾多國內外閉源模型”，“引領全球的開源生態(tài)”。
CLUE（The Chinese Language Understanding Evaluation）是發(fā)起于 2019 年的中文語言理解測評基準，致力于開展科學、客觀、中立的語言模型評測，SuperCLUE 聚焦于通用大模型的綜合性測評。
本次半年度測評針對國內外 33 個大模型的 6 月份版本進行，由理科、文科和 Hard 三大維度構成。理科任務包括計算、邏輯推理、代碼測評；文科任務分為知識百科、語言理解、長文本、角色扮演、生成與創(chuàng)作、安全和工具使用七大測評；Hard 任務主要是精確指令遵循測評，未來還將推出復雜多步推理和高難度問題解決等測評。
圖說：SuperCLUE 國際最好模型（GPT-4o）與國內最好模型（Qwen2-72）的整體性能對比
從代表通用能力的一級總分來看，OpenAI 的 GPT-4o 以 81 分高居榜首，Claude-3.5-Sonnet 與通義千問開源模型 Qwen2-72B-Instruct 并列第二，得分均為 77。通義千問既是排名最高的中國大模型，也是排名最高的開源大模型，性能超越文心一言 4.0、訊飛星火 V4.0、Llama-3-70B 等開閉源大模型。
具體到理科、文科、Hard 三個維度來看，國內外大模型的理科能力存在一定差距，GPT-4o 以絕對優(yōu)勢領跑，Qwen2-72B 的理科測試比 GPT-4o 少 5 分；文科任務上，大模型之間的區(qū)分度不明顯，GPT-4o 與 Qwen2-72B 等模型的得分均為 76；精確指令遵循能力方面，僅有 GPT-4o 和 Claude 3.5 Sonnet 得分超過 80，國內表現(xiàn)最好的 Qwen2-72B 比 GPT-4o 低 6 分。
報告同時公布了端側小模型測評榜單，通義千問 70 億參數(shù)開源模型 Qwen2-7B 排名第一，打敗了上一代版本的 Qwen1.5-32B（320 億參數(shù)）和 Llama-3-8B-Instruct（130 億參數(shù)），展現(xiàn)了更小尺寸的模型的極致性能。報告認為，2024 年上半年端側小模型進展迅速、表現(xiàn)驚艷，極大提升了落地的可行性。
據(jù)悉，Qwen2 是阿里在今年 6 月推出的通義千問第二代開源模型，已先后登頂國內外多個權威榜單，引領中國開源模型強勢崛起。Qwen 系列開源模型下載量已經(jīng)突破 2000 萬次。SuperCLUE 報告點評：“綜合來看，Qwen2-72B 整體能力不俗，引領全球的開源生態(tài)，是一個非常有競爭力的通用開源大模型，可應用于推理、數(shù)理分析、信息處理或相對專業(yè)復雜場景，重點推薦應用于工業(yè)、金融、醫(yī)療、汽車等垂直專業(yè)場景。”
附：
?SuperCLUE 官方推文鏈接
?《中文大模型基準評測 2024 上半年報告》原文鏈接：
www.cluebenchmarks.com/superclue_24h1
本文鏈接：http://www.tebozhan.com/showinfo-26-100065-0.html中文大模型 2024 半年報出爐，通義千問通用能力國內第一
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號