近日，國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局（ITU-T）正式公布了由中國信息通信研究院（簡稱“中國信通院”）主導(dǎo)制定的全新國際標(biāo)準(zhǔn)——ITU-T F.748.44，該標(biāo)準(zhǔn)聚焦于大模型基準(zhǔn)測試評估體系，命名為“基準(zhǔn)測試/Assessment criteria for foundation models: Benchmark”。這一里程碑式的成就標(biāo)志著大模型技術(shù)評估領(lǐng)域邁向了國際化標(biāo)準(zhǔn)化的新篇章。flK28資訊網(wǎng)——每日最新資訊28at.com

該國際標(biāo)準(zhǔn)深入規(guī)范了大模型基準(zhǔn)測試的各項(xiàng)關(guān)鍵要素，包括測試維度、數(shù)據(jù)集、方法及工具，旨在構(gòu)建一個(gè)全球公認(rèn)的大模型能力評估框架。通過系統(tǒng)性研究全球產(chǎn)學(xué)研界超過500項(xiàng)基準(zhǔn)測試，標(biāo)準(zhǔn)確立了四大核心測試維度，即測試場景、測試能力、測試任務(wù)和測試指標(biāo)，為全面、客觀地衡量大模型性能提供了科學(xué)依據(jù)。flK28資訊網(wǎng)——每日最新資訊28at.com

隨著人工智能技術(shù)的飛速發(fā)展，如何準(zhǔn)確評估大模型的綜合能力及其潛在缺陷，已成為學(xué)術(shù)界與產(chǎn)業(yè)界共同關(guān)注的焦點(diǎn)。模型基準(zhǔn)測試作為目前最為認(rèn)可的評估手段，通過精心設(shè)計(jì)的測試任務(wù)和評價(jià)數(shù)據(jù)集，實(shí)現(xiàn)了對模型性能的公正、量化評估。然而，由于缺乏統(tǒng)一標(biāo)準(zhǔn)，當(dāng)前市場上存在眾多基準(zhǔn)測試方法和數(shù)據(jù)集，評測結(jié)果的公正性備受質(zhì)疑。flK28資訊網(wǎng)——每日最新資訊28at.com

為了破解這一難題，中國信通院自2023年起便著手布局大模型基準(zhǔn)測試研究，并于年底推出了“方升”大模型基準(zhǔn)測試體系，創(chuàng)新性地引入了自適應(yīng)動態(tài)測試方法，積累了600萬條數(shù)據(jù)集，并構(gòu)建了FactTeting測試工具，實(shí)現(xiàn)了大模型測試流程的自動化。這一系列的努力為國際標(biāo)準(zhǔn)的制定奠定了堅(jiān)實(shí)基礎(chǔ)。flK28資訊網(wǎng)——每日最新資訊28at.com

自2024年起，中國信通院參照已發(fā)布的ITU大模型基準(zhǔn)測試國際標(biāo)準(zhǔn)，對國內(nèi)外眾多標(biāo)桿大模型進(jìn)行了持續(xù)監(jiān)測，涵蓋了OpenAI o1、DeepSeek R1、Gemini 2.5 Pro、Claude 3.7 Sonnet、Qwen2.5-Max以及百度文心大模型X1等上百個(gè)模型。通過每兩個(gè)月一次的周期性評測，發(fā)布了涵蓋大語言通用能力、推理能力、代碼能力、多模態(tài)理解能力、文生圖能力以及文生視頻能力等多個(gè)方面的評測結(jié)果，為行業(yè)提供了權(quán)威、全面的參考。flK28資訊網(wǎng)——每日最新資訊28at.com

ITU-T F.748.44國際標(biāo)準(zhǔn)的發(fā)布，不僅為大模型技術(shù)的提供方和應(yīng)用方提供了高質(zhì)量的能力評估依據(jù)，還促進(jìn)了大模型基準(zhǔn)測試體系架構(gòu)的國際共識，引導(dǎo)大模型技術(shù)及產(chǎn)業(yè)健康有序發(fā)展。這一標(biāo)準(zhǔn)化成果對于推動技術(shù)創(chuàng)新、引領(lǐng)行業(yè)趨勢以及加強(qiáng)國際合作與交流具有重要意義，標(biāo)志著大模型測試領(lǐng)域邁出了堅(jiān)實(shí)的一步。flK28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-48-6490-0.html大模型基準(zhǔn)測試國際標(biāo)準(zhǔn)出爐，中國信通院引領(lǐng)制定

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 小米米家中央空調(diào)Pro風(fēng)管機(jī)4匹版上市，7999元享智能人體感應(yīng)風(fēng)口

下一篇： 夢回還公司冒名辦漫展售盜版周邊，被判賠米哈游50萬