紅魔電競平板評測：大屏幕硬實力
前言：三年的疫情因為要上網(wǎng)課的原因激活了平板市場，如今網(wǎng)課的時代已經(jīng)過去，大家的生活都恢復(fù)到了正軌，這也就意味著，真正考驗平板電腦生存的環(huán)境來了。也就是面對著這種殘酷的
快科技9月12日消息，MLCommons官方公布針對60億參數(shù)大語言模型及計算機視覺與自然語言處理模型GPT-J的 MLPerf推理v3.1的性能基準(zhǔn)測試結(jié)果，Intel CPU處理器、AI加速器表現(xiàn)亮眼，在AI推理方面相當(dāng)有競爭力。
此前6月份披露的MLCommons AI訓(xùn)練結(jié)果、Hugging Face性能基準(zhǔn)測試成績表明，Intel Gaudi2 AI加速器在先進的視覺語言模型上，表現(xiàn)完全可以超越NVIDIA H100 股加速器，堪稱可唯一替代NVIDIA H100/A100的可行方案，新結(jié)果再次驗證了這一點。
GPT-J模型上，Intel Gaudi2加速器的GPT-J-99、GPT-J-99.9服務(wù)器查詢和離線樣本的推理性能分別為78.58次/秒、84.08 次/秒。
對比競品，H100相較于Gaudi2只有1.09 倍（服務(wù)器）、1.28 倍（離線）的性能領(lǐng)先優(yōu)勢，Gaudi2對比A100的優(yōu)勢則可達2.4倍（服務(wù)器）、2倍（離線）的性能。
值得一提的是，Gaudi2提交的結(jié)果采用FP8數(shù)據(jù)類型，準(zhǔn)確率達到99.9％。
Gaudi2軟件每6-8周就會更新一次，將繼續(xù)提升MLPerf基準(zhǔn)測試性能，并擴大模型覆蓋范圍。
同時，Intel提交了基于Sapphire Rapids第四代至強可擴展處理器的7個推理基準(zhǔn)測試，其中就包括GPT-J模型。
結(jié)果顯示，包括視覺、語言處理、語音和音頻翻譯模型，以及更大的DLRM v2深度學(xué)習(xí)推薦模型、ChatGPT-J模型在內(nèi)，四代至強在處理通用AI負(fù)載時性能非常出色。
截至目前，Intel仍是唯一一家使用行業(yè)標(biāo)準(zhǔn)的深度學(xué)習(xí)生態(tài)系統(tǒng)軟件提交公開CPU結(jié)果的廠商。
根據(jù)新結(jié)果，使用GPT-J對大約1000-1500字新聞稿進行100字總結(jié)的任務(wù)，四代至強在離線模式下每秒完成兩段，實時服務(wù)器模式下則可完成每秒一段。
此外，Intel首次提交了至強CPU Max處理器的MLPerf測試結(jié)果，其集成多64GB HBM3高帶寬內(nèi)存，對于GPT-J而言是唯一能夠達到99.9％準(zhǔn)確度的CPU，非常適合精度要求極高的應(yīng)用。
本文鏈接：http://www.tebozhan.com/showinfo-24-9392-0.html60億參數(shù)AI模型測試：Intel 2.4倍領(lǐng)先！唯一可替代NVIDIA
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號