當前位置：首頁 > 科技 > 數(shù)碼

吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf記錄居第一

來源：責編：時間：2025-04-04 08:36:29 75觀看

導(dǎo)讀快科技4月3日消息，NVIDIA在官網(wǎng)表示，在新的MLPerf V5.0基準測試中，NVIDIA的Blackwell平臺取得了令人矚目的成績。MLPerf是一個衡量人工智能硬件、軟件和服務(wù)性能的標準化基礎(chǔ)測試平臺，它由圖靈獎得主大衛(wèi)&middo

快科技4月3日消息，NVIDIA在官網(wǎng)表示，在新的MLPerf V5.0基準測試中，NVIDIA的Blackwell平臺取得了令人矚目的成績。

MLPerf是一個衡量人工智能硬件、軟件和服務(wù)性能的標準化基礎(chǔ)測試平臺，它由圖靈獎得主大衛(wèi)·帕特森聯(lián)合谷歌、斯坦福、哈佛大學(xué)等頂尖企業(yè)和學(xué)術(shù)機構(gòu)成立，是權(quán)威性大、影響力廣的國際AI性能基準測試。

新更新的MLPerf 添加了Llama 3.1 405B，這是大和難以運行的開放權(quán)重模型之一。

NVIDIA表示，雖然許多公司在其硬件上運行MLPerf基準測試以衡量性能，但只有NVIDIA及其合作伙伴提交并發(fā)布了Llama 3.1 405B基準測試的結(jié)果。

具體來看，GB200 NVL72系統(tǒng)通過連接72個NVIDIA Blackwell GPU，作為一個單一的超大GPU運行，在Llama 3.1 405B基準測試中，與H200 NVL8相比，實現(xiàn)了高達30倍的吞吐量提升。

據(jù)介紹，在生產(chǎn)環(huán)境中，推理部署通常受到兩個關(guān)鍵指標的延遲限制：首次響應(yīng)時間（TTFT）和每個輸出令牌的時間（TPOT）。

新的Llama 2 70B Interactive基準測試將TPOT縮短了5倍，TTFT降低了4.4倍，模擬了更快的用戶體驗。

在這一測試中，NVIDIA使用8個Blackwell GPU的DGX B200系統(tǒng)，性能比使用8個H200 GPU的系統(tǒng)高出三倍，為這一更具挑戰(zhàn)性的Llama 2 70B基準測試設(shè)定了新的高標準。

吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf記錄居第一

本文鏈接：http://www.tebozhan.com/showinfo-24-141080-0.html吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf記錄居第一

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：撼訊RX 9070 XT GPU表面竟有1934個“坑”！溫度高達113℃

下一篇： NVIDIA特供H20有了升級版：中國科技巨頭已豪擲上千億搶購

標簽：

熱門焦點

一加Ace2 Pro官宣：普及16G內(nèi)存引領(lǐng)24G

一加官方今天繼續(xù)為本月發(fā)布的新機一加Ace2 Pro帶來預(yù)熱，公布了內(nèi)存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領(lǐng)，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待。”同時
Mate60手機殼曝光致敬自己的經(jīng)典設(shè)計

8月3日消息，今天下午博主數(shù)碼閑聊站帶來了華為Mate60的第三方手機殼圖，可以讓我們在真機發(fā)布之前看看這款華為全新旗艦的大致輪廓。從曝光的圖片看，Mate 60背后攝像頭面積依然
讓我們一起聊聊文件的操作

文件【1】文件是什么？文件是保存數(shù)據(jù)的地方，是數(shù)據(jù)源的一種，比如大家經(jīng)常使用的word文檔、txt文件、excel文件、jpg文件...都是文件。文件最主要的作用就是保存數(shù)據(jù)，它既可以保
多線程開發(fā)帶來的問題與解決方法

使用多線程主要會帶來以下幾個問題：（一）線程安全問題　　線程安全問題指的是在某一線程從開始訪問到結(jié)束訪問某一數(shù)據(jù)期間，該數(shù)據(jù)被其他的線程所修改，那么對于當前線程而言，該線程
JavaScript學(xué)習(xí) -AES加密算法

引言在當今數(shù)字化時代，前端應(yīng)用程序扮演著重要角色，用戶的敏感數(shù)據(jù)經(jīng)常在前端進行加密和解密操作。然而，這樣的操作在網(wǎng)絡(luò)傳輸和存儲中可能會受到惡意攻擊的威脅。為了確保數(shù)據(jù)
使用AIGC工具提升安全工作效率

在日常工作中，安全人員可能會涉及各種各樣的安全任務(wù)，包括但不限于：開發(fā)某些安全工具的插件，滿足自己特定的安全需求；自定義github搜索工具，快速查找所需的安全資料、漏洞poc、exp
華為Mate 60保護殼曝光：碩大后置相機模組凸起程度有驚喜

這段時間以來，關(guān)于華為新旗艦的爆料日漸密集。據(jù)此前多方爆料，今年華為將開始恢復(fù)一年雙旗艦戰(zhàn)略，除上半年推出的P60系列外，往年下半年的Mate系列也將
華為將推出盤古數(shù)字人大模型可幫助用戶12小時完成數(shù)字人生成

在今日舉行的2023年華為云數(shù)字文娛AI創(chuàng)新峰會上，華為云全球Marketing與銷售服務(wù)總裁石冀琳表示，華為云將在后續(xù)推出盤古數(shù)字人大模型，可幫助用戶12小
北京：科技教育體驗基地開始登記

　　北京“科技館之城”科技教育體驗基地登記和認證工作日前啟動。首批北京科技教育體驗基地擬于2023年全國科普日期間掛牌，后續(xù)還將開展常態(tài)化登記。　　北京科技教育體驗基

AVt天堂网手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf記錄居第一

一加Ace2 Pro官宣：普及16G內(nèi)存引領(lǐng)24G

Mate60手機殼曝光致敬自己的經(jīng)典設(shè)計

讓我們一起聊聊文件的操作

多線程開發(fā)帶來的問題與解決方法

JavaScript學(xué)習(xí) -AES加密算法

使用AIGC工具提升安全工作效率

華為Mate 60保護殼曝光：碩大后置相機模組凸起程度有驚喜

華為將推出盤古數(shù)字人大模型可幫助用戶12小時完成數(shù)字人生成

北京：科技教育體驗基地開始登記

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊