NVIDIA GPU已經在AI、HPC領域遙遙領先,但沒有強,只有更強。
現(xiàn)在,NVIDIA又發(fā)布了全新的HGX H200加速器,可處理AIGC、HPC工作負載的海量數據。
NVIDIA H200的一大特點就是首發(fā)新一代HBM3e高帶寬內存(疑似來自SK海力士),單顆容量就多達141GB(原始容量144GB但為提高良率屏蔽了一點點),同時帶寬多達4.8TB/s。
對比H100,容量增加了76%,帶寬增加了43%,而對比上代A100,更是容量幾乎翻番,帶寬增加2.4倍。
得益于NVLink、NVSwitch高速互連技術,H200還可以四路、八路并聯(lián),因此單系統(tǒng)的HBM3e內存容量能做到多1128GB,也就是1.1TB。
只是相比于AMD Instinct MI300X還差點意思,后者搭載了192GB HBM3,帶寬高達5.2TB/s。
性能方面,H200再一次實現(xiàn)了飛躍,700億參數的Llama2大語言模型推理性能比H100提高了多達90%,1750億參數的GTP-3模型推理性能也提高了60%,而對比前代A100 HPC模擬性能直接翻番。
八路H200系統(tǒng)下,F(xiàn)P8深度學習計算性能可以超過32PFlops,也就是每秒3.2億億次浮點計算,堪比一臺大型超級計算機。
隨著未來軟件的持續(xù)升級,H200還有望繼續(xù)釋放潛力,實現(xiàn)更大的性能優(yōu)勢。
此外,H200還可以與采用超高速NVLink-C2C互連技術的NVIDIA Grace CPU處理器搭配使用,就組成了GH200 Grace Hopper超級芯片,專為大型HPC、AI應用而設計的計算模塊。
NVIDIA H200將從2024年第二季度開始通過全球系統(tǒng)制造商、云服務提供商提供。
本文鏈接:http://www.tebozhan.com/showinfo-24-24679-0.html八路達成1.1TB HBM3e內存!NVIDIA奉上全球第一GPU H200
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 599元起 影馳20周年紀念版星曜SSD上架:專屬元素設計
下一篇: 就該多支持本土企業(yè)!長江存儲致態(tài)TiPlus7100體驗報告:第一次實現(xiàn)SSD自由