早在今年5月29日,AI芯片大廠英偉達(NVIDIA) CEO黃仁勛就在COMPUTEX 2023展前發布會上,正式發布了升級版的GH200Grace Hopper超級芯片,旨在助力開發面向生成式AI語言應用、推薦系統和數據分析工作負載的巨型、下一代模型。
GH200超級芯片,是將 72 核的Grace CPU、H100 GPU、96GB 的 HBM3 和 512 GB 的 LPDDR5X 集成在同一個封裝中,擁有高達 2000 億個晶體管。這種組合提供了 CPU 和 GPU 之間驚人的數據帶寬,高達 900 GB / s,為某些內存受限的工作負載提供了巨大的優勢。
相關文章:《AI性能突破1Eflop!英偉達DGX GH200發布:256個GH200芯片,144TB共享內存!》
美國當地時間8月8日,英偉達又發布了新一代GH200 Grace Hopper(簡稱“新版GH200”)平臺。但與今年5月發布的GH200不同的是,新一代GH200搭載了全球首款HBM3e內存,內存容量和帶寬都有顯著提高,專為加速計算和生成式AI時代而打造。
英偉達稱,新版GH200旨在處理世界上最復雜的生成式AI工作負載,涵蓋大型語言模型、推薦系統和矢量數據庫,將提供多種配置。新版GH200將于2024年第二季度投產。
具體來說,新版GH200芯片平臺基于 72 核 Grace CPU,配備 480 GB ECC LPDDR5X 內存以及 GH100 計算 GPU,搭配 141 GB 的 HBM3e 內存,分為六個 24 GB 的堆棧,并使用了 6,144 位的內存接口。雖然英偉達實際安裝了 144 GB 的內存,但只有 141 GB 是可用的。
相比原版GH200平臺,新版GH200平臺的雙芯片配置將內存容量提高3.5倍,帶寬增加三倍,一個服務器就有144個Arm Neoverse高性能內核、8 petaflops 的 AI 性能和282GB的最新HBM3e內存技術。
HBM3e是全新一代的高帶寬內存,帶寬達每秒5TB,比原版的GH200所搭載的HBM3快50%,可為新版的GH200提供總共每秒10TB的組合帶寬,使新平臺能運行比前代大3.5倍的模型,同時通過快3倍的內存帶寬提高性能。
據英偉達介紹,目前配備 HBM3 內存的原版GH200Grace Hopper超級芯片平臺已經在生產中,并將于下個月開始商業銷售。而配備 HBM3e 內存的新版GH200Grace Hopper超級芯片平臺現在正在樣品測試中,預計將于 2024 年第二季度上市。
英偉達強調,新版GH200 Grace Hopper 使用了與原版相同的 Grace CPU 和 GH100 GPU 芯片,因此公司無需推出任何新的軟件版本或步進。英偉達表示,原版 GH200 和升級版 GH200 將在市場上共存,這意味著后者將以更高的價格出售,畢竟其更先進的內存技術帶來的更高性能。
英偉達表示,配備 HBM3e 內存的下一代 Grace Hopper 超級芯片平臺完全兼容英偉達的 MGX 服務器規范,并且可以與現有的服務器設計直接兼容。
黃仁勛說,為了滿足生成式 AI 不斷增長的需求,數據中心需要有針對特殊需求的加速計算平臺。新的GH200 Grace Hopper 超級芯片平臺提供了卓越的內存技術和帶寬,以此提高吞吐量,提升無損耗連接GPU聚合性能的能力,并且擁有可以在整個數據中心輕松部署的服務器設計。
快速創建生成式AI的工具包AI Workbench
除了新款GH200,英偉達周二還發布了新的統一工具包AI Workbench,以及對英偉達Omniverse軟件服務的重大升級。
AI Workbench為開發者提供了統一且便于使用的工具包,可在個人電腦(PC)或工作站上快速創建、測試和微調生成式AI模型,然后將其擴展到幾乎任何數據中心、公共云或者英偉達的DGX云。
英偉達稱,AI Workbench讓企業的AI項目入門不再復雜。通過在本地系統運行的簡化界面進行訪問,它讓開發者能使用自定義數據微調Hugging Face、GitHub 和 NGC 等常用存儲庫中的模型,然后可以在多個平臺上輕松共享模型。
借助AI Workbench,開發者只需點擊幾下即可自定義和運行生成式AI,而且他們能夠將所有必要的企業級模型、框架、軟件開發套件和庫整合到一個統一的開發者工作區中。
用黃仁勛的話來說就是:“人人都可以做到。”
Omniverse平臺升級 通過OpenUSD軟件利用生成式AI
英偉達的升級版Omniverse平臺為開發者和工業企業提供新的基礎應用與服務,以OpenUSD框架和生成式AI優化及增強他們的3D管道。
升級版Omniverse平臺是一個高性能3D場景描述技術OpenUSD的原生軟件平臺,用于跨3D工具和應用的連接、描述和模擬,能加快創建虛擬世界和工業數字化高級工作流程。Cesium、Convai、Move AI、SideFX Houdini 和 Wonder Dynamics現已通過 OpenUSD 連接到 Omniverse。
新平臺的亮點包括更新開發原生OpenUSD應用及擴展的引擎——Omniverse Kit,以及英偉達Omniverse Audio2Face基礎應用和空間計算功能的更新。
Omniverse 和模擬技術副總裁 Rev Lebaredian表示,更新后的Omniverse 讓開發人員可以通過OpenUSD利用生成式AI強化他們的工具,并且讓工業企業能構建更大、更復雜的世界級模擬,作為其工業應用的數字測試場。
編輯:芯智訊-浪客劍
ODM大廠華勤技術登陸主板:三年累計凈利超65億元,募資55億元!
2023美國半導體產業現狀:36%銷售額來自于中國!
張忠謀:美國公司將失去業務,中國將找到反擊的方法!
立即生效!印度宣布限制PC相關產品進口!
在中國市場,Arm服務器份額已接近15%!
AMD凈利同比暴跌94%!環比暴漲119%!蘇姿豐:AI將帶來數十億美元增長機會!
中國宣布對部分無人機實施出口管制!航天彩虹、大疆等企業或受影響!
主頻提升25%!俄羅斯48核CPU仍不是華為鯤鵬920對手!
顛覆行業!英飛凌推可回收、可降解PCB:能溶解于90℃熱水,碳排放量減少60%!
英特爾CEO:如果沒了中國的訂單,再建晶圓廠就沒必要了!
2022年全球CIS廠商排名:豪威第三,格科微跌出前五!
Cerebras推出全球最強AI超算:5400萬個AI內核,算力高達4 exaFLOPS!
行業交流、合作請加微信:icsmart01
芯智訊官方交流群:221807116
本文鏈接:http://www.tebozhan.com/showinfo-27-5064-0.html英偉達推出最強AI芯片:首發HMB3e,大模型運行能力提升3.5倍!
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com