快科技6月13日美國圣何塞現(xiàn)場報(bào)道——
AMD今天正式發(fā)布了新一代AI加速卡Instinct MI350系列,硬件能力再次取得飛躍,進(jìn)一步強(qiáng)化了面對(duì)NVIDIA的競爭力。
但是我們知道,硬件性能和技術(shù)要想完全釋放潛力,尤其是在AI加速系統(tǒng)中,強(qiáng)大的軟件開發(fā)平臺(tái)是必不可少的。NVIDIA能在AI行業(yè)有如今的地位,大的功臣和護(hù)城河就是CUDA。
AMD也有自己的一套R(shí)OCm開發(fā)平臺(tái),一直和NVIDIA CUDA都存在一定的差距,好在近的進(jìn)步幅度也是非常喜人的,包括對(duì)眾多AI大模型、框架的即時(shí)支持,全方位的開源。
現(xiàn)在,我們又迎來了全新的ROCm 7版本,在新模型與算法支持、高級(jí)AI特性、新硬件支持、集群管理、企業(yè)級(jí)特性等各方面,都再次有了長足的進(jìn)步。
訓(xùn)練方面,ROCm 7支持一系列新特性,包括多個(gè)AMD開源模型、增強(qiáng)的AI框架、增強(qiáng)的內(nèi)核與算法、新的數(shù)據(jù)類型(BF16/FP8)等等。
官方聲稱對(duì)比ROCm 6,實(shí)測(cè)在Llama 2/3.1、千問1.5等多個(gè)模型中,性能提升普遍達(dá)到了3倍乃至更高。
推理方面,新的變化同樣不少,包括增強(qiáng)框架、Serving優(yōu)化、內(nèi)核與算法改進(jìn)、高級(jí)數(shù)據(jù)類型(FP8/FP6/FP4/混合)等。
性能提升同樣喜人,Llama 3.1、千問2、DeepSeek R1等模型實(shí)測(cè)平均達(dá)3.5倍,高更是可達(dá)3.8倍。
有了ROCm 7的加持,MI355X面對(duì)NVIDIA B200也是絲毫不弱,比如DeepSeek R1 FP8吞吐量可以領(lǐng)先達(dá)30%。
當(dāng)然這只是一個(gè)例子,AMD并未更多地對(duì)比自家新品和友商競品。
除了數(shù)據(jù)中心、企業(yè)端,ROCm 7在消費(fèi)端也有全面改進(jìn),新增原生支持Red Hat EPEL、Ubuntu、OpenSUSE等更多的Linux系統(tǒng)發(fā)行版,其中前兩者下半年實(shí)現(xiàn)。
Windows平臺(tái)上,也新增支持PyTorch、ONNX-EP兩大框架,分別在三季度和7月份開放預(yù)覽。
AMD還順帶介紹了下全線的消費(fèi)級(jí)AI解決方案,比如移動(dòng)端的銳龍AI 300系列高可以本地端側(cè)運(yùn)行240億參數(shù)大模型,銳龍AI Max 300系列更是能跑到700億參數(shù),而新一代線程撕裂者處理器、Radeon AI顯卡組合高可以搞定1280億參數(shù)。
本文鏈接:http://www.tebozhan.com/showinfo-24-159062-0.htmlAMD正式發(fā)布ROCm 7開發(fā)平臺(tái):AI訓(xùn)練、推理性能暴漲至高3.8倍
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com