3月14日消息,晶圓級芯片領(lǐng)域的領(lǐng)軍企業(yè)Cerebras,近日發(fā)布了其最新一代的芯片產(chǎn)品——WSE-3。據(jù)悉,這款芯片在保持與前代產(chǎn)品WSE-2相同功耗的同時(shí),實(shí)現(xiàn)了性能的大幅提升,翻倍的表現(xiàn)令人矚目。
WSE-3的詳細(xì)參數(shù)顯示,它采用了臺積電先進(jìn)的5nm制程技術(shù),集成了高達(dá)4萬億個晶體管,擁有900,000個AI核心,以及44GB的片上SRAM緩存。此外,WSE-3還提供了1.5TB、12TB和1.2PB三種可選的片外內(nèi)存容量,以滿足不同場景下的需求。其峰值A(chǔ)I算力更是高達(dá)125PFLOPS,展現(xiàn)了強(qiáng)大的計(jì)算能力。
據(jù)ITBEAR科技資訊了解,Cerebras基于WSE-3推出了CS-3系統(tǒng),該系統(tǒng)憑借其最高可達(dá)1.2PB的內(nèi)存容量,能夠訓(xùn)練比當(dāng)前熱門的GPT-4和Gemini模型大10倍的下一代前沿模型。這意味著CS-3可以在單個邏輯內(nèi)存空間中容納參數(shù)規(guī)模高達(dá)24,000T的模型,為開發(fā)人員提供了極大的便利,簡化了他們的工作流程。
CS-3系統(tǒng)非常適合超大規(guī)模AI需求。一個緊湊的四系統(tǒng)集群就能夠在一天內(nèi)完成70B模型的微調(diào)。而當(dāng)使用最大規(guī)模的2048個CS-3系統(tǒng)集群時(shí),它甚至可以在一天內(nèi)完成Llama70B模型的訓(xùn)練,展現(xiàn)了驚人的訓(xùn)練速度。
Cerebras還強(qiáng)調(diào)CS-3系統(tǒng)的易用性。在大模型訓(xùn)練中,與GPU相比,所需代碼減少了97%。開發(fā)人員僅需565行代碼就可以實(shí)現(xiàn)與GPT-3大小模型相當(dāng)?shù)臉?biāo)準(zhǔn)實(shí)現(xiàn),這大大降低了開發(fā)門檻和復(fù)雜度。
阿聯(lián)酋的G42財(cái)團(tuán)已經(jīng)表示將打造基于Cerebras CS-3的Condor Galaxy3超級計(jì)算機(jī)。這臺超級計(jì)算機(jī)將包含64個CS-3系統(tǒng),提供高達(dá)8 exaFLOP的AI算力,為科研和工業(yè)領(lǐng)域的應(yīng)用提供強(qiáng)大的支持。
本文鏈接:http://www.tebozhan.com/showinfo-45-3565-0.htmlCerebras發(fā)布第三代芯片WSE-3:性能翻倍,助力大模型訓(xùn)練
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com