在人工智能領(lǐng)域的一次重大突破中,得一微電子(YEESTOR)近日隆重推出了其革命性的AI-MemoryX顯存擴(kuò)展解決方案。該方案憑借公司自主研發(fā)的存儲(chǔ)控制芯片與創(chuàng)新的AI存儲(chǔ)系統(tǒng)技術(shù),成功打破了單機(jī)顯存容量限制,使得DeepSeek系列的大模型,如32B、70B、110B乃至671B等,均能在單機(jī)環(huán)境下實(shí)現(xiàn)微調(diào)訓(xùn)練。這一創(chuàng)新為AI大模型的訓(xùn)練提供了既高效又經(jīng)濟(jì)的全新路徑。
得一微電子及其合作伙伴將共同提供一套完整的微調(diào)訓(xùn)練解決方案,旨在助力各行各業(yè)拓展智能應(yīng)用的邊界,從而在激烈的市場(chǎng)競(jìng)爭(zhēng)中搶占先機(jī)。AI-MemoryX方案的推出,標(biāo)志著AI大模型訓(xùn)練進(jìn)入了一個(gè)全新的時(shí)代。
長(zhǎng)久以來(lái),顯存不足一直是制約單機(jī)微調(diào)訓(xùn)練大規(guī)模模型的關(guān)鍵因素。訓(xùn)練和推理對(duì)GPU顯存的需求差異巨大,訓(xùn)練所需顯存往往是推理的數(shù)十倍。目前市場(chǎng)上的訓(xùn)推一體機(jī)在支持大模型微調(diào)訓(xùn)練時(shí),普遍面臨顯存容量不足的挑戰(zhàn),僅能支持7B、14B等相對(duì)較小模型的微調(diào)訓(xùn)練,難以滿足更大模型的訓(xùn)練需求。
得一微電子推出的AI-MemoryX顯存擴(kuò)展卡,則成功打破了這一瓶頸。該擴(kuò)展卡不僅使訓(xùn)推一體機(jī)能夠支持超大尺寸大模型的微調(diào)訓(xùn)練,還能幫助客戶承擔(dān)高達(dá)110B甚至671B規(guī)模的訓(xùn)練任務(wù)。更為重要的是,AI-MemoryX技術(shù)將原本需要耗費(fèi)數(shù)百上千萬(wàn)的硬件擴(kuò)充成本,大幅降低至數(shù)萬(wàn)元級(jí)別,從而顯著降低了超大模型訓(xùn)練的門檻,使得更多企業(yè)和個(gè)人能夠以有限的資源高效開(kāi)展大規(guī)模模型的訓(xùn)練與微調(diào)。
顯存不足一直是單機(jī)微調(diào)訓(xùn)練大規(guī)模模型的最大障礙。受限于GPU技術(shù)和商業(yè)模式,單張GPU的顯存容量極為有限,通常僅在48GB到64GB之間。以DeepSeek 70B模型為例,微調(diào)訓(xùn)練所需的顯存高達(dá)1TB到2TB,這意味著需要?jiǎng)佑?0多張顯卡。而對(duì)于DeepSeek 671B模型,更是需要高達(dá)10TB到20TB的顯存,對(duì)應(yīng)300多張顯卡。如此龐大的硬件需求,不僅成本高昂,部署也極為復(fù)雜,嚴(yán)重阻礙了大模型單機(jī)微調(diào)的普及。
得一微電子的AI-MemoryX技術(shù)通過(guò)創(chuàng)新的顯存擴(kuò)展方案,成功將單機(jī)顯存容量從傳統(tǒng)顯卡的幾十GB提升至10TB級(jí)別,從而大幅降低了微調(diào)訓(xùn)練對(duì)GPU數(shù)量的需求。得益于此,DeepSeek系列不同尺寸的大模型僅需1到16張顯卡,配合顯存擴(kuò)展技術(shù),即可高效完成單機(jī)訓(xùn)練微調(diào)。這一技術(shù)突破為大模型在各行業(yè)的應(yīng)用推廣提供了強(qiáng)有力的支持。
得一微電子推出的AI-MemoryX解決方案是一個(gè)完整的微調(diào)訓(xùn)練方案,涵蓋了大模型訓(xùn)練框架、顯存擴(kuò)展卡軟件棧以及顯存擴(kuò)展卡X200系列。該方案為大模型微調(diào)訓(xùn)練提供了全方位的技術(shù)支持與賦能,使得更多企業(yè)和個(gè)人能夠輕松應(yīng)對(duì)大規(guī)模模型的訓(xùn)練需求。
得一微電子的AI-MemoryX技術(shù)還具有獨(dú)特的監(jiān)督微調(diào)、思維鏈微調(diào)和強(qiáng)化學(xué)習(xí)微調(diào)等特色功能。這些功能不僅發(fā)掘了微調(diào)的潛力和價(jià)值,還使得模型能夠在小樣本條件下實(shí)現(xiàn)高效推理,注入行業(yè)思維提升推理深度,以及在規(guī)則框架下實(shí)現(xiàn)自我進(jìn)化。這些創(chuàng)新技術(shù)的應(yīng)用,將進(jìn)一步提升AI大模型的性能和實(shí)用性。
得一微電子始終致力于存儲(chǔ)控制、存算一體、存算互聯(lián)領(lǐng)域的技術(shù)創(chuàng)新,立志成為行業(yè)領(lǐng)先的芯片設(shè)計(jì)公司。公司面向企業(yè)級(jí)、車規(guī)級(jí)、工業(yè)級(jí)、消費(fèi)級(jí)等全場(chǎng)景應(yīng)用,提供量身定制的解決方案與服務(wù)。此次AI-MemoryX顯存擴(kuò)展解決方案的推出,再次彰顯了得一微電子在人工智能領(lǐng)域的領(lǐng)先地位和技術(shù)實(shí)力。
本文鏈接:http://www.tebozhan.com/showinfo-45-11248-0.html得一微AI-MemoryX技術(shù)革新顯存擴(kuò)展,DeepSeek訓(xùn)推一體機(jī)性能大飛躍!
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 九方智投APP煥新登場(chǎng),智能投顧“九哥”引領(lǐng)個(gè)性化服務(wù)新風(fēng)尚