4 月 3 日消息,百度本月發(fā)布飛槳框架 3.0 正式版,五大特性專為大模型設(shè)計(jì)。
作為大模型時(shí)代的 Infra“基礎(chǔ)設(shè)施”,深度學(xué)習(xí)框架的重要性愈發(fā)凸顯,大模型訓(xùn)練、推理等任務(wù)都離不開深度學(xué)習(xí)框架的優(yōu)化與支撐。
飛槳框架 3.0 號(hào)稱從設(shè)計(jì)理念上實(shí)現(xiàn)了從底層硬件適配到頂層開發(fā)體驗(yàn)的全面進(jìn)化,附具體介紹如下:
飛槳提出的“動(dòng)靜統(tǒng)一自動(dòng)并行”技術(shù),大幅降低大模型開發(fā)訓(xùn)練成本,讓算法創(chuàng)新回歸核心價(jià)值創(chuàng)造;
“訓(xùn)推一體”設(shè)計(jì)理念打破了訓(xùn)練與推理的割裂狀態(tài),通過全方位深度優(yōu)化,飛槳框架 3.0 能夠支持眾多開源大模型進(jìn)行高性能推理,并在 DeepSeek V3 / R1 上取得了突出的性能表現(xiàn)。目前,飛槳框架 3.0 支持文心 4.5、文心 X1 等多款主流大模型,DeepSeek-R1 滿血版單機(jī)部署吞吐提升一倍。通過技術(shù)算法創(chuàng)新,飛槳讓低時(shí)延、高吞吐、低算力成本的推理服務(wù)成為了現(xiàn)實(shí);
在科學(xué)智能領(lǐng)域,飛槳框架 3.0 錨定科學(xué)前沿探索需要,提升微分方程求解速度。通過高階自動(dòng)微分和神經(jīng)網(wǎng)絡(luò)編譯器技術(shù),加速微分方程求解,速度比 PyTorch 開啟編譯器優(yōu)化后的 2.6 版本平均快 115%。飛槳還對(duì) DeepXDE、Modulus 等主流開源科學(xué)計(jì)算工具進(jìn)行了廣泛適配,并成為 DeepXDE 的默認(rèn)推薦后端。其展現(xiàn)的科學(xué)智能潛力在氣象預(yù)測(cè)、生命科學(xué)、航空航天等領(lǐng)域具有廣泛的應(yīng)用價(jià)值;
在運(yùn)算速度上,借助創(chuàng)新研制的神經(jīng)網(wǎng)絡(luò)編譯器 CINN,實(shí)現(xiàn)性能的顯著提升,在 A100 平臺(tái)上 RMSNorm 算子進(jìn)行性能測(cè)試,相較于采用 Python 開發(fā)接口組合實(shí)現(xiàn)的方式,經(jīng)過編譯優(yōu)化后的算子運(yùn)行速度提升了 4 倍;使用超過 60 個(gè)模型進(jìn)行實(shí)驗(yàn),使用 CINN 編譯器后超 60% 模型有顯著性能提升,平均提升達(dá) 27.4%;
在硬件適配方面,飛槳框架 3.0 推出了多芯片統(tǒng)一適配方案,構(gòu)建“一次開發(fā),全棧部署”的生態(tài)體系。目前已適配超過 60 個(gè)芯片系列,覆蓋訓(xùn)練集群、自動(dòng)駕駛、智能終端等場(chǎng)景,開發(fā)者只需編寫一份代碼,就可以讓程序在不同芯片上順暢運(yùn)行,輕松實(shí)現(xiàn)業(yè)務(wù)的跨芯片遷移。
截至 2024 年 10 月,飛槳文心生態(tài)已凝聚 1808 萬開發(fā)者,服務(wù)了 43 萬家企事業(yè)單位,創(chuàng)建了 101 萬個(gè)模型。
飛槳框架 3.0 正式版本已面向開發(fā)者開放,并且兼容 2.0 版本的開發(fā)接口。
本文鏈接:http://www.tebozhan.com/showinfo-45-11929-0.html百度飛槳框架 3.0 正式版發(fā)布,五大特性專為大模型設(shè)計(jì)
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: OpenAI o3 模型運(yùn)行成本估算大幅上調(diào):?jiǎn)未稳蝿?wù)從 3000 美元漲至 3 萬美元