4 月 3 日消息,百度本月發布飛槳框架 3.0 正式版,五大特性專為大模型設計。
作為大模型時代的 Infra“基礎設施”,深度學習框架的重要性愈發凸顯,大模型訓練、推理等任務都離不開深度學習框架的優化與支撐。
飛槳框架 3.0 號稱從設計理念上實現了從底層硬件適配到頂層開發體驗的全面進化,附具體介紹如下:
飛槳提出的“動靜統一自動并行”技術,大幅降低大模型開發訓練成本,讓算法創新回歸核心價值創造;
“訓推一體”設計理念打破了訓練與推理的割裂狀態,通過全方位深度優化,飛槳框架 3.0 能夠支持眾多開源大模型進行高性能推理,并在 DeepSeek V3 / R1 上取得了突出的性能表現。目前,飛槳框架 3.0 支持文心 4.5、文心 X1 等多款主流大模型,DeepSeek-R1 滿血版單機部署吞吐提升一倍。通過技術算法創新,飛槳讓低時延、高吞吐、低算力成本的推理服務成為了現實;
在科學智能領域,飛槳框架 3.0 錨定科學前沿探索需要,提升微分方程求解速度。通過高階自動微分和神經網絡編譯器技術,加速微分方程求解,速度比 PyTorch 開啟編譯器優化后的 2.6 版本平均快 115%。飛槳還對 DeepXDE、Modulus 等主流開源科學計算工具進行了廣泛適配,并成為 DeepXDE 的默認推薦后端。其展現的科學智能潛力在氣象預測、生命科學、航空航天等領域具有廣泛的應用價值;
在運算速度上,借助創新研制的神經網絡編譯器 CINN,實現性能的顯著提升,在 A100 平臺上 RMSNorm 算子進行性能測試,相較于采用 Python 開發接口組合實現的方式,經過編譯優化后的算子運行速度提升了 4 倍;使用超過 60 個模型進行實驗,使用 CINN 編譯器后超 60% 模型有顯著性能提升,平均提升達 27.4%;
在硬件適配方面,飛槳框架 3.0 推出了多芯片統一適配方案,構建“一次開發,全棧部署”的生態體系。目前已適配超過 60 個芯片系列,覆蓋訓練集群、自動駕駛、智能終端等場景,開發者只需編寫一份代碼,就可以讓程序在不同芯片上順暢運行,輕松實現業務的跨芯片遷移。
截至 2024 年 10 月,飛槳文心生態已凝聚 1808 萬開發者,服務了 43 萬家企事業單位,創建了 101 萬個模型。
飛槳框架 3.0 正式版本已面向開發者開放,并且兼容 2.0 版本的開發接口。
本文鏈接:http://www.tebozhan.com/showinfo-45-11929-0.html百度飛槳框架 3.0 正式版發布,五大特性專為大模型設計
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com