百度近日宣布了一項重大舉措,正式對外開源了其文心大模型4.5系列,這一系列涵蓋了多達10款模型,包括擁有47B和3B激活參數(shù)的混合專家(MoE)模型,以及一款0.3B參數(shù)的稠密型模型。尤為百度不僅開放了預(yù)訓(xùn)練權(quán)重,還一并公開了推理代碼,實現(xiàn)了真正的全面開源。
目前,開發(fā)者已經(jīng)可以在飛槳星河社區(qū)、HuggingFace等多個平臺上下載并部署文心大模型4.5系列。同時,百度智能云千帆大模型平臺也提供了開源模型的API服務(wù),進一步降低了使用門檻。
百度此次開源的10款模型,在多個關(guān)鍵維度上均展現(xiàn)出了行業(yè)領(lǐng)先地位。無論是獨立自研的模型數(shù)量,還是模型類型的多樣性、參數(shù)的豐富程度,乃至開源的寬松度和可靠性,百度都表現(xiàn)出了強大的競爭力。
文心大模型4.5系列在MoE架構(gòu)上進行了創(chuàng)新,提出了一種全新的多模態(tài)異構(gòu)模型結(jié)構(gòu)。這種結(jié)構(gòu)不僅適用于從大語言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練,而且在保持或提升文本任務(wù)性能的同時,顯著增強了多模態(tài)理解能力。這一突破主要得益于多模態(tài)混合專家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架以及針對模態(tài)的后訓(xùn)練等關(guān)鍵技術(shù)。
所有文心大模型4.5系列均基于飛槳深度學(xué)習(xí)框架進行訓(xùn)練、推理和部署,實現(xiàn)了高效的資源利用。在大語言模型的預(yù)訓(xùn)練中,模型的FLOPs利用率高達47%,彰顯了飛槳框架的強大性能。
實驗數(shù)據(jù)表明,文心大模型4.5系列在多個文本和多模態(tài)基準(zhǔn)測試中均達到了業(yè)界領(lǐng)先水平。特別是在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理等任務(wù)上,其表現(xiàn)尤為突出。
在文本模型方面,文心大模型4.5系列展現(xiàn)出了強大的基礎(chǔ)能力、高事實準(zhǔn)確性、出色的指令遵循能力以及卓越的推理和編程能力。在多個主流基準(zhǔn)評測中,它甚至超越了DeepSeek-V3、Qwen3等模型,彰顯了其強大的競爭力。
而在多模態(tài)模型領(lǐng)域,文心大模型4.5系列同樣表現(xiàn)出色。它擁有卓越的視覺感知能力和豐富的視覺常識,實現(xiàn)了思考與非思考的統(tǒng)一。在視覺常識、多模態(tài)推理、視覺感知等主流評測中,它的表現(xiàn)優(yōu)于閉源的OpenAI o1模型。
文心大模型4.5系列在輕量模型上也取得了顯著成果。例如,文心4.5-21B-A3B-Base文本模型的效果與同量級的Qwen3相當(dāng),而文心4.5-VL-28B-A3B多模態(tài)模型則是目前同量級中最好的多模態(tài)開源模型,其性能甚至與更大參數(shù)的Qwen2.5-VL-32B模型不相上下。
文心大模型4.5系列的權(quán)重按照Apache 2.0協(xié)議進行開源,這為學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用提供了極大的便利。同時,基于飛槳提供的開源產(chǎn)業(yè)級開發(fā)套件,這些模型可以廣泛兼容多種芯片,進一步降低了模型的后訓(xùn)練和部署門檻。
作為國內(nèi)AI研發(fā)的先行者之一,百度在算力、框架、模型到應(yīng)用的全鏈條布局上構(gòu)建了顯著的AI全棧技術(shù)優(yōu)勢。飛槳作為中國首個自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,經(jīng)過多年的積累,已經(jīng)形成了完善的開源技術(shù)與生態(tài)系統(tǒng)。
此次文心大模型4.5系列的開源發(fā)布,還同步升級了文心大模型開發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy。這些工具為文心大模型4.5系列及開發(fā)者提供了開箱即用的便捷體驗和全流程支持,進一步推動了AI技術(shù)的普及和應(yīng)用。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊魔搭社區(qū):匯聚7萬模型,賦能1600萬開發(fā)者,打造中國AI開源新生態(tài)06-30全球首發(fā)!國家能源集團“擎源”大模型引領(lǐng)發(fā)電行業(yè)智能新篇章06-30AI搜索時代:大語言模型偏好與傳統(tǒng)SEO策略不謀而合06-30中國海洋科技新突破:OceanGPT(滄淵)大模型正式發(fā)布06-30華為重磅開源:盤古7B稠密與72B混合專家大模型,共筑AI生態(tài)新篇章06-30ChatGPT引導(dǎo)心理困擾用戶求助記者,探討AI與心理健康互動新議題06-30百度文心大模型系列最新成果亮相飛槳平臺,開源多款高性能模型06-30OpenAI高管怒批Meta挖角:比作家中遭竊,呼吁員工堅守崗位嚴(yán)拒誘惑06-30英偉達高層集體套現(xiàn)超十億,股價卻持續(xù)高漲引關(guān)注06-30OpenAI租用Google TPU,或撼動英偉達AI芯片市場地位06-30MOKI AI工具上線:圖片秒變專業(yè)視頻,創(chuàng)意廣告模板限時免費用06-30OpenAI首席執(zhí)行官提醒:ChatGPT雖火,但用戶需謹(jǐn)慎對待人工智能風(fēng)險06-30OpenAI CEO提醒:人工智能非萬能,用戶需謹(jǐn)慎使用ChatGPT06-30本文鏈接:http://www.tebozhan.com/showinfo-45-14286-0.html百度文心大模型4.5系列全面開源:10款模型引領(lǐng)AI技術(shù)創(chuàng)新
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com