3月31日消息,近日,Databricks發(fā)布了一款全新的通用大語言模型DBRX,被譽為“當前最強開源AI”。據(jù)悉,在各種嚴格的基準測試中,該模型的表現(xiàn)均超越了“市面上所有的開源模型”。
DBRX是一款基于Transformer架構(gòu)的大語言模型,它采用了先進的MoE(Mixture ofExperts)技術(shù),并配備了驚人的1320億個參數(shù)。更該模型在龐大的12T Token源數(shù)據(jù)上進行了深入的預(yù)訓(xùn)練。
據(jù)ITBEAR科技資訊了解,研究人員對DBRX進行了全面的測試。與LLaMA2-70B、Mixtral、Grok-1等市場上主流的開源模型相比,DBRX在語言理解(MMLU)、程式設(shè)計(Humaneval)以及數(shù)學(xué)邏輯(GSM8K)等多個關(guān)鍵基準測試上均展現(xiàn)出了卓越的性能。DBRX在上述三項基準測試中的表現(xiàn)甚至超越了行業(yè)巨頭OpenAI的GPT-3.5。
Databricks AI部門副總裁NaveenRao向知名科技媒體TechCrunch透露,DBRX的研發(fā)過程歷時兩個月,并投入了高達1000萬美元的成本。雖然DBRX在各項測試中取得了令人矚目的成績,但目前該模型仍需要使用四塊英偉達H100GPU才能運行,這意味著在未來仍有進一步的優(yōu)化空間。
本文鏈接:http://www.tebozhan.com/showinfo-45-3811-0.htmlDBRX重磅來襲:開源AI界的新霸主,超越GPT-3.5的壯舉!
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 馬斯克再談AI風險:利大于弊仍值得冒險