3 月 31 日消息,Databricks 近日在推出了一款通用大語言模型 DBRX,號稱是“目前最強(qiáng)開源AI”,據(jù)稱在各種基準(zhǔn)測試中都超越了“市面上所有的開源模型”。
從官方新聞稿中得知,DBRX 是一個基于 Transformer 的大語言模型,采用 MoE(Mixture of Experts)架構(gòu),具備 1320 億個參數(shù),并在 12T Token 的源數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。
研究人員對這款模型進(jìn)行測試,相較于市場上已有的 LLaMA2-70B、Mixtral、Grok-1 等開源模型,DBRX 在語言理解(MMLU)、程式設(shè)計(HumanEval)及數(shù)學(xué)邏輯(GSM8K)等基準(zhǔn)測試上的表現(xiàn)較為突出。官方同時提到,DBRX 在上述 3 項(xiàng)基準(zhǔn)測試中也超越了 OpenAI 的 GPT-3.5。
Databricks AI 部分副總裁 Naveen Rao 向外媒 TechCrunch 透露,該公司花了兩個月及 1000 萬美元的成本來訓(xùn)練 DBRX,雖然目前 DBRX 在整體成績方面發(fā)揮較好,不過目前該模型需要使用 4 塊英偉達(dá) H100 GPU 運(yùn)行,因此還有待優(yōu)化空間。
本文鏈接:http://www.tebozhan.com/showinfo-45-3786-0.htmlDatabricks 推出 1320 億參數(shù)大語言模型 DBRX,號稱“現(xiàn)階段最強(qiáng)開源 AI”
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 防止聊天機(jī)器人“造謠”,谷歌 Deepmind、斯坦福大學(xué)研究人員推出 AI 事實(shí)核查工具