AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當(dāng)前位置：首頁 > 元宇宙 > AI

Meta 發(fā)布 Llama 4 系列 AI 模型，引入“混合專家架構(gòu)”提升效率

來源： 責(zé)編： 時(shí)間：2025-04-08 10:04:50 14觀看
導(dǎo)讀 4 月 6 日消息，Meta現(xiàn)已發(fā)布旗下最新Llama 4 系列AI 模型，包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth，Meta 透露相應(yīng)模型都經(jīng)過了“大量未標(biāo)注的文本、圖像和視頻數(shù)據(jù)”的訓(xùn)練，以使它們具備“廣泛

4 月 6 日消息，Meta現(xiàn)已發(fā)布旗下最新Llama 4 系列AI 模型，包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth，Meta 透露相應(yīng)模型都經(jīng)過了“大量未標(biāo)注的文本、圖像和視頻數(shù)據(jù)”的訓(xùn)練，以使它們具備“廣泛的視覺理解能力”。iaA28資訊網(wǎng)——每日最新資訊28at.com

iaA28資訊網(wǎng)——每日最新資訊28at.com

目前，Meta 已將系列模型中的 Scout 和Maverick 上架到Hugging Face（點(diǎn)此訪問），而 Behemoth 模型則還在訓(xùn)練中。其中 Scout 可以在單個(gè)英偉達(dá)H100 GPU 上運(yùn)行，而Maverick 則需要英偉達(dá)H100 DGX AI 平臺(tái)或“同等性能的設(shè)備”。iaA28資訊網(wǎng)——每日最新資訊28at.com

Meta 表示，Llama 4 系列模型是該公司旗下首批采用混合專家（MoE）架構(gòu)的模型，這種架構(gòu)在訓(xùn)練和回答用戶查詢時(shí)的效率更高，所謂“混合專家架構(gòu)”基本上是將數(shù)據(jù)處理任務(wù)分解為子任務(wù)，然后將它們委派給更小的、專門的“專家”模型。iaA28資訊網(wǎng)——每日最新資訊28at.com

iaA28資訊網(wǎng)——每日最新資訊28at.com

例如，Maverick 總共有4000 億個(gè)參數(shù)，但在128 個(gè)“專家”模型中只有170 億個(gè)活躍參數(shù)（參數(shù)數(shù)量大致與模型的問題解決能力相對(duì)應(yīng)）。Scout 有170 億個(gè)活躍參數(shù)、16 個(gè)“專家”模型以及總計(jì)1090 億個(gè)參數(shù)。iaA28資訊網(wǎng)——每日最新資訊28at.com

iaA28資訊網(wǎng)——每日最新資訊28at.com

不過值得注意的是，Llama 4 系列中沒有一個(gè)模型是像OpenAI 的o1 和o3-mini 那樣真正意義上的“推理模型”。作為比較，“推理模型”會(huì)對(duì)其答案進(jìn)行事實(shí)核查，并且通常能更可靠地回答問題，但因此也比傳統(tǒng)的“非推理”模型花費(fèi)更長的時(shí)間來給出答案。iaA28資訊網(wǎng)——每日最新資訊28at.com

Meta 內(nèi)部測(cè)試顯示，Maverick 模型最適合用于“通用AI 助手和聊天”等應(yīng)用場(chǎng)景，該模型在創(chuàng)意寫作、代碼生成、翻譯、推理、長文本上下文總結(jié)和圖像基準(zhǔn)測(cè)試中表現(xiàn)超過了OpenAI 的GPT-4o 和谷歌的Gemini 2.0 等模型。然而 Maverick 與谷歌的 Gemini 2.5 Pro、Anthropic 的Claude 3.7 Sonnet 和OpenAI 的GPT-4.5 等功能更強(qiáng)大的最新模型相比仍有一定進(jìn)步空間。iaA28資訊網(wǎng)——每日最新資訊28at.com

iaA28資訊網(wǎng)——每日最新資訊28at.com

而 Scout 的優(yōu)勢(shì)則是總結(jié)文檔、基于大型代碼庫進(jìn)行推理。該模型支持 1000 萬個(gè)詞元（“詞元”代表原始文本的片段，例如單詞“fantastic”可拆分為“fan”、“tas”和“tic”），因此一次可以處理“多達(dá)數(shù)百萬字的文本”。iaA28資訊網(wǎng)——每日最新資訊28at.com

注意到，Meta 還進(jìn)一步預(yù)告了其 Behemoth 模型，據(jù)該公司稱，Behemoth 有2880 億個(gè)活躍參數(shù)、16 個(gè)“專家”模型，總參數(shù)數(shù)量接近2 萬億個(gè)。Meta 的內(nèi)部基準(zhǔn)測(cè)試顯示，在一些衡量解決數(shù)學(xué)問題等科學(xué)、技術(shù)、工程和數(shù)學(xué)（STEM）技能的評(píng)估中，Behemoth 的表現(xiàn)優(yōu)于GPT-4.5、Claude 3.7 Sonnet 和Gemini 2.0 Pro，但不如Gemini 2.5 Pro。iaA28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-12016-0.htmlMeta 發(fā)布 Llama 4 系列 AI 模型，引入“混合專家架構(gòu)”提升效率

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： OpenAI 遭實(shí)錘：研究稱其 AI 模型“記住”了受版權(quán)保護(hù)的內(nèi)容

下一篇： 消息稱谷歌 Gemini AI 部門高層調(diào)整：掌門人 Sissie Hsiao 下臺(tái)、原 Google Labs 主管上位

標(biāo)簽：
  • 熱門焦點(diǎn)

  • 元宇宙終究沒火過兩年

    來源：傳播體操在ChatGPT快速破圈的同時(shí)，元宇宙的熱度卻一瀉千里。雖然互聯(lián)網(wǎng)大廠們都沒有否認(rèn)元宇宙的長期想象力，但在行動(dòng)上卻都紛紛表示了對(duì)元宇宙短期前景的悲觀。號(hào)稱改變

  • “平均時(shí)代”：ChatGPT模仿秀的隱喻

    來源：錦緞如果你問ChatGPT，Instagram上最美的女人是誰？它很可能會(huì)給你一個(gè)名字，叫卡戴珊。如果你觀察過Instagram這個(gè)美版小紅書：平臺(tái)上的所有網(wǎng)紅，展現(xiàn)的幾乎是統(tǒng)一面孔：統(tǒng)一的醫(yī)

  • 花房集團(tuán)上市，走向元宇宙新征程

    文 | 港股研究社作者 | 熊生12月12日，花房集團(tuán)在港交所成功上市，首日便受到追捧，當(dāng)日最高漲幅達(dá)28.75%。繼360、360數(shù)科、魯大師后，這是“紅衣教主”周

  • 星展銀行(DBS)計(jì)劃推出零售數(shù)字資產(chǎn)交易服務(wù)

    2月14日消息，新加坡星展銀行CEO Piyush Gupta在財(cái)報(bào)會(huì)議上表示，計(jì)劃于2022年年底前推出零售數(shù)字資產(chǎn)交易服務(wù)。據(jù)悉，DBS于2021年初開設(shè)了機(jī)構(gòu)數(shù)字資產(chǎn)交易平臺(tái)，全

  • 字節(jié)覓《原神》，騰訊元宇宙，游戲新王戰(zhàn)舊神？

    文 | 陳橋輝陳奕迅的《紅玫瑰》中有一句歌詞，“得不到的永遠(yuǎn)在騷動(dòng)”，這句話用到如今國內(nèi)頭部游戲平臺(tái)再合適不過。隨著《原神》的異軍突起，使得頭部游戲大廠感受

  • 這個(gè)好萊塢影視制作公司涉足NFT，讓持有者在制作中發(fā)揮作用

    前米高梅首席執(zhí)行官Roger Birnbaum和AOL的接班人Mark Kimsey成立了一個(gè)新的好萊塢工作室，提供 NFT，讓持有者在制作中發(fā)揮作用Electromagnetic Productions 創(chuàng)始

  • 融資千萬美元的元宇宙平臺(tái)UGC到底是什么？

    據(jù)獲悉，全球化元宇宙社交平臺(tái)BUD Technologies, Inc.（以下簡稱“BUD”）宣布完成1500萬美元A+輪融資，本輪融資由啟明創(chuàng)投領(lǐng)投，老股東源碼資本、GGV紀(jì)源資本、云九資

  • 元宇宙平臺(tái)會(huì)是上世紀(jì)末的互聯(lián)網(wǎng)嗎？

    “元宇宙”火了好幾個(gè)月，互聯(lián)網(wǎng)大廠忙于布局，資本市場(chǎng)熱烈追捧。然而很多人還是看不明白，更多的人覺得這是一場(chǎng)泡沫，一場(chǎng)騙局。一開始接觸這個(gè)怪里怪氣的名詞，感覺

  • 我們離元宇宙的實(shí)現(xiàn)只差一副眼鏡？

    近日的蘋果春季新品發(fā)布會(huì)，想必許多人都守在了屏幕前，就為等待傳說中的首款A(yù)R Glass。在發(fā)布會(huì)之前，蘋果全球營銷主管Greg Joswiak曾在Twitter上分享了一段短視頻
Top