AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當(dāng)前位置：首頁 > 元宇宙 > AI

參數(shù)破3000億卻性能平庸？大模型的新革命來了！

來源： 責(zé)編： 時(shí)間：2024-04-19 09:20:39 99觀看
導(dǎo)讀4月17日消息，近日，科技領(lǐng)域?qū)τ谀Ｐ陀?xùn)練的效率和性能展開了新的討論。這主要源于面壁智能發(fā)布的一系列高效、低參數(shù)的大模型，這些模型在保持高性能的同時(shí)，顯著降低了參數(shù)規(guī)模和訓(xùn)練成本。大約一個(gè)月前，馬斯克旗下的xAI團(tuán)隊(duì)

4月17日消息，近日，科技領(lǐng)域?qū)τ谀Ｐ陀?xùn)練的效率和性能展開了新的討論。這主要源于面壁智能發(fā)布的一系列高效、低參數(shù)的大模型，這些模型在保持高性能的同時(shí)，顯著降低了參數(shù)規(guī)模和訓(xùn)練成本。1SD28資訊網(wǎng)——每日最新資訊28at.com

大約一個(gè)月前，馬斯克旗下的xAI團(tuán)隊(duì)開源了名為Grok-1的巨型MoE模型，其參數(shù)量高達(dá)3140億，被譽(yù)為“龐然大物”。然而，令人驚訝的是，盡管Grok-1在參數(shù)規(guī)模上占據(jù)優(yōu)勢，但其性能表現(xiàn)卻僅與MistralAI的8x7B MoE模型相當(dāng)。這一現(xiàn)象引發(fā)了業(yè)內(nèi)對于“參數(shù)數(shù)量與模型性能”關(guān)系的深入反思。1SD28資訊網(wǎng)——每日最新資訊28at.com

1SD28資訊網(wǎng)——每日最新資訊28at.com

在此背景下，面壁智能的最新研究成果顯得格外引人注目。據(jù)悉，面壁智能自2020年開始訓(xùn)練大模型以來，便始終致力于提升模型訓(xùn)練的效率。他們堅(jiān)信，“讓每一個(gè)參數(shù)發(fā)揮最大的作用”，在同等參數(shù)量上實(shí)現(xiàn)更好的性能，才是解決大模型“高效”訓(xùn)練的核心。1SD28資訊網(wǎng)——每日最新資訊28at.com

今年2月，面壁智能發(fā)布了MiniCPM2B模型，該模型在較小的參數(shù)量基礎(chǔ)上實(shí)現(xiàn)了與Mistral-7B相當(dāng)?shù)男阅埽?yàn)證了其“低參數(shù)、高性能”的方法論。更重要的是，面壁智能通過這一系列研究，成功降低了千億大模型的訓(xùn)練成本。1SD28資訊網(wǎng)——每日最新資訊28at.com

4月11日，面壁智能又推出了新一代端側(cè)旗艦大模型系列，包括顯著增強(qiáng)OCR能力的2.8B多模態(tài)模型MiniCPM-V2.0、僅1.2B卻強(qiáng)過llama2-13B的MiniCPM-1.2B模型等。這些模型的推出進(jìn)一步證明了面壁智能在高效訓(xùn)練大模型方面的實(shí)力。1SD28資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR科技資訊了解，面壁智能之所以能夠在模型訓(xùn)練效率和性能上取得顯著成果，得益于他們獨(dú)特的“高效訓(xùn)練”理念以及在小模型上的深入探索。通過小模型驗(yàn)證大模型的訓(xùn)練投入產(chǎn)出比，面壁智能走出了一條獨(dú)特的研發(fā)路線。這不僅使他們在資源有限的情況下實(shí)現(xiàn)了模型的高效訓(xùn)練，還為未來實(shí)現(xiàn)通用人工智能(AGI)奠定了堅(jiān)實(shí)的基礎(chǔ)。1SD28資訊網(wǎng)——每日最新資訊28at.com

近日，面壁智能也完成了新一輪數(shù)億元融資，這將為他們未來的研發(fā)工作提供更多的資金支持。在追求高效訓(xùn)練的道路上，面壁智能正不斷取得新的突破，為大模型領(lǐng)域的發(fā)展注入了新的活力。1SD28資訊網(wǎng)——每日最新資訊28at.com

標(biāo)簽：ScalingLaw
舉報(bào) 0收藏 0打賞 0評論 0
 
 
更多>同類資訊
AI評標(biāo)師來了，國能集團(tuán)每年省5400億！
4月17日消息，近日，國內(nèi)首個(gè)“AI評標(biāo)師”已在國內(nèi)大型企業(yè)國家能源集團(tuán)投入使用。這一創(chuàng)新利用AI技術(shù)進(jìn)行采購場景的優(yōu)化，顯著提升了評審準(zhǔn)確率，為企業(yè)帶來了前所未有的變革。據(jù)統(tǒng)計(jì)，央企和國企的招標(biāo)采購規(guī)模相當(dāng)可觀。2022年，國有企業(yè)的采購金
04-17
MiniMax 稀宇科技推出萬億參數(shù)MoE模型abab 6.5 ，核心能力接近 GPT-4
4月17日消息，國內(nèi)AI初創(chuàng)企業(yè)MiniMax稀宇科技今日宣布，他們已成功研發(fā)出基于MoE(Mixture of Experts)混合專家模型架構(gòu)的abab 6.5系列模型，這標(biāo)志著該公司在人工智能領(lǐng)域取得了重要突破。據(jù)悉，該系列模型的核心能力已經(jīng)開始接近當(dāng)前領(lǐng)先的GPT-4、Cl
04-17
英特爾借助AI技術(shù)，大幅縮短酷睿Ultra處理器設(shè)計(jì)周期
4月17日消息，英特爾在最近的一篇博客中透露，他們已經(jīng)廣泛地將人工智能(AI)技術(shù)應(yīng)用于包括酷睿Ultra處理器在內(nèi)的各種工作中，特別是在處理器的熱設(shè)計(jì)上?？犷ltra處理器作為英特爾的客戶端產(chǎn)品代表，在運(yùn)行過程中重度依賴于睿頻功能。然而，睿頻加
04-17
OPENAI顛覆性創(chuàng)新：異步批量處理，輕松應(yīng)對數(shù)據(jù)洪流！
4月17日消息，OPENAI今日發(fā)布了一項(xiàng)新的API，專為需要處理大量內(nèi)容的開發(fā)者設(shè)計(jì)。該批量處理API允許開發(fā)者一次性提交大量數(shù)據(jù)，并在24小時(shí)內(nèi)接收處理結(jié)果，從而極大地提升了處理效率。這一新功能的推出，不僅為開發(fā)者帶來了便利，同時(shí)也對OPENAI自身
04-17
斯坦福報(bào)告：中國領(lǐng)跑全球AI專利榜，但頂級模型仍顯不足
4月17日消息，斯坦福大學(xué)近日公布了《2024年人工智能指數(shù)報(bào)告》。這份長達(dá)500頁的研究報(bào)告，被譽(yù)為該校至今為止最為詳盡的AI領(lǐng)域分析。它不僅深入探討了人工智能技術(shù)的前沿進(jìn)展，還廣泛涉及了公眾對此技術(shù)的認(rèn)知以及與之相關(guān)的地緣政治動(dòng)態(tài)。報(bào)告顯示
04-17
螞蟻、谷歌等聯(lián)手出擊，AI安全有了新保障？！
4月17日消息，近日，在瑞士盛大舉行的第27屆聯(lián)合國科技大會上，世界數(shù)字技術(shù)院(WDTA)向全球公布了《生成式人工智能應(yīng)用安全測試標(biāo)準(zhǔn)》與《大語言模型安全測試方法》兩大國際標(biāo)準(zhǔn)。據(jù)ITBEAR科技資訊了解，這兩項(xiàng)備受矚目的標(biāo)準(zhǔn)并非一蹴而就，而是由Ope
04-17
大模型安全國際標(biāo)準(zhǔn)首次亮相，螞蟻集團(tuán)、OpenAI等聯(lián)手參編
4月17日消息，近日，第27屆聯(lián)合國科技大會在瑞士日內(nèi)瓦隆重召開，吸引了全球科技領(lǐng)域的目光。在4月16日的會議上，新成立的國際組織世界數(shù)字技術(shù)院(WDTA)公布了兩項(xiàng)重要的國際標(biāo)準(zhǔn)——《生成式人工智能應(yīng)用安全測試標(biāo)準(zhǔn)》和《大語言模型安全測試方法》
04-17
亞馬遜Amazon Music推出AI智能歌單功能“Maestro”測試版
4月17日消息，亞馬遜近日宣布，其旗下音樂應(yīng)用 Amazon Music 已向部分美國用戶開放了AI生成歌單功能“Maestro”的測試。這一新穎功能允許用戶通過輸入多樣化的提示，包括文字、表情符號或它們的組合，迅速生成個(gè)性化的定制歌單。Maestro功能的操作界
04-17
天工SkyMusic音樂大模型公測啟動(dòng)，昆侖萬維打造中國音樂SOTA新標(biāo)桿
4月17日消息，昆侖萬維今日宣布，其天工3.0大模型在性能方面取得了顯著提升，并已向全社會開放公測其旗下的天工SkyMusic音樂大模型。據(jù)了解，天工3.0擁有高達(dá)4000億參數(shù)，已超越擁有3140億參數(shù)的Grok-1，從而成為全球最大的開源MoE大模型。該模型在語
04-17
微軟15億美元助力G42，共同開拓人工智能新領(lǐng)域與全球市場
4月16日消息，科技巨頭微軟公司近日宣布，將向阿聯(lián)酋人工智能(AI)技術(shù)控股公司G42進(jìn)行一筆高達(dá)15億美元(約合人民幣108.75億元)的戰(zhàn)略投資。此舉旨在深化雙方的合作，共同推進(jìn)人工智能技術(shù)的發(fā)展，并將微軟的尖端技術(shù)引入阿聯(lián)酋及全球市場。作為此次投
04-16
OpenAI CEO與COO共話未來：AI成本大降，普及時(shí)代或?qū)⒌絹?/div>
4月16日消息，OpenAI的CEO阿爾特曼和COO布拉德?萊特凱普近日一同參與了YouTube頻道“20VC”的對話節(jié)目。在這次對話中，兩位高管就AI技術(shù)的發(fā)展及其商業(yè)應(yīng)用前景進(jìn)行了深入的探討。阿爾特曼認(rèn)為，當(dāng)前限制AI發(fā)展的主要因素在于地緣政治、社會經(jīng)濟(jì)等方
04-16
蘋果iOS 18將引領(lǐng)AI革命？全新功能曝光！
4月16日消息，據(jù)彭博社的馬克·古爾曼透露，蘋果正計(jì)劃在iOS 18中首次推出全新的人工智能功能，而這些功能將完全不依賴云服務(wù)器運(yùn)行。在今日的“Power on”時(shí)事通訊問答欄目中，古爾曼提到：“全球都在期待蘋果在6月即將發(fā)布的大型人工智能產(chǎn)品，初步
04-16
百度創(chuàng)始人再放話：開源模型將落后？！
4月16日消息，百度于今日舉辦了Create 2024百度AI開發(fā)者大會，百度創(chuàng)始人李彥宏在會上再次重申，開源模型在未來可能會逐漸落后。李彥宏曾公開表示，只有閉源模型才具備盈利能力，從而能夠吸引更多的人才和算力資源。相比之下，開源模型的社區(qū)貢獻(xiàn)率較
04-16
全球首個(gè)AI原生操作系統(tǒng)，你了解DuerOS X嗎？
4月16日消息，近日，在百度舉辦的Create 2023 AI開發(fā)者大會上，小度科技推出了全新的DuerOS X操作系統(tǒng)。該系統(tǒng)是基于百度文心大模型全面升級的成果，被譽(yù)為全球首個(gè)AI原生操作系統(tǒng)。DuerOS X在多模態(tài)感知與擬人化呈現(xiàn)上取得了顯著進(jìn)展，預(yù)期將為人機(jī)
04-16
谷歌豪擲千億美元加速AI研發(fā)，DeepMind領(lǐng)航未來科技
4月16日消息，谷歌旗下AI研究部門DeepMind的首席執(zhí)行官Demis Hassabis近日透露，谷歌計(jì)劃投入逾1000億美元用于人工智能技術(shù)的研發(fā)，這一巨額投資凸顯了硅谷在AI領(lǐng)域的激烈競爭。Hassabis還自豪地指出，谷歌的計(jì)算實(shí)力已經(jīng)超越了微軟等其他行業(yè)巨頭。
04-16
點(diǎn)擊查看更多 +
全站最新
2024年高性價(jià)比家用激光投影怎么選？當(dāng)貝X5 Pro目前家用最好的4K投影
2024年高性價(jià)比家用激光投影怎么選？當(dāng)貝X5 Pro目前家用最好的4K投影
卓威科技：女性支撐的消費(fèi)市場
卓威科技：女性支撐的消費(fèi)市場
自帶AI按鈕，羅技Signature AI Edition M750鼠標(biāo)全新發(fā)布
自帶AI按鈕，羅技Signature AI Edition M750鼠標(biāo)全新發(fā)布
特斯拉上海儲能工廠下月動(dòng)工，預(yù)計(jì)明年初實(shí)現(xiàn)大規(guī)模生產(chǎn)
特斯拉上海儲能工廠下月動(dòng)工，預(yù)計(jì)明年初實(shí)現(xiàn)大規(guī)模生產(chǎn)
“變形金剛”定制版布加迪Veyron GS Vitesse將亮相拍賣場，全球僅此一輛！
“變形金剛”定制版布加迪Veyron GS Vitesse將亮相拍賣場，全球僅此一輛！
豐田積極調(diào)整電動(dòng)車策略，計(jì)劃推出純電版漢蘭達(dá)
豐田積極調(diào)整電動(dòng)車策略，計(jì)劃推出純電版漢蘭達(dá)
熱門內(nèi)容
  • 華為云攜手樂聚機(jī)器人，共探“盤古大模型+夸父人形機(jī)器人”新應(yīng)用場景
  • 谷歌發(fā)布CodeGemma AI模型，打造頂級代碼輔助利器
  • 華為云攜手貴安新區(qū)，共筑全球領(lǐng)先智算高地
  • 谷歌借助AI突破：提前7天預(yù)測洪災(zāi)，全球80國將受益
  • 音樂界的ChatGPT？天工SkyMusic邀您體驗(yàn)AI音樂創(chuàng)作
  • 馬斯克旗下xAI發(fā)布創(chuàng)新模型Grok-1.5V 實(shí)現(xiàn)流程圖到Python代碼的轉(zhuǎn)換
  • 谷歌AI應(yīng)用 Google Vids亮相：PPT技能通用，視頻制作與多人協(xié)作一站式搞定
  • WPS推出AI會員服務(wù)，月費(fèi)25元起，開啟AI辦公新紀(jì)元
  • 微軟或與OpenAI聯(lián)手，斥資千億美元打造“星際之門”AI超算
  • 英美聯(lián)手打造AI安全新標(biāo)桿，科學(xué)合作伙伴關(guān)系正式建立
  • AI新勢力Kimi挑戰(zhàn)百度霸權(quán)，阿里成背后金主
  • 百度不開源文心一言，為何還自信能領(lǐng)先？
  • 百度文心一言推出新功能，秒速定制你的專屬AI聲音
  • 人工智能音樂大殺器！「天工SkyMusic」你敢試嗎？
  • 馬斯克再談AI風(fēng)險(xiǎn)：利大于弊仍值得冒險(xiǎn)
本欄最新
英特爾借助AI技術(shù)，大幅縮短酷睿Ultra處理器設(shè)計(jì)周期
英特爾借助AI技術(shù)，大幅縮短酷睿Ultra處理器設(shè)計(jì)周期
螞蟻、谷歌等聯(lián)手出擊，AI安全有了新保障？！
螞蟻、谷歌等聯(lián)手出擊，AI安全有了新保障？！
亞馬遜Amazon Music推出AI智能歌單功能“Maestro”測試版
亞馬遜Amazon Music推出AI智能歌單功能“Maestro”測試版
OpenAI CEO與COO共話未來：AI成本大降，普及時(shí)代或?qū)⒌絹? /></div><div id=OpenAI CEO與COO共話未來：AI成本大降，普及時(shí)代或?qū)⒌絹?/div>
蘋果iOS 18將引領(lǐng)AI革命？全新功能曝光！
蘋果iOS 18將引領(lǐng)AI革命？全新功能曝光！
百度創(chuàng)始人再放話：開源模型將落后？！
百度創(chuàng)始人再放話：開源模型將落后？！

本文鏈接：http://www.tebozhan.com/showinfo-45-5186-0.html參數(shù)破3000億卻性能平庸？大模型的新革命來了！

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： Sam Altman爆料：OpenAI的下一步將震驚世界！

下一篇： AI評標(biāo)師來了，國能集團(tuán)每年省5400億！

標(biāo)簽：
  • 熱門焦點(diǎn)

  • AI界地震！美國對OpenAI展開調(diào)查！監(jiān)管風(fēng)暴來襲！

    來源：清元宇宙還記得5月OpenAI在國會山聽證會上的自信、坦誠、游刃有余的問答嗎？那時(shí)的Sam Altman可謂意氣風(fēng)發(fā)，在耐心、友好的國會議員面前，就AI立法、大模型安全性問題侃侃而

  • 一份全面清單：Web3行業(yè)高薪酬的13種工作

    來源：區(qū)塊鏈騎士這可能會讓許多人感到震驚，但除了成為開發(fā)人員之外，Web3還有其他高薪工作。Web3可能是現(xiàn)代就業(yè)市場中跨學(xué)科最多的領(lǐng)域，換句話說，它由許多個(gè)在不同領(lǐng)域中具有不同

  • 新周期，誰在堅(jiān)守窄門？

    來源：錦緞今日的投資者恐怕已經(jīng)忘記了，在OpenAI創(chuàng)造出ChatGPT這一殺器的前夜，生成式AI也曾經(jīng)是一道窄門，窄到連馬斯克都差點(diǎn)失去了信心。在當(dāng)時(shí)的輿論眼中，AGI的道路不夠性感，不夠

  • 在元宇宙賣酸奶，這波聯(lián)動(dòng)燃爆了！

    來源：品牌頭版 或許，每個(gè)人心中都住著一個(gè)小饞孩。可能是童年時(shí)百吃不厭，覺得新奇又有趣的跳跳糖；可能是味道香甜，咬下一口嘎嘣脆的扁桃仁；還有可能，是某種不知為什么，就是很愛吃的

  • 元宇宙里掀起回憶殺？這波虛擬懷舊營銷主打一個(gè)極限反差

    來源：首席品牌官從被稱為&ldquo;元宇宙元年&rdquo;的2021年開始，幾乎所有品牌都在迫不及待地&ldquo;入駐&rdquo;元宇宙。而一提及品牌們的元宇宙玩法，相信多數(shù)人腦海里首先浮現(xiàn)

  • 10億基金，李彥宏呼喚下一個(gè)AI獨(dú)角獸

    &copy;?深響原創(chuàng) &middot; 作者｜何文 AI太熱了。 在海外，OpenAI估值已超270億美元、英偉達(dá)市值破萬億、微軟把GPT整合進(jìn)了全線產(chǎn)品。在國內(nèi)，百度、阿里、華為、商湯等大公司，以及

  • 音樂NFT平臺里的下一匹黑馬是誰？

    NFT 銷售額在 2021 年開始暴漲，從 2018 年的僅 4069 萬美元的交易量，到 2021 年，NFT 交易量飆升至 442 億美元以上，并不斷刷新記錄并達(dá)到新的高度。預(yù)測到2025 年N

  • 元宇宙畫廊體驗(yàn)報(bào)告：有點(diǎn)頭疼。

    2 月 10 日，Hrishi Rajasekar 在舊金山鑄幣廠的沉浸式 NFT 展覽 Verse 觀看增強(qiáng)現(xiàn)實(shí)藝術(shù)品?！拔覀儸F(xiàn)在在虛擬世界中嗎？時(shí)間好像變長了” 我問身后排隊(duì)的人。我

  • 花旗集團(tuán)前高管加入Provenance區(qū)塊鏈，擔(dān)任CEO

    No.1 花旗集團(tuán)前高管加入Provenance區(qū)塊鏈，擔(dān)任CEO3月1日消息，Provenance區(qū)塊鏈基金會已任命花旗集團(tuán)前高管摩根·麥肯尼（Morgan McKenney）為新任首席執(zhí)行官。麥肯
Top