4月9日消息,近年來,模型規(guī)模不斷擴(kuò)大,一種普遍的信念是“力大磚飛”。
盡管OpenAI沒有公布Sora的訓(xùn)練細(xì)節(jié),但在其技術(shù)報(bào)告中提到了:最大的模型Sora能夠生成一分鐘高保真視頻,這表明擴(kuò)大視頻生成模型是構(gòu)建通用世界模擬器的有前景途徑。
然而,谷歌最新的研究發(fā)現(xiàn):并非如此!谷歌研究院和約翰霍普金斯大學(xué)在最新論文中指出:對于潛在擴(kuò)散模型,模型不一定是越大越好。
據(jù)ITBEAR科技資訊了解,關(guān)于縮放定律的爭議一直存在。OpenAI在2020年發(fā)表的論文提出,模型效果與規(guī)模大小、數(shù)據(jù)集大小、計(jì)算量強(qiáng)相關(guān),而與具體結(jié)構(gòu)弱相關(guān)。
縮放定律不僅適用于語言模型,還適用于其他模態(tài)及跨模態(tài)場景。這一概念的提出使研究人員和開發(fā)者能夠更有效地設(shè)計(jì)模型架構(gòu),選擇合適的模型大小和數(shù)據(jù)集規(guī)模,以實(shí)現(xiàn)最佳性能。
谷歌最新研究集中在圖像生成模型上,提出對于潛在擴(kuò)散模型,在計(jì)算資源有限時(shí),增加計(jì)算量應(yīng)該增加數(shù)據(jù)集大小,而不是模型參數(shù)量。
這是否意味著縮放定律失效了?作者的研究表明,在有限的計(jì)算資源下,較小的模型可以優(yōu)于較大的模型;模型大小和訓(xùn)練步驟的選擇需與計(jì)算資源相匹配。
然而,在訓(xùn)練步驟恒定的情況下,大模型仍然具有優(yōu)勢,尤其在處理圖像細(xì)節(jié)方面。
研究者還發(fā)現(xiàn),不同大小的模型在CFG(Classifier-Free Guidance)技術(shù)下受影響基本相同,這一發(fā)現(xiàn)令人意外。
這項(xiàng)研究探索了模型效率與品質(zhì)之間的最佳平衡,為開發(fā)更高效的圖像生成AI系統(tǒng)提供了指導(dǎo)。這與當(dāng)前AI領(lǐng)域的趨勢相契合,即小型語言模型在多項(xiàng)任務(wù)中超越大型對手,旨在推動(dòng)AI技術(shù)的民主化。
本文鏈接:http://www.tebozhan.com/showinfo-45-3911-0.html谷歌新研究沖擊縮放定律!模型規(guī)模真的關(guān)鍵嗎?
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 誰在偷懶?OpenAI的ChatGPT竟然變得越來越懶散?
下一篇: 聯(lián)發(fā)科重磅推出“達(dá)哥”AI服務(wù)平臺,支持頂尖繁體中文大模型MR BreeXe