小米官宣：2023年上半年出貨量中國(guó)第一！
今日早間，小米電視官方微博帶來(lái)消息，稱(chēng)2023年小米電視上半年出貨量達(dá)到了中國(guó)第一，同時(shí)還表示小米電視的巨屏風(fēng)暴即將開(kāi)始。“公布一個(gè)好消息2023年#小米電視上半年出貨量中國(guó)
快科技10月20日消息，據(jù)媒體報(bào)道，NVIDIA的新研究可能徹底改變AI的未來(lái)，其研究團(tuán)隊(duì)提出了一種名為歸一化Transformer（nGPT）的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。
這一架構(gòu)在超球面（hypersphere）上進(jìn)行表示學(xué)習(xí)，能夠顯著提升大型語(yǔ)言模型（LLM）的訓(xùn)練速度，高可達(dá)20倍，同時(shí)保持了模型的精度。
nGPT架構(gòu)的核心在于將所有向量，包括嵌入、多層感知機(jī)（MLP）、注意力矩陣和隱藏狀態(tài)，歸一化為單位范數(shù)。
這種歸一化處理使得輸入的token在超球面表面上移動(dòng)，每一層模型都通過(guò)位移來(lái)貢獻(xiàn)終的輸出預(yù)測(cè)。
實(shí)驗(yàn)結(jié)果表明，nGPT在訓(xùn)練時(shí)所需的步驟比標(biāo)準(zhǔn)Transformer模型減少了4到20倍，具體加速效果取決于序列長(zhǎng)度。
例如，在1k上下文中，訓(xùn)練速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。
研究人員指出，nGPT的優(yōu)化路徑從超球面上的點(diǎn)開(kāi)始，通過(guò)位移來(lái)貢獻(xiàn)終的輸出預(yù)測(cè)，其中位移量由MLP和注意力模塊定義。
這種方法不僅提高了訓(xùn)練速度，還增強(qiáng)了模型的穩(wěn)定性。
本文鏈接：http://www.tebozhan.com/showinfo-17-124310-0.html有望改寫(xiě)AI未來(lái)！NVIDIA全新nGPT使訓(xùn)練速度暴增20倍
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 比Java快15倍！國(guó)產(chǎn)編程語(yǔ)言MoonBit發(fā)布原生后端
下一篇： 微信吃不飽 視頻號(hào)發(fā)力
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)