K60至尊版剛預熱 一加Ace2 Pro正面硬剛
Redmi這邊剛如火如荼的宣傳了K60 Ultra的各種技術和硬件配置，作為競品的一加也坐不住了。一加中國區(qū)總裁李杰發(fā)布了兩條微博，表示在自家的一加Ace2上早就已經(jīng)采用了和PixelWo
快科技10月20日消息，據(jù)媒體報道，NVIDIA的新研究可能徹底改變AI的未來，其研究團隊提出了一種名為歸一化Transformer（nGPT）的新型神經(jīng)網(wǎng)絡架構。
這一架構在超球面（hypersphere）上進行表示學習，能夠顯著提升大型語言模型（LLM）的訓練速度，高可達20倍，同時保持了模型的精度。
nGPT架構的核心在于將所有向量，包括嵌入、多層感知機（MLP）、注意力矩陣和隱藏狀態(tài)，歸一化為單位范數(shù)。
這種歸一化處理使得輸入的token在超球面表面上移動，每一層模型都通過位移來貢獻終的輸出預測。
實驗結果表明，nGPT在訓練時所需的步驟比標準Transformer模型減少了4到20倍，具體加速效果取決于序列長度。
例如，在1k上下文中，訓練速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。
研究人員指出，nGPT的優(yōu)化路徑從超球面上的點開始，通過位移來貢獻終的輸出預測，其中位移量由MLP和注意力模塊定義。
這種方法不僅提高了訓練速度，還增強了模型的穩(wěn)定性。
本文鏈接：http://www.tebozhan.com/showinfo-17-124310-0.html有望改寫AI未來！NVIDIA全新nGPT使訓練速度暴增20倍
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 比Java快15倍！國產編程語言MoonBit發(fā)布原生后端
下一篇： 微信吃不飽 視頻號發(fā)力
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號