AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當(dāng)前位置：首頁 > 科技  > 網(wǎng)絡(luò)

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

來源： 責(zé)編： 時間：2025-01-25 09:33:32 101觀看
導(dǎo)讀 快科技1月24日消息，華為AI算法團(tuán)隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。這一算法具有卓越的性能，能夠有效節(jié)省高達(dá)70%的大模型

快科技1月24日消息，華為AI算法團(tuán)隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。kbM28資訊網(wǎng)——每日最新資訊28at.com

這一算法具有卓越的性能，能夠有效節(jié)省高達(dá)70%的大模型推理內(nèi)存占用，為AI大模型的高效運行提供了有力支持。kbM28資訊網(wǎng)——每日最新資訊28at.com

其論文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度學(xué)習(xí)領(lǐng)域國際頂級會議ICLR 2025收錄。kbM28資訊網(wǎng)——每日最新資訊28at.com

華為表示，此算法為業(yè)界首個基于Attention可解釋性的離線靜態(tài)KV Cache壓縮算法，打破了過去AI大模型長序列KV Cache壓縮不理想的現(xiàn)狀。kbM28資訊網(wǎng)——每日最新資訊28at.com

該算法通過檢索頭的設(shè)置，確保上下文中重要且主要的信息不丟失，在保持高精度（誤差小于1%）的情況下，靜態(tài)有效壓縮了大到70%的KV Cache內(nèi)存占用，可以為用戶大大節(jié)約AI大模型推理的成本。kbM28資訊網(wǎng)——每日最新資訊28at.com

目前RazorAttention算法已產(chǎn)品化集成在昇騰MindIE/MindStudio，支持主流8K~1M長序列KV Cache壓縮，32K以上場景增量吞吐提升20%+。kbM28資訊網(wǎng)——每日最新資訊28at.com

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用kbM28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-17-127459-0.html華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 余承東用華為平板畫了一個福字：巧妙融入“2025”

下一篇： 韓國棋院稱會把獎金匯入柯潔賬戶：將修改圍棋規(guī)定

標(biāo)簽：
  • 熱門焦點
Top