在人工智能領(lǐng)域，大語言模型的訓(xùn)練與推理成本一直是限制技術(shù)普及的關(guān)鍵因素之一。近日，北京大學(xué)人工智能研究院助理教授張牧涵團隊在鯤鵬昇騰科教創(chuàng)新卓越中心（簡稱“卓越中心”）提供的算力支持下，成功研發(fā)出一套高效的大模型訓(xùn)練推理架構(gòu)，實現(xiàn)了百萬 tokens 輸入成本低至 1 元，為產(chǎn)業(yè)提供了高效能、低成本的解決方案。IgB28資訊網(wǎng)——每日最新資訊28at.com

此研究成果包括三項關(guān)鍵技術(shù)創(chuàng)新。首先，目前廣泛使用的相對位置編碼存在較大的稀疏性，團隊通過將每個注意力頭中的位置信息和非位置信息分離，對位置編碼進行了低秩壓縮，僅使用 3% 的位置信息，即可維持原有表達(dá)能力。該方法通過優(yōu)化昇騰硬件的 flash-attention 算子，使得注意力頭的參數(shù)得到更高效利用。IgB28資訊網(wǎng)——每日最新資訊28at.com

第二，非位置編碼信息在原始模型中通常處于被抑制狀態(tài)。通過將位置編碼與非位置編碼分離，非位置編碼得到了較大的壓縮空間。團隊采用了聯(lián)合 KV 的低秩壓縮方法，僅保留 12.5% 的 KV Cache 即可維持原始模型的能力。這一方法能夠有效利用昇騰硬件高效的計算能力，減輕訪存壓力，顯著提升推理效率。IgB28資訊網(wǎng)——每日最新資訊28at.com

最后，基于昇騰硬件在出色的并行計算能力，團隊實現(xiàn)的 Recurrent Decoding（RD）技術(shù)通過替換 LM-head 提升了訓(xùn)練數(shù)據(jù)利用率并加速了推理。在訓(xùn)練階段，RD 通過將解碼出的多個 tokens 與 target tokens 進行對比，實現(xiàn)了訓(xùn)練數(shù)據(jù)的高效利用；在推理階段，結(jié)合投機推理顯著提高了 tokens 的采樣通過率，進而提升了推理速度。IgB28資訊網(wǎng)——每日最新資訊28at.com

這一成果得到了學(xué)術(shù)界的廣泛關(guān)注，不僅為科研提供了可復(fù)用的高效架構(gòu)，也為 AI 大模型在企業(yè)中的應(yīng)用大幅降低了成本。自去年 6 月成立以來，北京大學(xué)與華為在產(chǎn)業(yè)前沿課題的聯(lián)合攻關(guān)持續(xù)推進，本次成果驗證了昇騰算力平臺支撐尖端科研的技術(shù)實力。卓越中心將繼續(xù)深入開展大模型關(guān)鍵技術(shù)創(chuàng)新，為構(gòu)建中國技術(shù)生態(tài)提供堅實支撐。IgB28資訊網(wǎng)——每日最新資訊28at.com

IgB28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-26-173985-0.html北大張牧涵團隊依托昇騰突破推理效率瓶頸 大模型推理百萬 tokens 成本僅 1 元

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 微算法科技（NASDAQ: MLGO）研究量子信息遞歸優(yōu)化（QIRO）算法，拓展解決新思路

下一篇： 浪潮 KaiwuDB 出席 2025 開放原子開源生態(tài)大會，開源社區(qū)項目挑戰(zhàn)賽正式發(fā)布