近日，字節跳動豆包大模型團隊宣布推出全新稀疏模型架構UltraMem。該架構解決了MoE推理的高額訪存問題，推理速度較MoE架構提升2-6倍，推理成本最高降83%。Bks28資訊網——每日最新資訊28at.com

Bks28資訊網——每日最新資訊28at.com

UltraMem具有出色的Scaling特性，實驗顯示，在同等計算資源下，訓練規模達2000萬value的UltraMem模型能同時實現領先的推理速度和模型性能。該創新成果已被ICLR 2025接收，為AI領域提供新思路。Bks28資訊網——每日最新資訊28at.com

Bks28資訊網——每日最新資訊28at.com

UltraMem參考PKM設計，但針對其缺陷進行改進，實現更高效訪存和優質檢索，同時降低顯存和部署成本。在降低推理成本和提升速度的同時，UltraMem還保持了模型效果。Bks28資訊網——每日最新資訊28at.com

Bks28資訊網——每日最新資訊28at.com

實驗表明，UltraMem在模型效果和推理速度方面均優于MoE和PKM架構。Bks28資訊網——每日最新資訊28at.com

Bks28資訊網——每日最新資訊28at.com

推理成本的降低將助推AI技術在更多領域應用，尤其是資源受限的場景。對于用戶而言，UltraMem架構的突破和推理速度的提升可使AI應用響應更迅速，交互更流暢，優化使用體驗，提高效率。Bks28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-27-130227-0.html字節豆包推UltraMem架構，降推理成本83%

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 富士康應對關稅挑戰，劉揚偉關注市場趨勢

下一篇： 歐盟減排策略陷入兩難：拒中系EV與依賴其合作并存