快科技8月10日消息,據國內媒體報道,華為將于8月12日在2025金融AI推理應用落地與發展論壇上,發布AI推理領域的突破性技術成果。
據透露,這項成果或能降低中國AI推理對HBM(高帶寬內存)技術的依賴,提升國內AI大模型推理性能,完善中國AI推理生態的關鍵部分。
HBM(High Bandwidth Memory,高帶寬內存)是一種基于3D堆疊技術的先進DRAM解決方案,多層DRAM芯片垂直集成,顯著提升數據傳輸效率。具有超高帶寬與低延遲、高容量密度、高能效比等優勢。
AI推理需頻繁調用海量模型參數(如千億級權重)和實時輸入數據。HBM的高帶寬和大容量允許GPU直接訪問完整模型,可避免傳統DDR內存因帶寬不足導致的算力閑置。對于千億參數以上的大模型,HBM可顯著提升響應速度。
當下,HBM已成為高端AI芯片的標配,訓練側滲透率接近100%,推理側隨模型復雜化加速普及。
然而,其產能緊張和美國出口限制倒逼國內廠商探索Chiplet封裝、低參數模型優化等替代方案。
本文鏈接:http://www.tebozhan.com/showinfo-22-176383-0.html華為即將發布AI推理領域突破性成果:或能降低對HBM內存依賴
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com