2 月 5 日消息,百度智能云今日宣布成功點亮昆侖芯三代萬卡集群,這也是國內首個正式點亮的自研萬卡集群。百度智能云將進一步點亮 3 萬卡集群。
首先,突破硬件擴展性瓶頸,如卡間互聯的拓撲限制,避免通信帶寬成為瓶頸;
同時,圍繞芯片及集群功耗,基于萬卡規模常規方案功耗可達十兆瓦或更高,采用創新性散熱方案,從而解決萬卡集群的能效與散熱問題;
完善模型的分布式訓練優化,采用高效并行化任務切分策略,訓練主流開源模型的集群 MFU 提升至 58%;
在提升穩定性方面,提供容錯與穩定性機制,避免由于單卡故障率隨規模指數上升而造成的萬卡集群有效性大幅下降,保障有效訓練率達到 98%;
最后,針對機間通信帶寬需求,建設超大規模 HPN 高性能網絡,優化拓撲結構,從而降低通信瓶頸,帶寬有效性達到 90% 以上。
從昆侖芯科技官方獲悉,本次點亮的昆侖芯三代萬卡集群,采用的是昆侖芯 P800。昆侖芯官網暫未公布該卡的參數。
本文鏈接:http://www.tebozhan.com/showinfo-45-10481-0.html國內首個:百度成功點亮昆侖芯三代萬卡集群,還將點亮 3 萬卡集群
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com