快科技9月22日消息,在華為全聯(lián)接大會2023期間,華為正式發(fā)布全新架構的昇騰AI計算集群——Atlas 900 SuperCluster,可支持超萬億參數的大模型訓練。
華為常務董事、ICT基礎設施業(yè)務管理委員會主任、企業(yè)BG總裁汪濤介紹,新集群采用全新的華為星河AI智算交換機CloudEngine XH16800,借助其高密的800GE端口能力,兩層交換網絡即可實現(xiàn)2250節(jié)點(等效于18000張卡)超大規(guī)模無收斂集群組網。
新集群同時使用了創(chuàng)新的超節(jié)點架構,大大提升了大模型訓練能力。
此外,發(fā)揮華為在計算、網絡、存儲、能源等領域的綜合優(yōu)勢,從器件級、節(jié)點級、集群級和業(yè)務級全面提升系統(tǒng)可靠性,將大模型訓練穩(wěn)定性從天級提升到月級。
為了加速大模型創(chuàng)新,華為發(fā)布了更開放、更易用的CANN7.0,不僅全面兼容業(yè)界的AI框架、加速庫和主流大模型,還深度開放底層能力,讓AI框架和加速庫可以更直接地調用和管理計算資源,使能開發(fā)者自定義高性能算子。
汪濤表示,隨著人工智能進入大模型時代,大算力正在成為人工智能發(fā)展的核心引擎。華為改變傳統(tǒng)的服務器堆疊模式,以系統(tǒng)架構創(chuàng)新打造AI集群,實現(xiàn)算力、運力、存力的一體化設計,突破大算力瓶頸。
本文鏈接:http://www.tebozhan.com/showinfo-24-11357-0.html突破大算力瓶頸:華為支持超萬億參數大模型訓練 等效于18000張卡
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 5999元起 聯(lián)想YOGA 27 2023一體機今日開售:頂配RTX 4050獨顯
下一篇: 固態(tài)硬盤4K讀寫重要么?