據(jù)彭博社援引知情人士消息，3月24日，螞蟻集團成功利用阿里巴巴、華為等國產(chǎn)芯片，結(jié)合混合專家（MoE）架構(gòu)，訓(xùn)練出參數(shù)規(guī)模達2900億的大模型“Ling-Plus”。該模型性能與使用英偉達H800芯片訓(xùn)練的同類模型相當(dāng)，同時訓(xùn)練成本降低了20%。這是繼科大訊飛“星火大模型”之后，國產(chǎn)算力生態(tài)迎來的又一標(biāo)志性成果。
針對外媒報道，螞蟻集團向觀察者網(wǎng)回應(yīng)稱，其持續(xù)優(yōu)化不同芯片的性能，以降低AI應(yīng)用成本，并取得了一定進展。螞蟻方面表示，這些成果將逐步通過開源分享。根據(jù)螞蟻集團Ling團隊發(fā)布的論文，其自研的Ling系列模型在國產(chǎn)芯片（如壁仞科技、天數(shù)智芯、寒武紀(jì)等）支持下，訓(xùn)練1萬億Token的成本從635萬元降至508萬元，降幅達20%，性能仍可媲美阿里通義Qwen2.5-72B和DeepSeek-V2.5。
螞蟻集團的這一技術(shù)突破，不僅在于自研性能領(lǐng)先的大模型，還提出了多項創(chuàng)新方法，以提升資源受限環(huán)境下AI開發(fā)的效率與可及性。實驗表明，其3000億參數(shù)的MoE大模型可在使用國產(chǎn)GPU的低性能設(shè)備上完成高效訓(xùn)練，性能與完全使用英偉達芯片的稠密模型及MoE模型相當(dāng)。螞蟻自研的百靈大模型于2023年通過備案，重點應(yīng)用于生活服務(wù)、金融服務(wù)、醫(yī)療健康等領(lǐng)域。
與此同時，科大訊飛與華為聯(lián)合團隊宣布，成功在昇騰國產(chǎn)算力集群上實現(xiàn)MoE模型的大規(guī)?？绻?jié)點專家并行推理。這是業(yè)界首個完全基于國產(chǎn)算力的解決方案。通過算子融合、混合并行策略和通信計算并行優(yōu)化等創(chuàng)新，科大訊飛在國產(chǎn)算力上實現(xiàn)了顯著性能提升：單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。
科大訊飛表示，這一突破性方案將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時推理效率將提升200%。同時，基于該方案的推理引擎也實現(xiàn)了國產(chǎn)算力上DeepSeek-V3和R1的高效推理。

本文鏈接：http://www.tebozhan.com/showinfo-27-138593-0.html螞蟻集團與科大訊飛推動國產(chǎn)算力生態(tài)發(fā)展

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 江波龍擬赴港上市！凈利暴漲160%！

下一篇： 飛凱材料子公司擬購JNC蘇州公司及相關(guān)專利