快科技7月6日消息,日前,一項發布于GitHub的研究引發業界關注。
該研究作者認為,華為推出的盤古大模型(Pangu Pro MoE)與阿里巴巴發布的通義千問Qwen-2.5 14B模型在注意力參數分布上有相關性,超正常范圍。
針對網上有聲音質疑華為盤古大模型存在抄襲行為,華為盤古團隊發布《關于盤古大模型開源代碼相關討論的聲明》進行回應。
官方表示,盤古Pro MoE開源模型是基于昇騰硬件平臺開發、訓練的基礎大模型,并非基于其他廠商模型增量訓練而來。
在架構設計、技術特性等方面做了關鍵創新,是全球首個面向昇騰硬件平臺設計的同規格混合專家模型,創新性地提出了分組混合專家模型(MoGE)架構,有效解決了大規模分布式訓練的負載均衡難題,提升訓練效率。
聲明指出,盤古Pro MoE開源模型部分基礎組件的代碼實現參考了業界開源實踐,涉及其他開源大模型的部分開源代碼。
我們嚴格遵循開源許可證的要求,在開源代碼文件中清晰標注開源代碼的版權聲明。
這不僅是開源社區的通行做法,也符合業界倡導的開源協作精神。
我們始終堅持開放創新,尊重第三方知識產權,同時提倡包容、公平、開放、團結和可持續的開源理念。
據了解,6月30日,華為正式開源盤古70億參數的稠密模型、盤古Pro MoE 720億參數的混合專家模型,同時開放基于昇騰AI平臺的模型推理技術。
此次是華為首次將盤古大模型的核心能力開源。
本文鏈接:http://www.tebozhan.com/showinfo-22-166889-0.html被指抄襲阿里通義千問 華為盤古回應
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com