4月17日消息,國內AI初創企業MiniMax稀宇科技今日宣布,他們已成功研發出基于MoE(Mixture ofExperts)混合專家模型架構的abab6.5系列模型,這標志著該公司在人工智能領域取得了重要突破。據悉,該系列模型的核心能力已經開始接近當前領先的GPT-4、Claude-3和Gemini-1.5等模型。
abab 6.5系列包含兩個重要模型:abab 6.5和abab 6.5s。其中,abab 6.5模型擁有萬億級別的參數,能夠支持長達200ktokens的上下文長度,展現出強大的語言處理能力。而abab 6.5s模型則在保持與abab6.5相同訓練技術和數據的基礎上,實現了更高的效率。它同樣支持200ktokens的上下文長度,并且能在1秒內處理近3萬字的文本,為實時、高效的語言處理提供了可能。
據ITBEAR科技資訊了解,自今年1月MiniMax發布國內首個基于MoE架構的abab6模型以來,該公司一直致力于通過改進模型架構、重構數據pipeline、優化訓練算法及并行訓練策略等手段,加速ScalingLaws的過程。這一系列努力終于取得了階段性的成果,即abab 6.5系列的誕生。
為了驗證abab6.5系列模型的性能,MiniMax官方進行了業界常用的“大海撈針”測試。在該測試中,官方在一段很長的文本中插入一個與該文本無關的句子,并嘗試通過自然語言向模型提問,以檢驗模型是否能夠準確找出這個“針”。經過891次測試,abab6.5均能夠準確地回答出這個“針”,展現出極高的精確度和可靠性。
隨著abab 6.5與abab6.5s模型的推出,MiniMax稀宇科技將進一步鞏固其在人工智能領域的地位。這兩個模型將陸續更新至MiniMax旗下的產品中,包括海螺AI和MiniMax開放平臺。
本文鏈接:http://www.tebozhan.com/showinfo-45-5188-0.htmlMiniMax 稀宇科技推出萬億參數MoE模型abab 6.5 ,核心能力接近 GPT-4
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com