幾千人盲投,Kimi K2 超越 DeepSeek 拿下全球開源第一!
歪果網友們直接炸了,評論區秒變夸夸打卡現場:
今天,競技場終于更新了 Kimi K2 的排名情況 ——
開源第一,總榜第五,而且緊追馬斯克 Grok 4 這樣的頂尖閉源模型。
并且各類單項能力也不差,能和一水兒閉源模型打得有來有回:
連續多輪對話并列第一,o3 和 Grok 4 均為第四;
編程能力第二,和 GPT 4.5、Grok 4 持平;
應對復雜提示詞能力第二,和 o3、4o 位于同一梯隊;
……
甚至眼尖的朋友也發現了,唯二闖入總榜 TOP 10 的開源模型都來自中國。(DeepSeek R1 總榜第 8)
當然了,即使拋開榜單不談,Kimi 這款新模型過去一周也確實火熱 ——
K2 過去一周真熱啊公開可查戰績包括但不限于下面這些:
從實打實的數據來看,發布這一周里,Kimi K2 在開源社區就獲得了相當關注度和下載量。
GitHub 標星 5.6K,Hugging Face 下載量近 10 萬,這還不算它在中國社區的應用。
連 AI 搜索引擎明星創企 Perplexity CEO 也親自為它站臺,并透露:
Kimi K2 在內部評估中表現出色,Perplexity 計劃接下來基于 K2 模型進行后訓練。
甚至由于訪問的用戶太多了,逼得 Kimi 官方也出來發公告:
訪問量大 + 模型體積大,導致 API 過慢。
……
不過就在一片向好之時,人們關于“Kimi K2 采用了 DeepSeek V3 架構”的質疑聲再度升溫。
對此,我們也找到了 Kimi 團隊成員關于 K2 架構的相關回應。
總結下來就是,確實繼承了 DeepSeek V3 的架構,不過后續還有一系列參數調整。
p.s. 以下分享均來自知乎 @劉少偉,內容經概括總結如下~
一開始,他們嘗試了各種架構方案,結果發現 V3 架構是最能打的(其他頂多旗鼓相當)。
所以問題就變成了,要不要為了不同而不同?
經過深思熟慮,團隊給出了否定答案。理由有兩點:
一是 V3 架構珠玉在前且已經經過大規模驗證,沒必要強行“標新立異”;二是自己和 DeepSeek 一樣,訓練和推理資源非常有限,而經過評估 V3 架構符合相關成本預算。
所以他們選擇了完全繼承 V3 架構,并引入適合自己的模型結構參數。
具體而言,K2 的結構參數改動有四點:
增加專家數量:團隊驗證了在激活參數量不變的情況下,MoE 總參數增加仍有益于 loss 下降。
注意力頭 head 數減半:減少 head 數節省的成本,剛好抵消 MoE 參數變大帶來的開銷,且效果影響很小。
只保留第一層 Dense:只保留第一層為 dense,其余都用 MoE,結果對推理幾乎無影響。
專家無分組:通過自由路由 + 動態重排(EPLB)可以應對負載不均衡,同時讓專家組合更靈活,模型能力更強。
最終得到的推理方案就是,在相同專家數量下:
雖然總參數增大到 1.5 倍,但除去通信部分,理論的 prefill 和 decode 耗時都更小。即使考慮與通信 overlap 等復雜因素,這個方案也不會比 V3 有顯著的成本增加。
就是說,這是一種更“精打細算”的結構調優。
而且這種放棄自己的模型架構路線,徹底走 DeepSeek 路線的做法,也被國內網友評價為“相當大膽”。
△ 來源:知乎網友 @蛙哥
OK,以上關于 Kimi 和 DeepSeek 架構之爭的問題落定后,我們再把目光拉回到這次最新排名。
開源追平 or 超越閉源 ing一個很明顯的趨勢是:「開源 = 性能弱」的刻板印象正在被打破,開源模型已經越來越厲害了。
不僅榜單上的整體排名在上升,而且分數差距也越來越小。
仔細看,模型 TOP 10 總分均為 1400+,開源和閉源幾乎可以看成位于同一起跑線。
而且這次拿下開源第一的 Kimi K2,總分已經非常接近 Grok 4、GPT 4.5 等頂尖閉源模型了。
換句話說,以前我們可能還要在模型能力和成本之間作取舍,但隨著開源力量的崛起,多思考一秒鐘都是對開源的不尊重(doge)。
與此同時,越來越多的行業人士也表達了對開源崛起的判斷。
艾倫人工智能研究所研究科學家 Tim Dettmers 表示:
開源擊敗閉源將變得越來越普遍。
Perplexity CEO 也多次在公開場合表示:
開源模型將在塑造 AI 能力的全球擴散路徑中扮演重要角色。它們對于因地制宜地定制和本地化 AI 體驗至關重要。
而在已經逐漸崛起的開源模型領域,TOP 10 中唯二開源、且都是國產模型的含金量還在上升。
參考鏈接:
[1]https://x.com/lmarena_ai/status/1945866381880373490
[2]https://www.zhihu.com/question/1927140506573435010/answer/1927892108636849910
[3]https://zhuanlan.zhihu.com/p/1928863438324623337
本文來自微信公眾號:量子位(ID:QbitAI),作者:一水
本文鏈接:http://www.tebozhan.com/showinfo-45-14683-0.htmlDeepSeek 丟了開源第一王座,但繼任者“Kimi K2”依然來自中國
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com