茅臺的元宇宙App火了，也被罵慘了
元宇宙從概念走向大眾生活，并不是一件簡單的事情。技術、世界觀、填充內容、載體形式，每一個環節都需要層層疊疊的邏輯。但正如賽博朋克奠基人威廉·吉布
Mistral 7B 誕生一周年之際，法國 AI 初創公司 Mistral 再次連發兩個輕量級模型 Ministral 3B 和 Ministral 8B，性能趕超 Llama 3 8B。
Mistral 7B 僅僅發布一周年，法國 AI 初創小模型「les Ministraux」就打敗它了。它堪稱是，世界上最好的邊緣模型。
Ministral 3B 和 Ministral 8B 這兩款輕量級模型，專為邊緣設備打造。截至目前，它們正式加入 Mixtral、Pixtral、Codestral、Mathstral 行列，成為 Mistral 一員。
別看僅有 30 億參數，在指令跟隨基準上，完全超越了 Llama 3 8B，以及前輩模型 Mistral 7B。而且 Ministral 3B 和 Ministral 8B 在大模型競技場中的測試，均拿下了媲美 Gemma 2、Llama 3.1 開源模型的成績。
Ministral 3B 和 Ministral 8B 都支持高達 128k 上下文（目前在 vLLM 上為 32k）。
在知識、常識、推理、函數調用、效率等方面，為低于 10B 參數模型設立了新標桿。
而且，Ministral 8B 還有配備了滑動窗口注意機制（sliding-window attention），以實現更快和內存高效的推理。
不論是管理復雜的 AI 智能體工作流，還是創建專門的任務助手，它們均可以被微調到各種用例中。
研究人員在多項基準測試中，評估了 Les Minimrau 的性能。
其中包括知識與常識、代碼、數學、多語言四大方面。
預訓練模型如下圖所示，與 Gema 2 2B、Llama 3.2 3B 相比較，Minstral 3B 在以上基準上，取得了最優成績。
在與 Llama 3.1 8B、Mistral 7B 相比較過程中，僅有代碼能力，Minstral 8B 還有些差距，其余放方面均是性能最高的模型。
如下是，更加直觀可視化柱狀圖，Minstral 8B 在各項評測中，占據首位。
再來看微調后的指令模型，性能比較的結果。
在大模型競技場中，Minstral 3B 在不同基準上，實現了最優。Minstral 8B 僅在 Wild bench 上，略遜于 Gema 2 9B。
另外，在代碼、數學、函數調用方面，兩款新模型性能大幅超越其余模型。
下圖，可以直觀看出指令微調后的 Minstral 3B 比更大的 Mistral 7B 的改進。
如下是指令微調后的 Minstral 8B 模型，與其他模型的性能對比直觀圖。
如今，大模型在實際落地中，不如小模型來的更切實際。越來越多的用戶，希望對關鍵應用程序能夠進行本地優先推理，比如設備上翻譯、不用聯網智能助理，自動機器人等等。
正如官博所述，Les Minimraux 正為這些場景，提供了高計算效率、低延遲的解決方案。
當與 Mistral Large 等更大的模型結合使用時，les Ministraux 還可以作為多步智能體工作流中，進行函數調用的高效中介。
通過微調，它們能以極低的延遲和成本基于用戶意圖，跨多個上下文處理輸入解析、任務路由和調用 API。
價格根據官方公布的價格所示，Minstral 8B 輸入輸出價格為百萬 token，0.1 美元。Minstral 3B 則為百萬 token0.04 美元。
自去年成立以來，Mistral 曾以磁力鏈方式開源了多款媲美 OpenAI 的模型，一路走紅得到 AI 社區的認可。
這家總部位于巴黎的 Mistral，由 Meta、谷歌 DeepMind 前員工創立。
幾個月前，它以 60 億美金估值，完成 6.4 億美元新一輪融資，并隨之推出了一款 GPT-4 級別的模型 ——Mistral Large 2。
此外，他們在今年，還推出了一個專家混合模型 Mixtral 8x22B。
它包含了一個編碼模型 Codestral，以及一個數學推理和科學發現的模型。
不過，今年這家明星公司陷入了巨大爭議，因為它變得不再那么 open。
年初，有消息爆料稱，微軟宣布將收購 Mistral 一些股份，并對其投資，意味著它的模型將在 Azure AI 進行托管。
甚至，還有 Reddit 網友發現，Mistral 已從官網中，移除了致力于開源的承諾。
在一些模型的調用上，Mistral 也開啟了收費模式，包括這次同樣如此。
有網友就此吐槽，不是開源的。
要知道，對于一家初創公司來說，一直堅持開源代碼是一個巨大的挑戰。就比如反面教材 Stability AI，完全放棄了開源的商業模式，也轉向了收費策略。
對于 Mistral 也是如此，若要持續打造優秀的模型，只有這一種選擇。
參考資料：
https://x.com/dchaplot/status/1846575384718172448
https://x.com/GuillaumeLample/status/1846566817650679966
本文鏈接：http://www.tebozhan.com/showinfo-45-9255-0.html開源版 OpenAI 再出神作：小模型吊打 Meta Llama 3，Ministral 系列開啟邊緣 AI 革命
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 華為Mate X6蓄勢待發，11月前后或將驚艷登場？
下一篇： 華為智駕+座艙，高端MPV市場迎新變局？
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號