AI網紅能年賺百萬，普通人的新機會來了？
來源｜運營研究社作者 | 張知白編輯 | 楊佩汶設計 | 晏談夢潔2023 年 ，數字人成為了當紅的“流量話題”和“商業機會"。不管是 AI 孫燕姿走紅網絡，還是 AI 數字
7 月 5 日消息，今天的 2024 世界人工智能大會（WAIC 2024）期間，面壁智能聯合創始人、首席科學家劉知遠宣布，開源主打高效低能耗的新一代“面壁小鋼炮”MiniCPM-S 模型，同時發布助力開發者一鍵打造大模型 SuperApp 的全棧工具集 MobileCPM。
據介紹，面壁 2024 年發布了具備 GPT-3 同等性能但參數僅為 24 億的 MiniCPM-2.4B，知識密度提高了約 86 倍。面壁方面更稱，這“并不是極限”—— 其持續優化 Scaling Law 使模型知識密度不斷提升，可不斷訓練出計算更加高效、表現更強（參數規模降低，數值位寬降低，結構更加高效）的基礎大模型。
而此次開源的 MiniCPM-S 采用“稀疏激活”在同等參數下減少大模型的推理能耗，稀疏度越高，每個詞元（token）激活的神經元越少，大模型的推理成本和能耗就越少。
MiniCPM-S 1.2B 采用了高度稀疏架構，通過將激活函數替換為 ReLU 及通過帶漸進約束的稀疏感知訓練，巧妙地解決了此前主流大模型在稀疏激活上面臨的困境。
官方還表示，和同規模的稠密模型 MiniCPM 1.2B 相比，MiniCPM-S 1.2 具備如下特征：
Sparse-高稀疏低能耗：在 FFN 層實現了高達 87.89% 平均稀疏度，推理算力下降 84%；
Speed-神仙推理：更少計算，迅疾響應。純CPU環境下，結合 Powerinfer 推理框架，推理解碼速度提升約 2.8 倍；
Strong-無損強大性能：更少計算量，無損下游任務性能。
MiniCPM-S 1.2B 號稱實現知識密度的“空前提升”—— 達到同規模稠密模型 MiniCPM 1.2B 的 2.57 倍，Mistral-7B 的 12.1 倍。
附開源鏈接：
論文地址：https://arxiv.org/pdf/2402.13516.pdf
模型地址：https://huggingface.co/openbmb/MiniCPM-S-1B-llama-format
PowerInfer可直接運行格式：https://huggingface.co/openbmb/MiniCPM-S-1B-sft-gguf
此外，面壁還開源了號稱業內首個端側大模型工具集 MobileCPM，開發者可以一鍵集成大模型到 App，且實現“開箱即用”。其包含開源端側大模型、SDK 開發套件及翻譯、摘要等豐富的 intent，可一站式靈活定制滿足不同應用場景需求的大模型 App。其為開發者提供了基礎模式、精裝模式、全包配件模式，默認集成面壁新一代高效稀疏架構模型 MiniCPM-S 1.2B。
MobileCPM 已經支持 iOS 系統，安卓版本也即將上線。附：開源地址、TestFlight 外測地址。
本文鏈接：http://www.tebozhan.com/showinfo-45-5022-0.html面壁智能開源“小鋼炮”MiniCPM-S AI 模型，主打高效低能耗
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號