9 月 6 日消息,面壁智能官方公眾號昨日(9 月 5 日)發布博文,宣布推出開源 MiniCPM3-4B AI 模型,聲稱“端側 ChatGPT 時刻到來”。
附上 MiniCPM 3.0開源地址:
https://github.com/OpenBMB/MiniCPM
https://huggingface.co/openbmb/MiniCPM3-4B
MiniCPM3-4B 是 MiniCPM 系列的第三代產品,整體性能超過了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125,媲美多款 70 億~90 億參數的 AI 模型。
相比 MiniCPM1.0 / MiniCPM2.0,MiniCPM3-4B 擁有更強大、更多用途的技能集,可用于更廣泛的用途。MiniCPM3-4B 支持函數調用和代碼解釋器。
下面是 3 個版本的模型結構(1->2->3)的區別:
詞表大?。?23K->73K->73K
模型層數:40->52->62
隱藏層節點:2304->1536->2560
最大長度:4k->4K->32k
系統提示詞:不支持->不支持->支持
工具調用和代碼解釋器:不支持->不支持->支持
MiniCPM3-4B 有一個 32k 上下文窗口。MiniCPM3-4B 借助 LLMxMapReduce,不需要占用太高的內存,可以處理理論上的無限上下文。
面壁智能還發布了 RAG 套件 MiniCPM-Embedding 模型和 MiniCPM-Reranker 模型,針對 RAG 場景還發布了微調版 MiniCPM3-RAG-LoRA 模型。
本文鏈接:http://www.tebozhan.com/showinfo-45-6871-0.html“端側 ChatGPT 時刻到來”,面壁智能推出小鋼炮開源 MiniCPM3-4B AI 模型
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 谷歌 Google Photos 美國獲推“詢問照片內容”測試功能:基于 Gemini AI 模型、支持自然語言