1 月 26 日消息，百川智能今日宣布，Baichuan-Omni-1.5 開源全模態模型正式上線。該模型不僅支持文本、圖像、音頻和視頻的全模態理解，還具備文本和音頻的雙模態生成能力。8ww28資訊網——每日最新資訊28at.com

官方宣稱，其在視覺、語音及多模態流式處理等方面，Baichuan-Omni-1.5 的表現均優于 GPT-4o mini；在多模態醫療應用領域，其具備更突出的領先優勢。8ww28資訊網——每日最新資訊28at.com

Baichuan-Omni-1.5 不僅能在輸入和輸出端實現多種交互操作，還擁有強大的多模態推理能力和跨模態遷移能力。8ww28資訊網——每日最新資訊28at.com

8ww28資訊網——每日最新資訊28at.com

其在音頻技術領域采用了端到端解決方案，可支持多語言對話、端到端音頻合成，還可實現自動語音識別、文本轉語音等功能，且支持音視頻實時交互。8ww28資訊網——每日最新資訊28at.com

據介紹，在視頻理解能力方面，Baichuan-Omni-1.5 通過對編碼器、訓練數據和訓練方法等多個關鍵環節進行深入優化，其整體性能大幅超越 GPT-4o-mini。8ww28資訊網——每日最新資訊28at.com

8ww28資訊網——每日最新資訊28at.com

8ww28資訊網——每日最新資訊28at.com

模型結構方面，Baichuan-Omni-1.5 的模型輸入部分支持各種模態通過相應的 Encoder / Tokenizer 輸入到大型語言模型中。8ww28資訊網——每日最新資訊28at.com

而在模型輸出部分，Baichuan-Omni-1.5 采用了文本-音頻交錯輸出的設計，通過 Text Tokenizer 和 Audio Decoder 同時生成文本和音頻。8ww28資訊網——每日最新資訊28at.com

百川智能構建了一個包含 3.4 億條高質量圖片 / 視頻-文本數據和近 100 萬小時音頻數據的龐大數據庫，且在 SFT 階段使用了 1700 萬條全模態數據。8ww28資訊網——每日最新資訊28at.com

附開源地址如下：8ww28資訊網——每日最新資訊28at.com

GitHub：8ww28資訊網——每日最新資訊28at.com

https://github.com/baichuan-inc/Baichuan-Omni-1.58ww28資訊網——每日最新資訊28at.com

模型權重：8ww28資訊網——每日最新資訊28at.com

Baichuan-Omni-1.5：8ww28資訊網——每日最新資訊28at.com

https://huggingface.co/baichuan-inc/Baichuan-Omni-1d58ww28資訊網——每日最新資訊28at.com

https://modelers.cn/models/Baichuan/Baichuan-Omni-1d58ww28資訊網——每日最新資訊28at.com

Baichuan-Omni-1.5-Base：8ww28資訊網——每日最新資訊28at.com

https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5-Base8ww28資訊網——每日最新資訊28at.com

https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5-Base8ww28資訊網——每日最新資訊28at.com

技術報告：8ww28資訊網——每日最新資訊28at.com

https://github.com/baichuan-inc/Baichuan-Omni-1.5/blob/main/baichuan_omni_1_5.pdf8ww28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-10216-0.html百川智能上線開源全模態模型 Omni-1.5，號稱多項能力超越 GPT-4o mini

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： Hugging Face 推出號稱“世界上最小的視覺語言模型”SmolVLM-256M

下一篇： 印度首富計劃建設“世界最大”數據中心，預計投資 200~300 億美元