據科技媒體marktechpost報道，蘋果工程師與法國索邦大學合作開展了一項研究，發現從頭訓練的早期融合模型在多模態AI處理中展現出更高的計算效率和擴展性。
多模態AI的核心在于同時處理圖像、文本等異構數據，但如何有效整合這些數據仍是一大技術難題。目前主流方法是后期融合策略，即通過組合預訓練的單模態模型（如視覺編碼器和語言模型）來實現。然而，這種方法不僅難以實現真正的多模態理解，還因單模態預訓練帶來的偏差限制了跨模態依賴關系的捕捉能力。此外，隨著系統規模擴大，不同組件的參數和擴展特性差異顯著，導致計算資源分配復雜，尤其在深度多模態推理任務中性能受限。
蘋果聯合研究團隊通過系統實驗，對早期融合和后期融合模型進行了對比分析。結果表明，從頭訓練的早期融合模型在低計算預算下表現更優，且擴展性更強。同時，研究還探索了專家混合（MoE）稀疏架構的潛力，發現其能夠通過動態參數分配對不同模態進行專項優化，顯著提升性能，尤其在小規模模型中優勢明顯。
實驗數據顯示，稀疏模型更傾向于優先擴展訓練數據而非活躍參數，這與稠密模型的擴展模式形成對比。研究團隊訓練了從0.3億到40億活躍參數的多模態模型，驗證了早期融合和稀疏架構在多模態處理中的潛力。結果表明，稀疏模型在等效推理成本下持續優于密集模型，展現出處理異構數據的強大能力。

本文鏈接：http://www.tebozhan.com/showinfo-27-144913-0.html蘋果聯合索邦大學研究：早期融合模型或成多模態AI新方向

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 英諾賽科1200V氮化鎵產品量產

下一篇： 小鵬汽車回應特朗普關稅政策影響：已全面分析供應鏈