2 月 21 日消息,清華大學人工智能產業研究院(AIR)和北京水木分子生物科技有限公司(簡稱:水木分子)昨日宣布推出升級版的生物醫藥多模態開源基礎大模型 BioMedGPT-R1。
此前,在 2023 年,雙方合作發布了開源可商用、生物醫藥多模態百億參數開源基礎大模型 BioMedGPT,水木分子發布了自研千億參數多模態生物醫藥專業大模型 ChatDDFM 和新一代 AI 驅動藥物發現工具 ChatDD。這次 DeepSeek 版 ChatDD-R1 基座模型也已同步上線 ChatDD,用于生物醫藥企業的藥物研發。
BioMedGPT 是清華大學智能產業研究院(AIR)攜手水木分子開源的全球首個可商用多模態生物醫藥百億參數大模型,該模型在生物醫藥專業領域問答能力號稱“比肩人類專家水平”,發布時在自然語言、分子、蛋白質跨模態問答任務上達到 SOTA。
在 BioMedGPT 的基礎上,清華大學 AIR 與水木分子推出了 BioMedGPT-R1,用 DeepSeek R1 蒸餾版本模型更新了 BioMedGPT 中現采用的文本基座模型,從而引入了更優的文本推理能力。
通過跨模態特征對齊,BioMedGPT-R1 實現了生物模態與自然語言文本模態在同一個特征空間的統一融合,探索了生物多模態場景下的模型深度推理能力。
通過訓練對齊翻譯層(Translator),BioMedGPT-R1 將生物模態編碼器(Molecule Encoder 與 Protein Encoder)輸出映射到自然語言表征空間,從而在 DeepSeek R1 基礎上增加了生物模態數據的理解能力。
BioMedGPT-R1 的訓練分為兩個主要步驟:
首先,僅訓練對齊翻譯層 Translator,使其能將編碼后的生物模態表征映射到語義表征空間;
然后,同時微調對齊翻譯層 Translator 和基座大語言模型,激發其在下游任務上的多模態深度推理能力。
清華大學 AIR 和水木分子研究團隊表示,將長期持續維護 OpenBioMed 開源平臺,團隊現階段探索方向是如何在強推理語言模型的基礎上更好地適應性地實現跨模態對齊,團隊正在以 BioMedGPT-R1 為基礎進行系統性研究與綜合評估,目前已經觀察到其在化學分子理解任務上的性能提升,如在 CheBI-20化學分子描述任務上相比上一版本效果提升超 15%,后續也將依托 OpenBioMed 平臺開源 BioMedGPT-R1 模型和生物醫藥研發 Agent 系統框架。
附開源地址如下,當前新版本還未開源:
https://github.com/PharMolix/OpenBioMed
本文鏈接:http://www.tebozhan.com/showinfo-45-11002-0.html清華系團隊 DeepSeek 版多模態生物醫藥大模型 BioMedGPT-R1 發布,后續計劃開源
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com