5 月 13 日消息，OpenAI 今日宣布推出了一個專門面向醫(yī)療大模型的測試評估集 ——HealthBench 并開源，旨在更好地衡量 AI 系統(tǒng)在醫(yī)療健康領(lǐng)域能力。NF228資訊網(wǎng)——每日最新資訊28at.com

NF228資訊網(wǎng)——每日最新資訊28at.com

與以往測試集不同的是，HealthBench的 5000 段核心測試對話，由來自 60 個國家 / 地區(qū)的 26 個專業(yè) 262 名醫(yī)生打造，極大增強(qiáng)了該測試集的難度、真實(shí)性以及豐富度。NF228資訊網(wǎng)——每日最新資訊28at.com

與以前的狹窄基準(zhǔn)不同，HealthBench 通過 48562 個獨(dú)特的醫(yī)生編寫的評分標(biāo)準(zhǔn)進(jìn)行有意義的開放式評估，涵蓋多個健康背景（例如，緊急情況、全球健康）和行為維度（例如，準(zhǔn)確性、遵循指示、溝通）。NF228資訊網(wǎng)——每日最新資訊28at.com

此外，HealthBench采用了多輪對話測試，而不是簡單的答題或選擇題模式。注意到，測試數(shù)據(jù)顯示大模型在醫(yī)療保健領(lǐng)域的表現(xiàn)有了顯著提升。例如，從之前的 GPT-3.5Turbo 的 16% 到 GPT-4o 的 32%，再到 o3 的 60%，整體性能有了顯著進(jìn)步。尤其是小型模型的進(jìn)步更為突出，GPT-4.1nano 不僅在性能上超越了 GPT-4o，而且成本降低了 25 倍。NF228資訊網(wǎng)——每日最新資訊28at.com

參考資料：NF228資訊網(wǎng)——每日最新資訊28at.com

《HealthBench: Evaluating Large Language ModelsTowards Improved Human Health》NF228資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-12849-0.htmlOpenAI 發(fā)布并開源醫(yī)療測試基準(zhǔn) HealthBench，旨在更好地衡量 AI 系統(tǒng)在醫(yī)療健康領(lǐng)域能力

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： OpenAI 擴(kuò)展 ChatGPT AI 深度研究連接器，集成微軟 OneDrive 和 SharePoint

下一篇： 昆侖萬維宣布開源 Matrix-Game 大模型：工業(yè)界首個開源的 10B+ 空間智能大模型，支持《我的世界》