OpenAI 發佈並開源醫療測試基準 HealthBench，旨在更好地衡量 AI 系統在醫療健康領域能力
IT之家 5 月 13 日消息，OpenAI 今日宣佈推出了一個專門面向醫療大模型的測試評估集 ——HealthBench 並開源，旨在更好地衡量 AI 系統在醫療健康領域能力。
與以往測試集不同的是，HealthBench 的 5000 段核心測試對話，由來自 60 個國家 / 地區的 26 個專業 262 名醫生打造，極大增強了該測試集的難度、真實性以及豐富度。
與以前的狹窄基準不同，HealthBench 通過 48562 個獨特的醫生編寫的評分標準進行有意義的開放式評估，涵蓋多個健康背景（例如，緊急情況、全球健康）和行為維度（例如，準確性、遵循指示、溝通）。
此外，HealthBench 採用了多輪對話測試，而不是簡單的答題或選擇題模式。IT之家注意到，測試數據顯示大模型在醫療保健領域的表現有了顯著提升。例如，從之前的 GPT-3.5Turbo 的 16% 到 GPT-4o 的 32%，再到 o3 的 60%，整體性能有了顯著進步。尤其是小型模型的進步更為突出，GPT-4.1nano 不僅在性能上超越了 GPT-4o，而且成本降低了 25 倍。
參考資料：
-
《HealthBench: Evaluating Large Language ModelsTowards Improved Human Health》
廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。
