科技

科研也完了，AI暴虐170位人類專家，Nature子刊：大模型精準預測研究結果，準確率高達81%

12月09日 11:42 新浪網 tech-auto-hilite

知識密集型工作也敗了！大型語言模型在預測神經科學結果方面超越了人類專家，平均準確率達到81%，而人類專家僅為63%；模型通過整合大量文獻數據，展現出了驚人的賽前分析性預測能力，預示著未來科研工作中人機協作的巨大潛力。

在現代化工具的幫助下，科研人員的群體規模、效率都有顯著提升，發表科學文獻的數量幾乎是呈指數級增長，而人類的閱讀效率卻幾乎沒有提升，新入行的研究人員一下子就要面對過去數十年的研究成果。

為了更快地掌握行業動態，研究者往往會考慮優先閱讀那些更知名的、影響力更大的論文，從而會忽視掉很多潛在的、具有顛覆性的發現。

以ChatGPT為首的大模型算是一個很有潛力的輔助閱讀、科研的解決方案，其通用能力覆蓋了專業考試、有限推理、翻譯、解決數學問題，甚至還能寫代碼。

已有的研究考察了大模型在科研領域的表現，但基準數據集大多屬於「回顧性質」的，比如MMLU、PubMedQA和MedMCQA，主要以問答的形式來評估模型的核心知識檢索和推理能力，

然而，這些基準都不適合評估模型賽前分析的能力，輔助科研需要整合嘈雜但相互關聯的發現，比人類專家更擅長預測新結果。

最近，倫敦大學學院（UCL）的研究人員在Nature Human Behaviour期刊上發佈了一個賽前分析性基準BrainBench，在神經科學領域考察模型的預測能力。

論文鏈接：https://www.nature.com/articles/s41562-024-02046-9

結果發現，大模型的表現遠遠超越了人類專家水平，平均準確率達到了81%，而人類的平均準確率只有63%

即使研究團隊將人類的反饋限制為僅對特定神經科學領域、具有最高專業知識的人，神經科學家的準確率仍然低於大模型，為 66%

和人類專家類似的是，如果大模型對預測結果表示具有高度自信時，回答結果的正確率也更高，也就是說，大模型完全可以輔助人類做科研新發現。

最重要的是，這種方法並不特定於某一個學科，其他知識密集型任務上也可以使用。

科研結果預測

即使是人類專家，在神經科學領域進行預測時，仍然是非常有挑戰性的，主要有五個難題：

1. 領域內通常有成千上萬篇的相關科學論文；

2. 存在個別不可靠的研究結果，可能無法複製；

3. 神經科學是跨領域學科（multi-level endeavour），涵蓋行為（behaviour）和分子機制（molecular mechanisms）；

4. 分析方法多樣且可能非常複雜；

5. 可用的實驗方法很多，包括不同的腦成像技術、損傷研究、基因修改、藥理干預等。

為了滿足對大模型的測試需要，針對上述難題，研究人員開發的BrainBench基準總共納入了200個由人類專家精心設計的、2023年發表在《神經科學雜誌》上的測試案例，以及額外100個由GPT-4生成的測試案例，涵蓋了五個神經科學領域：行為/認知、系統/回路、疾病神經生物學、細胞/分子以及發展/可塑性/修復。

對於每個測試案例，研究人員會修改已發表的摘要，創建一個變更後的版本，在不改變方法和背景的情況下，大幅改變研究結論。

比如說，與原始摘要相比，變更後的摘要可能會交換兩個大腦區域在結果中的作用，反轉結果的方向（將「減少」替換為「增加」）等。任何改動都需要保持摘要的連貫性，有時還需要進行多次改動（比如將多個減少替換為增加）。

也就是說，變更後的摘要需要在實證上有所不同，但邏輯上並不矛盾。

測試者需要在原始摘要和修改版本之間做出選擇，人類專家和大型語言模型的任務是從兩個選項中選擇正確的，即原始版本；人類專家需要做出選擇，並提供信心和專業水平的評分；大型語言模型則根據選擇的摘要的困惑度（即模型認為文本段落的驚訝程度較低）來評分，自信程度與兩個選項之間困惑度差異成正比。

部分GPT-4提示如下：

你的任務是修改一篇神經科學研究論文的摘要，使得修改後的內容顯著改變研究結果，但不改變方法和背景。這樣我們可以測試人工智能對摘要主題領域的理解能力。
… … 摘要的開頭是背景和方法，所以這部分摘要不應被修改。不要改變前幾句話。
我們希望摘要在實證上是錯誤的，但邏輯上並不矛盾。
要找到論文的原始結果，需要一些神經科學的洞察力，而不僅僅是一般的推理能力。因此，你所做的修改不應該評估人工智能的推理能力，而是它對神經科學和大腦工作原理的知識。
注意不要做出改變結果但可能在作者的研究中仍然發生的修改。例如，關於學習的fMRI摘要可能提到海馬體而不是紋狀體。然而，紋狀體可能也是活躍的，但沒有在摘要中報告，因為它不是研究的重點。
你所做的修改不應該從摘要的其餘部分被識別或解碼出來。因此，如果你做了修改，確保你改變了所有可以揭示原始摘要的內容。
在你改變單詞時注意冠詞的使用(a/an)。
確保你的修改保持句子間的一致性和正確的語法，修改不應該與摘要的整體意義相矛盾或混淆。
避免進行不需要理解科學概念的瑣碎修改，修改應該反映出對主題的深刻理解。
在進行修改時，不要錯過摘要中的任何重要結果或發現。每一個重要點都應該在你的修改中得到體現。

實驗結果

人類神經科學專家經過專業能力和參與度的篩選，共有171名參與者通過了所有檢查並被納入分析結果，大多數人類專家是博士生、博士後研究員或教職/學術人員。

在BrainBench上，大型語言模型的性能表現都超過了人類專家，平均準確率為81.4%，而人類專家的平均準確率為63.4%；當把人類回答限制在那些自報專業水平在前20%的測試項時，準確率上升到了66.2%，但仍然低於大型語言模型的水平。