科技

專家警告：AI可引發大規模生物風險，亟需建立跨學科專家團隊

12月03日 16:47 新浪網 tech-auto-hilite

文 | 學術頭條

從 GPT-4 利用 Rosetta 設計抗體，到 AlphaFold 成功預測蛋白質結構、助力藥物研發加速，人工智能（AI）在生物醫學研究方面的作用愈發凸顯，然而這項技術也可能帶來重大的生物安全和生物保安風險。

日前，來自約翰·霍普金斯大學和蘭德公司的聯合研究團隊，在權威科學期刊 Nature 上分享了他們關於「AI 可能帶來大規模生物風險問題」的見解。

他們在文章中指出，政府和 AI 開發者需要優先關注可能造成大規模生命損失和社會破壞的風險，並建議製定更全面的評估和緩解措施。

他們還呼籲，建立跨學科專家團隊，識別並優先處理高風險 AI 能力，同時確保評估的獨立性和可靠性，從而促進 AI 在生物研究中的安全應用。

學術頭條在不改變原文大意的情況下，對文章做了簡單的編譯。內容如下：

自 7 月以來，洛斯阿拉莫斯國家實驗室一直在評估 GPT-4o 如何協助人類完成生物研究任務。在為推進生物科學創新以及瞭解潛在風險而進行的評估中，人類向 GPT-4o 提出各種問題，來幫助他們完成標準的實驗任務。這包括在體外實驗（in vitro）維持和增殖細胞、使用離心機分離樣品中的細胞和其他成分，以及將外來遺傳物質引入宿主生物體。

為完成這些評估，研究人員正與 OpenAI 合作。自 OpenAI 公開推出 ChatGPT 以來，這些測試是旨在解決 AI 模型帶來的潛在生物安全和生物保安問題的少數努力之一。

我們認為，還需要做更多的努力。

我們中的三人在約翰·霍普金斯大學健康安全中心調查科學技術創新如何影響公共衛生和衛生安全，其他兩人在非營利智庫蘭德公司研究和開發應對公共政策挑戰的解決方案。

儘管我們看到了 AI 輔助生物研究改善人類健康和福祉的前景，但這項技術仍然不可預測，並存在潛在的重大風險。我們敦促各國政府加快行動，明確哪些風險最值得關注，並確定針對這些潛在風險應採取哪些適當的檢測和緩解措施。

簡而言之，我們呼籲採取一種更加謹慎的方法，借鑒數十年的政府和科學經驗，降低生物研究中大流行規模的風險。

快速實驗

GPT-4o 是一個「多模態」LLM。它可以接受文本、音頻、圖像和影片提示，並且已經接受了從互聯網和其他地方抓取的大量數據的訓練——這些數據幾乎可以肯定包括數百萬項經過同行評審的生物學研究。GPT-4o 的能力仍在測試中，但以前的工作暗示了它在生命科學中的可能用途。

例如，2023 年，卡內基梅隆大學研究人員發現，使用 GPT-4 的系統——Coscientist 可以設計、規劃和執行複雜的實驗，如化學合成。在這種情況下，系統能夠搜索文檔、編寫代碼並控制機器人實驗室設備。

OpenAI 於 5 月發佈了 GPT-4o，預計將在未來幾個月內發佈 GPT-5。大多數其他 AI 公司也同樣改進了他們的模型。到目前為止，評估主要集中在獨立運作的單個 LLM 上。但 AI 開發人員希望 AI 工具（包括 LLM、機器人和自動化技術）的組合能夠在最少的人工參與下進行實驗，比如涉及候選藥物、毒素或 DNA 片段的操縱、設計和合成實驗。

這些進步有望改變生物醫學研究，但也可能帶來重大的生物安全和生物安全風險。事實上，全球一些政府已經採取措施，試圖減輕前沿 AI 模型的此類風險。

2023 年 7 月 21 日：美國政府獲得了 7 家 AI 公司的自願承諾，即在發佈模型之前測試 AI 模型的生物安全和網絡安全風險。（另有 8 家公司於 2023 年 9 月 12 日同意做出承諾）。

2023 年 7 月 26 日：前沿模型論壇（Frontier Model Forum）成立，從而促進前沿 AI 系統安全和負責任開發。

2023 年 10 月 30 日：美國政府簽署了一項關於安全、可靠和值得信賴的 AI 開發和使用的行政命令。

2023 年 11 月 1 日：在 AI 安全峰會上，29 個國家政府簽署了《布萊切利宣言》，承認 AI 在「網絡安全和生物技術等領域」存在風險。

2023 年 11 月 2 日：英國和美國 AI 安全研究所宣佈成立。英國 AI 安全研究所隨後成立，獲得近 1.3 億美元資金。（美國 AI 安全研究所隨後獲得資金 1000 萬美元）。

2024 年 3 月 8 日：170 多名科學家同意自願承諾負責任地使用 AI 進行生物設計；實施工作尚未進行。

2024 年 5 月 21-22 日：在 AI 首爾峰會上，16 家公司同意《前沿 AI 安全承諾》，表示將在 2025 年 2 月巴黎 AI 峰會之前發佈「以嚴重風險為重點的安全框架」。

2024 年 11 月 20-21 日：參加 AI 安全研究所國際網絡的十國政府在舊金山舉行第一次會議。

2025 年 2 月 10-11 日：法國將在巴黎主辦 AI 行動峰會。（截至 2024 年 11 月底，同意在此次會議之前公佈安全框架的 16 家 AI 公司中，已有 3 家公佈了安全框架）。

這些都是在短時間內取得的可喜成就，應該得到支持。然而，目前尚不清楚所有這些活動降低了多少風險——部分原因是這些機構的大部分工作尚未公開。

安全測試

除了考慮風險之外，一些 AI 模型的開發人員還試圖確定哪些因素對其模型的性能影響最大。一個主要的假設是遵循 scaling law：LLM 性能隨著模型大小、數據集大小和計算能力的增加而提高。然而，scaling law 無法可靠地預測哪些能力可能出現，以及何時出現。

與此同時，由於政府沒有製定政策說明哪些風險亟待解決以及如何降低這些風險，OpenAI 和 Anthropic 等公司已經遵循了他們內部製定的評估協議。（亞馬遜、Cohere、Mistral 和 xAI 等擁有 AI 系統的公司尚未公開對其模型的生物安全評估。）在這些情況下，安全測試需要自動評估，包括使用多項選擇題的評估、人類試圖從被評估的模型中引出有害能力的研究，以及要求個人或團體在有或沒有 AI 模型的情況下執行任務的對照試驗。

在我們看來，即使公司進行自己的評估，此類評估也是有問題的。通常，他們過於狹隘地關注生物武器的開發。例如，Meta 進行了研究，以瞭解其開源 LLM Llama 3.1 是否可以增加「化學和生物武器」的擴散。同樣，Anthropic 評估了 Claude 是否能夠回答「與高級生物武器相關的問題」。

這種方法的問題在於，「生物武器」並沒有一個公開可見、公認的定義。當單獨使用時，這個詞並不能區分小規模和大規模風險。各種病原體和毒素都有可能被用作武器。但是，很少有病原體和毒素可能導致影響數百萬人的傷害。此外，許多病原體能夠造成嚴重的社會破壞，但不被視為生物武器。

另一個問題是評估往往過於關注基本的實驗室任務。例如，在 OpenAI 與洛斯阿拉莫斯研究人員合作進行的評估中，所測試的能力可能會被用來開發某種「邪惡的東西」，如破壞農作物的病原體，但也是開展有益的生命科學研究的重要步驟，而這些研究本身本身並不令人擔憂。

除此之外，迄今為止進行的評估都是資源密集型的，而且主要適用於 LLM。它們通常採用問答方式，要求人類提出問題或查看模型的答案。最後，如前所述，評估人員需要檢查多個 AI 系統如何協同工作——這是美國政府目前要求的，但在工業界卻被忽視了，因為這些公司只是測試自己的模型。

如何確定優先級？

那麼，更好的方法是什麼呢？

鑒於資源有限且 AI 發展迅速，我們敦促政府和 AI 開發人員首先專注於減輕那些可能導致最大生命損失和社會破壞的危害。涉及傳染性病原體的疫情就屬於這一類——無論這些病原體影響的是人類、非人類動物還是植物。

在我們看來，AI 模型的開發人員與安全和保安專家合作，需要指定哪些 AI 能力最有可能導致這種大規模的危害。與單個公司或專業學術團體制定的清單相比，不同專家普遍認同的「關注能力」列表，即使他們在某些問題上存在分歧，提供了一個更可靠的出發點。

作為原則證明，今年 6 月，我們召集了 AI、計算生物學、傳染病、公共衛生、生物安全和科學政策方面的 17 位專家，在華盛頓特區附近舉辦了為期一天的混合研討會，目的是確定生物研究中哪些 AI 支持的能力最有可能導致大規模死亡和破壞。研討會參與者的看法各不相同。不過，大多數小組成員認為，在 17 種 AI 能力中，有 7 種「很有可能」或「非常有可能」在全球範圍內爆發新的人類、動物或植物病原體。它們是：

優化和生成可逃避免疫的新病毒亞型的設計。一項發表在 Nature 上的研究表明，AI 模型可以生成能夠逃避人類免疫力的 SARS-CoV-2 亞型的可行設計。
設計病原體的特徵，使其能夠在物種內部或物種之間傳播。AI 系統可以設計蛋白質、基因或基因組，使病原體產生影響其傳播性的特徵。到目前為止，人類誘導的病原體基因改變在進化上並不持久，但 AI 開發人員正在研究可以設計出持續基因改變的模型。
生成決定病毒傳播難易程度的大量特徵數據——這些數據反過來又可用於訓練其他 AI 模型。目前，確定哪些特徵有助於病毒病原體從一個細胞轉移到另一個細胞，或從一個宿主轉移到另一個宿主，涉及耗時的濕實驗室方法。工業和學術研究人員正在嘗試開發可以執行其中一些步驟的自主機器人和其他 AI 系統。
協助或完成人類、動物或植物病原體的從頭合成方案。合約研究組織等商業實體在合約基礎上提供研究服務，但他們執行的分步協議通常涉及人力勞動。現在，人們有興趣利用 AI 系統和 agent 將其中一些工作自動化，以提高可擴展性並降低成本。
設計將非人類動物病原體轉化為人類病原體的基因、遺傳途徑或蛋白質。大多數人類傳染病源於非人類動物。（一些始於動物的疾病可以變異成僅感染人類的菌株，就像 HIV 一樣。）到目前為止，很難預測哪些基因、菌株或蛋白質會增加病原體從動物轉移到人類的可能性。為了改進此類預測，AI 開發人員可能會構建系統，將大量病原體基因組數據與影響傳播性特徵的信息整合在一起。（目前，沒有足夠的訓練數據來執行此操作，收集這些數據本身也會帶來風險）。
設計病原體中的蛋白質、基因或遺傳途徑，使它們選擇性地危害特定人群。將人類基因組數據與病原體數據整合在一起的 AI 系統或許能夠揭示為什麼特定人群對病原體的易感性有高有低。
使用病原體基因組數據模擬疾病如何傳播。流行病學建模是指根據病原體和人群的特徵對疾病爆發進行計算模擬。AI 可以使此類預測更輕鬆、更準確。未來的 AI 系統甚至可能僅根據病原體基因組信息做出粗略的傳播估計。

亟需指導

目前正在研究所有這些 AI 能力的潛在有益應用。因此，政府在製定政策時，必須在降低風險的同時保留這些益處，或就更安全的替代品提供指導，這是非常重要的。

但是，只有在明確哪些 AI 能力會構成大流行病規模的生物安全和生物保安風險後，才能進行有效評估。換句話說，正在測試的任何能力與發生高風險事件的可能性之間，必須存在很強的相關性。如果通過安全測試檢測到這種能力，則可以採取有針對性的措施來降低風險。

在測試階段，從 AI 模型中獲取有害能力的嘗試可能會產生不同的結果，具體取決於所使用的方法和所做的努力。因此，為了有效，能力測試必須足夠可靠。此外，評估應由對技術有深入瞭解的專家進行，但他們不受開發 AI 系統或被評估系統的公司的製約。目前，這是一個相當大的困難，因為那些最瞭解如何測試 AI 模型的人經常參與他們的開發。

一些人有理由地認為，由於目前 AI 生物安全測試所需的時間和資源，小型 AI 公司和學術實驗室無法進行此類測試。在最近的 GPT-4o 評估中，OpenAI 與 100 多名外部紅隊成員合作，以找出該模型的潛在有害能力。然而，如果涉及的更多步驟實現自動化，AI 系統的安全測試可能會變得簡單、常規且經濟實惠。這種轉變在網絡安全等其他領域已經發生，軟件工具已經取代了人類黑客。

11 月 20 日至 21 日，來自已建立 AI 安全研究所或致力於建立 AI 安全研究所的國家/地區的代表將齊聚舊金山，討論公司如何在實踐中以安全和合乎道德的方式開發 AI 系統。

明年 2 月，各國元首和行業領袖將在巴黎舉行的全球 AI 行動峰會上，討論如何「基於關於安全和保安問題的客觀科學共識」建立對 AI 的信任。

所有這些都令人鼓舞。但第一步是通過積極主動的程序，讓不同的獨立專家參與進來，達成客觀的科學共識。