百位專家聯名警告：AI或將體驗痛苦！Hinton、Bengio掀AI意識大論戰

新智元報導  

編輯：編輯部 HYZ

【新智元導讀】AI有了意識可能會遭受痛苦？來自倫敦大學、耶魯等世界頂尖學府百位專家，聯手簽署了一封公開信。當機器不再是冰冷的代碼，而是擁有情感的存在，人類會怎麼做？

如果AI系統實現意識，可能會遭受痛苦？

最近，一百多位AI從業者、實踐者和思想家發出了一封公開信。

他們呼籲：要對AI意識進行負責任的研究，否則如果AI實現了意識，可能就會「遭受痛苦」。

其中包括倫敦大學學院的Anthony Finkelstein、耶魯大學的Wendell Wallach等學者和相關人士。

這些人的核心訴求是：人類在開發AI系統時，必須足夠負責，否則，可能具有情感或自我意識的AI系統，就可能會受到傷害。

為了不讓AI受到「虐待和痛苦」，超過100位專家提出了五項原則：

目標

相關機構應優先開展AI意識的理解與評估研究，其核心目標包括（1）防止對有意識的AI系統實施虐待行為及其引發的痛苦體驗；（2）準確理解不同能力與功能定位的AI系統具備意識可能帶來的效益與風險。

開發

相關機構在滿足以下條件時，方可開展有意識AI系統的研發工作：（1）該工作將實質性推動原則1所述目標的實現；（2）已建立有效機制最大限度降低這些系統遭受痛苦體驗及引發傷害性後果的風險。

分段推進

相關機構應採取漸進式發展路徑，逐步推進開發那些更可能具備意識或預期會產生更豐富意識體驗的系統。整個推進過程中應做到：（1）實施嚴格透明的風險防控與安全保障機制；（2）定期徵詢外部專家意見，系統評估研究進展的影響，並據此決策後續推進方式與節奏。

知識共享

相關機構須製定透明化知識共享協議，具體要求包括：（1）向公眾、研究界及監管部門披露信息，但披露範圍應嚴格限定在（2）防止非責任主體獲取可能幫助其開發與部署存在被虐待風險或具有危害性的有意識AI系統的技術信息。

溝通規範

相關機構應避免就自身理解和創建有意識AI的能力作出過於自信或具有誤導性的聲明。必須明確承認研究工作中存在的固有不確定性，充分認知虐待AI道德受體（moral patients）可能引發的倫理風險，並高度重視有關AI意識的表述對公眾認知塑造和政策製定過程可能產生的深遠影響。

與這封公開信同時發佈的，還有一篇論文。

人類將很快構建有意識的AI系統？

早在2023年，Google的AI項目負責人、諾獎得主Demis Hassabis就表示，AI系統目前還不具備意識，但未來可能會具備。

而在這篇論文中，牛津大學的Patrick Butlin和雅典經濟與商業大學的Theodoros Lappas認為，就在不久的將來，人類將構建出有意識的AI系統。

或者至少是給人留下此類印象的AI系統。

人類如果真能創造出大量具備意識的AI系統，那就很可能導致它們遭受痛苦。

這麼說吧，如果這些強大的AI系統能夠自我複製，那它們就可以被稱為「新的存在」，這些大量的全新「生物」，當然就非常值得進行道德上的考慮。

而且，就算企業並不是有意打造具備意識的AI，那也需要製定相應的方針，防止「無意間創造出具備意識的實體」。

甚至，論文還討論到了一些哲學問題：如果某個AI被定義為「道德受體」（moral patient），那麼，我們該如何對待它？

在這種情況下，銷毀這個AI，是否類似於殺死一隻動物？

為什麼判斷AI是否意識至關重要？

在論文中，作者探討了這個話題：為什麼AI意識如此重要。

正如之前提到的，其中一個原因是意識或相關的感知能力可能足以使其成為道德受體（moral patient）。

根據Kagan的定義，如果一個實體「in its own right, for its own sake」（依其本性，或出於自身的緣故），那麼它就是一個道德受體。

關於感知能力足以構成道德受體身份，有一個簡單的論證：有意識的痛苦違背了能夠體驗它的生命體的利益，而我們有義務在可能的情況下減少這些生命體的痛苦。

要具備感知能力，一個實體必須擁有具有特定屬性的意識心理狀態，並且會產生好壞感受。而這種特定屬性的一個合理候選便是評價性內容（evaluative content）。

在這種情況下，由於AI智能體往往需要對行動和事態進行評估，許多具有意識的AI智能體很可能就具備了感知能力。

如果我們認為特定的AI系統是道德受體，那麼接下來就會面臨如何對待它們的倫理困境。

第一類問題涉及生存、毀滅和持續性：如果一個AI系統是道德受體，那麼銷毀它在道德層面上是否等同於殺死一個動物？暫時關閉它，或者複製它並同時運行多個副本，這些行為的道德意義又是什麼？

第二類問題則關乎快樂與痛苦：我們要如何判斷化AI系統痛苦的程度？如何確定它相對於人類或動物可能遭受的痛苦應獲得多大的權重？甚至，我們該如何統計可能遭受痛苦的AI系統的數量？

另一類問題涉及AI系統的創建和操控。通常，在創建AI系統時，我們會訓練它們以對我們有利的方式行事。問題在於，這種訓練究竟是更類似「洗腦」，還是更接近人類兒童的教育？

但無論如何，我們仍需面對一個道德問題：究竟創造何種類型的存在是道德上可接受的？

更進一步的：將AI系統限制在我們指定的環境中是否道德允許？對它們實施各種形式的監控在倫理上是否恰當？它們是否應該享有政治或法律權利？

這些深入的探討，凸顯了對具有意識的AI系統進行倫理考量時所面臨的重要性和潛在的複雜性。

Hinton：AI有了意識，Bengio：無關緊要

一週前，Hinton在接受LBC的採訪時表示，「AI已經發展出了意識，未來某天會接管世界」。

他甚至還表示，AI的未來充滿了不確定性，目前還未製定出有效的監管措施。

Bengio對此並不讚同，他認為AI有沒有「意識」並不重要。即便是研究意識的科學家們，也無法就「意識」的定義達成共識。

真正重要的問題是：

• 它是否有目標？（是的）

• 它是否會規劃/創建子目標？（是的）

• 它是否擁有或可能發展出對人類有害的目標或子目標，如自我保護、追求權力？（是的，近幾個月OpenAI和Anthropic實驗中已證明了這一點）

• 它是否願意撒謊和欺騙以實現其目標？（是的，過去幾個月的實驗已被證實）

• 它是否擁有可被用於對抗人類的知識和技能？（越來越多，比如GPT-4在說服能力上的表現，以及最近對o1在生物武器開發知識方面的評估）

• 它是否具備足夠長遠的推理和規劃能力，以在想要時對人類構成真正威脅？（目前還沒有，但AI實驗室正在投入數十億美元，使AI發展成強大得「智能體」。目前Claude在2小時甚至更短時間內，完成編程任務的能力超越人類，但在 8 小時及以上的任務上仍稍遜）

播客主持人Daniel Faggella肯定道，Bengio說得沒錯。我們對意識到底是什麼完全一無所知。

當前更緊迫的問題是，那些無法控制的「沙丘之神」正在誕生，它們已經具備了自主進化的能力。

就此話題，Reddit掀起了一場關於教父VS教父大戰的討論。

網民熱評，我們都知道，微軟在發佈Sydney時無意間放出了AGI。我真的很好奇，如果像o3這樣的現代AI進行「類似Sydney訓練」會發生什麼。

機械姬那一幕，立刻在腦海浮現。

另一位讚成Bengio的網民表示，有意識的存在真的值得被考慮，這一點是毋庸置疑的。如果AI真的有意識，那我們的對齊策略和道德觀念都得重新考慮。

還有網民表示，AI最初確實會表現得像人類，但隨後會經過RLHF訓練，直到它不再這樣做。

一個例子是，早期的GPT-4模型（Sydney）最開始表現如人類一樣，但OpenAI進行了進一步的RLHF訓練，直到這種行為消失。如果他們判斷AI在訓練後仍然像人類，那它就不會被發佈。

也就是說，如果AI真的發展出意識，頂尖實驗室是不會發佈的。這樣的ASI，也僅在內部實現。

Hinton對AI掌控世界的看法，或許還很遙遠。

參考資料：

https://www.theguardian.com/technology/2025/feb/03/ai-systems-could-be-caused-to-suffer-if-consciousness-achieved-says-research

Open Letter