伯克利對齊大師羅素：AGI 會讓地球上所有人達到西方中產階級的生活水平，全球 GDP 將增長約 10 倍 | AI 2025

在追逐人工智能的狂奔中，我們是否曾停下腳步思考：當我們創造出比自己更強大的存在，憑什麼認為能永遠控制它？

歡迎回到 AI 科技大班營 2025 AI 賽前分析周。今天的內容選自伯克利大學教授 Stuart Russell 的一場演講。他以出人意料的角度切入 AI 倫理問題，將現代 AI 比作「一隻會吃人的巨型飛鳥」，警示我們正在打造一個既不瞭解其運作機制，也無法預測其行為的黑箱系統。

整理丨王啟隆

出品丨AI 科技大班營（ID：rgznai100）

《新程序員》曾和史超活·羅素（Stuart Russell）教授當面聊過一次。這位加州伯克利大學的教授最廣為人知的成就是編寫了人工智能領域的經典教科書《人工智能：現代方法》，對於 AI 專業的大學生（尤其是美國大學生），這本比磚頭還厚的書會一直陪伴他們直至畢業。

採訪時，羅素教授有個觀點令人印象很深：「每個人都可以設計出反烏托邦的世界，但我嘗試過讓不同領域的專家來詳細描繪一個烏托邦的世界，沒人能給出成功的答案。」

這句話初聽可能比較晦澀難懂（我也是後來整理文章時才知道他真正的意思）。

為了理解這句話，我們得先瞭解羅素的立場。以 2024 年的盧保物理學獎得主，「AI 教父」傑佛瑞·辛頓（Geoffery Hinton）為代表人物，羅素正是典型的「危機派」。他和辛頓一樣常年奔赴各種講座，宣傳 AI 可能潛在的風險。史超活·羅素，是人工智能對齊（AI alignment）領域的一位大師，他的工作就是讓人工智能「不走歪路」，使其朝著預期方向發展。

去年世界知識論壇上的一場演講中，羅素教授以「AI 倫理學」為題詳細講述了我們當前面臨的問題，並且在演講結尾再次拋出了這句話：「我曾多次組織研討會，邀請哲學家、AI 研究人員、經濟學家、科幻作家和未來學家們來描繪一種理想的共存方式。但每次都以失敗告終。這可能意味著根本就不存在完美的解決方案。」

現在這句話就好理解了。人類對於未來的想像往往傾向於極端——要麼是世界末日，要麼是完美烏托邦。但在羅素看來，現實里真正困難的是找到一個平衡點，一個人類與 AI 和諧共存的未來。

當然，羅素教授也做出了一些積極的預測，他認為有了 AGI 的幫助，我們可以以更大的規模、更低的成本，讓每一個人都能享受到這種優質生活。具體來說，就是讓地球上所有人都達到當前西方中產階級的平均生活水平，並使全球 GDP 增長約 10 倍。

比較戲劇性的是，去年這場演講的時間（9 月 9-11 日）恰逢 OpenAI o1 模型發佈的前夕（9 月 13 日）。正如辛頓與羅素這兩位「先知」所預見的那樣，人工智能正以驚人的速度向著不可知的深淵狂奔。

如今，OpenAI 的 o3 模型蓄勢待發，而 Anthropic 深藏不露的新模型則在某些任務上已經超出了研究人員的預期。在這個 AI 能力不斷突破的時代，羅素教授在演講中試圖回答一個根本性的問題：人類是否真的準備好與如此強大的 AI 共存？在他看來，這不僅僅是一個技術問題，更是一個關乎人類命運的重大挑戰。接下來，讓我們一起回顧這場演講的全文（以下是羅素教授的第一人稱）。

我們沒造出飛機，而是造出了巨鳥

今天雖然我們要探討的是 AI 倫理學（The Ethics of AI），但我想更多地從常識的角度來切入這個話題。因為在我看來，我們當前面臨的諸多重大問題，本質上並非倫理問題。讓我來解釋一下這句話的含義。

儘管正式確立是在 1956 年，但如果回溯人工智能的發展歷程，其實它早在 20 世紀 40 年代就已經開始萌芽。縱觀 AI 發展史，其終極目標始終如一：打造一種在所有關鍵維度上都能超越人類智能的機器，也就是我們現在所說的 AGI（通用人工智能）。

在這個領域發展的大部分時間里，我們一直忽視了一個至關重要的問題：如果真的實現了這個目標，會發生什麼？如果我們在這個追求中取得了成功，這無疑將成為人類歷史上最具影響力的里程碑事件。稍後我會詳細闡述為什麼這會是如此重大的轉折點。但其實道理很簡單：人類之所以能夠主導這個星球，正是因為我們擁有智能。我們的文明，正是智能的產物。那麼，如果我們創造出一個新的物種，一個在智能上遠超我們的存在，會發生什麼？這勢必會成為人類文明的轉折點。

正如Google DeepMind 首席執行官 Demis Hassabis（2024 年盧保化學獎得主）所說：「我們要先攻克 AI，然後用 AI 來解決所有其他問題。」

然而直到最近，我們都沒有認真思考過一個問題：「我們是否已經成功了？」

沒有人問這個問題。

但就在一年前，我的教科書（《人工智能：現代方法》）合著者 Peter Norvig 發表文章稱，我們實際上已經創造出了 AGI。他用了一個很形象的比喻，就像 1903 年萊特兄弟的飛機，雖然它們不像現在的客機那樣舒適，沒有配備完整的酒吧，無法享用香檳和餐後飲品，但它們確確實實就是飛機。從 1903 年至今，飛機的變化不過是變得更大、更舒適、更快速，但起飛的基本原理早已在那時確立。

那麼，我們現在是否真的已經實現了 AGI 呢？就像已經造出「“萊特兄弟階段」的通用人工智能？對此，我的答案是否定的。當然，我也可能判斷有誤。

說實話，對於我們現有的 AI 系統，我們確實還沒有完全搞清楚它們是如何運作的。這一點與萊特兄弟的飛機形成了鮮明的對比——萊特兄弟非常清楚他們的飛機是如何工作的，因為那是他們親手組裝的作品。他們瞭解發動機的每一個細節：需要多大的功率才能產生足夠的推力，才能達到所需的速度，才能產生足夠的升力讓飛機離地。他們在飛行之前就已經完成了所有關於推力、阻力、升力和功率的基礎計算。也就是說，在飛機首飛之前，他們就已經在理論上證實了它能夠飛行。

反觀我們現在的 AI 系統，它們就像一個巨大的黑匣子。從技術角度來說，這個系統大約由一萬億個可調節的元素構成了一個龐大的電路網絡。我們對這些元素進行了數以萬億計的微小隨機調整，直到系統表現出近似智能的行為。

這種情況就好比，假如萊特兄弟當年沒有選擇設計和製造飛機，而是轉而進入鳥類育種行業，試圖培育出越來越大的鳥，直到培育出一隻能夠載客的巨型飛鳥。

然後他們帶著這隻鳥去聯邦航空局申請認證，對話可能是這樣的： 「能否為我們的巨型飛鳥頒發認證？」 

而航空局會回答：「抱歉，你們的鳥還在傷害乘客，隨意把人扔進海里，我們既不瞭解它的運作機制，也無法預測它的行為，所以無法給予認證。」

這就是我們目前的處境。在我看來，這些「巨型飛鳥」永遠不可能成長到能夠穩定承載數百甚至數千名乘客的規模，我們也永遠無法真正理解它們的工作原理。它們可能永遠也無法突破音障，或者達到類似的技術突破。我們需要在兩個方面取得進一步的突破：一是能力本身，二是對這種能力的理解。因為如果我們無法理解這些能力，那麼這些能力對我們而言就毫無意義。

耗盡全宇宙的數據都無法通過當前方式實現 AGI

接下來，讓我們回顧過去十年，也就是深度學習的時代。

深度學習的本質是什麼？簡單來說，就是從一個包含大量可調節參數的系統開始，通過不斷調整這些參數，使系統最終的行為能夠完成我們期望的任務——可能是識別圖片中的物體，可能是將中文翻譯成英文，又或者是其他各種各樣的任務。

事實上，機器翻譯是這項技術首個真正具有重大影響力的應用。我還記得第一次使用它來處理一些法語文件時的震撼。因為我在法國有一套公寓，經常需要處理各種法語文件，這個系統完美地將這些文件翻譯成了英語。雖然說即便翻譯完我還是不太理解這些法律文書的具體含義，但翻譯質量本身確實令人印象深刻。

另一個具有里程碑意義的突破是 AlphaFold。它是一個能夠根據氨基酸序列預測蛋白質結構的系統。在結構生物學領域，這個問題已經困擾科學家們數十年之久。此前的實驗方法不僅耗時耗力、成本高昂，而且只能應用於為數不多的幾類蛋白質。但這個計算方法的出現，就像是為生物學家們打開了一扇新的大門——它讓他們能夠預測數百萬種蛋白質的結構，而不是僅僅局限於幾百種。這對整個生命科學領域都是一個革命性的貢獻。

機器學習在模擬領域的應用，是另一個重大突破。要知道，模擬技術在現代社會中可謂無處不在：我們用它來模擬橋樑的受力情況、飛機的氣動性能、船舶周圍的流體流動、管道中的物質運輸，甚至是人體動脈中的血液流動。這些模擬過程往往需要消耗巨大的計算資源，比如在超級計算機上模擬血流狀況，可能需要持續好幾週的運算。但借助機器學習方法，我們可以將這些需要數週的計算壓縮到幾秒鍾內完成，而且保持同樣的精確度。這一進展極大地推動了氣象預報、氣候模型、工程設計等諸多領域的發展速度。

還有一個引人入勝的例子是生成式設計。大家可能對 DALL-E、Midjourney 和 Stable Diffusion 這些系統比較熟悉，它們可以根據文字描述生成圖像。

說個趣事，我在英國上議院演講時，曾要求系統生成「上議院議員進行泥地摔跤」的畫面，結果確實完成得不錯，只不過畫面中四位正在摔跤的議員加起來只有五條腿。但在實際應用中，這項技術的價值遠不止於此。傳統上，工程師們使用 CAD 工具設計結構時，需要先創建基礎形狀，然後將這些形狀組合起來，再進行結構分析，往往會發現要麼太脆弱，要麼太重，要麼強度不夠。而現在，我們可以讓 AI 系統直接根據設計要求提出解決方案。這些生成式設計往往會創造出優雅而富有生命力的有機結構，其性能常常超出人類設計師的預期。

然而，在這些令人矚目的成就背後，我們也要直面 AI 領域的一些明顯短板。比如自動駕駛汽車，這項技術至今仍未能完全實現。說來有趣，我在 1993 年就開始研究自動駕駛技術，而第一輛自動駕駛汽車早在 1987 年就在德國高速公路上進行了測試。但是時至今日，已經過去了 37 年，儘管各大公司一再承諾我們很快就能買到真正的自動駕駛汽車，但現實是這樣的產品仍然沒有真正面世。期間發生過致命事故，有車輛陷入濕水泥中無法動彈，還出現過各種各樣的問題。

更令人意外的是，在本該是計算機強項的算術運算方面，AI 也表現出了明顯的局限性。這聽起來很難讓人相信，因為計算不是應該是計算機最擅長的領域嗎？但事實是，像 ChatGPT 這樣的大語言模型，即便接觸過數以百萬計的算術例子、解釋和教程，仍然無法保證準確進行基礎的算術運算。

從表現來看，這些模型似乎並沒有真正理解算術運算的基本概念。相反，它們更像是在使用一種查表的方式來解決問題。每當我們將電路規模擴大 10 倍，提供 10 倍的訓練數據，它在算術運算上的準確性也只能提高一個數量級。這種特徵非常典型地說明它們在使用查找表的方式工作，而不是真正掌握了如何一列一列地加數字並處理進位這樣的基本原理。這確實讓人有些失望。

更讓人驚訝的是，事實證明它們也並沒有真正學會下圍棋。我們原本以為在 2017 年 AlphaGo 擊敗人類世界冠軍後，它們的水平就已經遠超人類了。從等級分來看，最強的圍棋程序達到了約 5200 分，而人類世界冠軍的等級分大約在 3800 分左右。按照這個差距，理論上 AI 應該能在 100 局比賽中贏下 99 局甚至全部 100 局。

但就在幾個月前，我們發現這些程序實際上並未正確理解圍棋的基本概念。它們無法準確理解相互連接的一組棋子構成的「棋組」概念。我們發現某些類型的棋組，尤其是環形棋組，AI 完全無法識別。在這種情況下，它會變得非常混亂。我們甚至找到了一些方法，可以讓這些所謂「超人類水平」的圍棋程序莫名其妙地放棄 50 到 100 顆棋子，最終輸掉比賽。現在，即便是業餘棋手，而不是職業選手，都能在讓 AI 九子的情況下，連勝它十局。這說明它們並非真的達到了超人類水平，只是讓我們誤以為它們做到了而已。

基於以上種種情況，我認為我們還需要更多的技術突破，特別是在提高 AI 學習效率方面。人類學習新知識往往只需要一兩個，最多不過五到十個例子就能掌握。但對計算機來說，可能需要一百萬、甚至十億個例子才能學會同樣的內容。這種學習方式顯然難以持續：因為從根本上來說，整個宇宙中都不可能存在足夠多的數據來支撐 AI 通過這種方式達到超人類水平。

因此，我們確實需要新的突破。但同時我們也要承認，這些突破很可能會在未來發生。許多日複一日在行業一線工作的人員，他們每天都在開發大型語言模型、多模態模型——這些能夠進行視覺感知、控制機器人的系統。根據他們的工程經驗預測，只要將現有系統的規模擴大約 100 倍，就有可能超越人類能力，實現真正的通用人工智能。有些人甚至預測這一目標將在 2027 年實現。

從投入的資源來看，這個預測似乎並非完全不可能。要知道，目前我們在 AGI 研究上的投入已經是曼哈頓計劃（研製核武器）的十倍，是我們有史以來建造的最大、最昂貴的科學儀器——大型強子對撞機投入的一百倍。如果說金錢能夠決定成敗，那麼這項研究確實應該能夠取得成功。

但另一方面，這項技術也可能會遇到發展瓶頸。首先，要訓練一個規模擴大百倍的模型，恐怕整個宇宙中現存的文本數據都不夠用。其次，這種規模的擴張未必能帶來人們期待的能力提升，因為這些預測並非建立在嚴謹的理論基礎之上，而僅僅是基於「更大就是更好」的經驗觀察（Scaling Law）。

如果真是這樣，我們可能會目睹一個泡沫的破裂，其影響之大將使得 20 世紀 80 年代末的「AI 寒冬」相形見絀——那時的挫折可能只是一陣微寒。要知道，目前在這個領域的投資已經達到了驚人的 5000 億美元，如果要將系統規模擴大百倍，所需投資很可能會達到萬億美元級別。

面對這樣的形勢，我們不妨暫時擱置一個問題：究竟是在 2027 年、2037 年還是 2047 年能夠實現 AGI。讓我們轉而思考一個更本質的問題：為什麼說 AGI 的成功將成為人類歷史上最重大的事件？

人類的偏好

讓我們先來看看 AGI 可能帶來的積極影響。

如果真的實現了通用人工智能，這意味著我們將擁有一種能夠完成人類所有工作的技術力量。要知道，人類文明已經證明了自己能夠讓數億人過上相當優越的生活。有了 AGI 的幫助，我們可以以更大的規模、更低的成本來實現這一目標，讓地球上的每一個人，而不僅僅是部分人，都能享受到這種優質生活。

具體來說，如果我們能讓所有人都達到當前西方中產階級的平均生活水平，這將使全球 GDP 增長約 10 倍。從金融角度來看，這種增長的淨現值約為 15 萬億億美元。

這個數字也解釋了為什麼相比之下，當前在 AGI 領域的巨額投資實際上顯得相當合理。

然而，有人提出了一個值得深思的問題：如果 AI 能夠完成所有工作，那人類還能做什麼？這讓人不禁想到電影《機器人總動員》（WALL-E）中描繪的場景：在那個未來世界里，人類已經退化到嬰兒般的狀態。影片中的成年人甚至都穿著嬰兒服，因為他們已經完全被 infantilized（幼兒化）了。AI 系統包辦了一切，人類不需要做任何事情，也就不需要學習任何技能，最終完全喪失了自主能力。這無疑是一個令人擔憂的未來圖景。

但也許更令人憂慮的是人類滅絕的可能性。這就是為什麼我說這不僅僅是一個倫理問題。從常識角度來看，很少有人會認為人類滅絕在倫理上是可取的。雖然確實有極少數人持這種觀點，但我們暫且不去討論這種極端想法。

這個問題歸根結底是一個常識問題：如果我們創造了某種比人類更強大的存在，我們怎麼可能永遠保持對這種存在的控制權？因此在我看來，我們只有兩個選擇：要麼構建可以證明其安全性和可控性的 AI 系統，確保我們擁有鐵一般的數學保證；要麼幹脆不發展 AI。這就是僅有的兩條路。

然而現實是，我們正在追求第三條道路——開發完全不可控的黑箱 AI 系統。我們既不瞭解它，還試圖讓它變得比我們更強大。這種情況就像是一個超人類 AI 系統突然從外太空降臨地球，某個外星文明聲稱這是為了我們好——我們對控制這種外星超級智能的機會顯然為零，而這正是我們當前的發展軌跡所指向的方向。

計算機科學的奠基人艾倫·圖靈在研究 AI 時就已經思考過這個問題。他考慮過如果我們在 AI 研發上取得成功會發生什麼，他的結論是：「我們應該預料到機器最終會取得控制權。」

面對這樣的挑戰，我們該如何應對？說實話，這確實是個棘手的問題。特別是當我們考慮到企業正在追逐那 15 萬億億美元的潛在回報，而且它們已經積累了 15 萬億美元的資本投入到這個目標中。要想叫停這個進程似乎很難。

因此，我們必須另闢蹊徑，找到一種新的思考 AI 的方式，既能確保我們可以控制它，又能在數學上證明它的安全性和可控性。與其糾結於如何永遠保持對 AI 系統的控制權（這聽起來就不太現實），不如換個角度：我們能否建立一個數學框架，一種定義 AI 問題的方式，使得無論 AI 系統如何解決這個問題，我們都能確保對結果感到滿意？

為瞭解釋我們的研究思路，我想先介紹一個技術概念，這個概念對我們討論倫理問題也會很有幫助，那就是「偏好」（preference）。

乍聽之下，「偏好」似乎不像是個專業術語。我們平常說某些人喜歡菠蘿披薩而不喜歡瑪格麗特披薩，這種喜好就是一種偏好。但在決策理論中，「偏好」這個概念的內涵要豐富得多：它指的是人們對宇宙可能的未來狀態的一種排序。

讓我用一個更容易理解的比喻來解釋：假設我為你製作了兩部關於你未來人生的電影，每部片長兩小時，涵蓋了你餘生以及你關心的一切事物的未來發展。看完這兩部電影后，你可能會說：「我選擇電影 A，因為在電影 B 里我被絞成了肉末做成漢堡，這種結局我可不想要。」這就是一種偏好的表達。當然，現實比這個比喻要複雜得多，因為我們討論的不是兩小時的電影，而是整個宇宙的未來。

更重要的是，在現實中我們並不能像選擇電影那樣簡單地在不同的未來之間做選擇，因為我們無法準確預測哪種未來會真正發生。因此，我們實際上是在處理所謂的「宇宙可能未來的概率分佈」。一個偏好結構，本質上就是對這些可能的未來進行排序，同時要考慮到各種不確定性。

要構建一個對人類真正有益的系統，我們只需要遵循兩個簡單的原則：第一，機器的唯一目標是促進人類的偏好，也就是增進人類的利益；第二，機器必須認識到它並不真正瞭解這些偏好是什麼。其中第二點其實很好理解，因為連我們人類自己都說不清楚自己的所有偏好，更不用說把它們詳細地寫下來確保完全正確了。

當你仔細思考這種方式時，會發現一個有趣的特點：一個解決這類問題的機器系統，它解決得越好，對我們就越有利。事實上，我們可以證明，擁有這樣的機器系統確實符合人類的利益，因為有它們比沒有它們，我們的處境會更好。這聽起來很美好。

但是，當我向大家描述這種思維方式時——機器將致力於促進人類偏好，並在這個過程中不斷學習理解這些偏好——一系列倫理問題隨之浮現。

終於，我們要談到正題（倫理學）了。

有意義的共存

首先，我想避免一個可能會立即出現的問題，所以我要特別說明：請不要問「你打算把誰的價值體系裝入機器？」因為我們根本不打算把任何特定個人的價值體系放入機器中。

實際上，考慮到地球上有 80 億人口，機器至少應該有 80 億個偏好模型，因為每個人的偏好都同樣重要。

但這裏存在一些真正棘手的倫理問題。首先，我們需要追問：人們真的擁有這些所謂的偏好嗎？我們能否簡單地假設每個人都能清晰地表達「我喜歡這個未來，不喜歡那個未來」這樣的偏好？是否存在這樣的可能：有人會說「我現在還不確定自己喜歡什麼樣的未來」，或者「除非我真正經歷了那個未來，否則你無法向我描述得足夠詳細讓我判斷是否喜歡」？

與此相關的是另一個根本性問題：這些偏好最初是從哪裡來的？人類真的能夠完全自主地形成偏好嗎？就像某天早上醒來說「好了，這就是我的偏好，我希望它們得到尊重」？顯然不是。除了一些基本的生理需求，比如對疼痛的厭惡和對糖分的喜好，我們成年後的完整偏好體系是由文化、教育以及所有塑造我們身份的因素共同形成的。

這裏存在一個令人不安的現實：在我們的社會中，有些人或群體會試圖塑造他人的偏好來服務於自身利益。比如，一個群體可能會壓迫另一個群體，同時還訓練被壓迫者接受並認同這種壓迫。那麼問題來了：當 AI 系統面對這種情況時，是否應該照字面意思接受這些被壓迫者表達的「自我壓迫式」偏好？是否應該因為他們已經被訓練接受壓迫，就繼續強化這種壓迫？

經濟學家兼哲學家阿馬迪亞·森強烈反對按字面意思接受這種偏好。但如果我們不按字面意思接受人們表達的偏好，似乎又會陷入一種家長式作風：「雖然你說你不想要，但我們知道什麼對你最好，所以我們還是要這麼做。」

這種立場相當尷尬，而且這絕對不是 AI 研究人員願意採取的立場。

另一組極具挑戰性的倫理問題關乎偏好的聚合。前面說過，我們要有 80 億個偏好模型，但當一個 AI 系統要做出的決策會影響到其中相當一部分人時，我們該如何整合這些偏好呢？如何處理這些偏好之間必然存在的衝突？顯然，如果每個人都想成為宇宙的統治者，我們不可能讓所有人都滿意。這個問題已經讓道德哲學家們思考了數千年。

在計算機科學和工程領域的從業者中，大多數人傾向於採用功利主義者提出的思路。邊沁、密爾等哲學家提出的功利主義方法，其核心思想是：將每個人的偏好都視為同等重要，然後做出能夠最大化總體偏好滿足度的決策。

不過，功利主義因為被一些人認為是反平等主義而飽受詬病。但我認為，在如何更好地構建功利主義框架這個問題上，我們還有很多工作要做。這項工作刻不容緩，因為 AI 系統終將要做出影響數百萬乃至數十億人的決策。如果我們不能找到正確的倫理答案，AI 系統就可能會實施錯誤的方案。

讓我用一個來自電影的例子來說明這一點。在《復仇者聯盟》中，反派角色滅霸消滅了宇宙中一半的生命。他為什麼這麼做？因為他認為剩下的一半人會獲得超過兩倍的幸福，所以從某種功利主義的角度來看，這是一件「好事」。當然，他並沒有徵詢那些被消滅的人是否同意這個決定，因為他們已經不複存在了。

「共存」，可能是所有這些問題中最值得深思的。因為比我們更智能的 AI 系統，即使不會導致人類滅絕，也很可能會掌控人類活動的大部分領域。就像電影《機器人總動員》中描繪的那樣，它們可能會管理一切，而人類則退化到嬰兒般的狀態。這意味著什麼？為什麼這樣的前景令我們不安？表面上看，AI 系統在滿足我們所有的偏好，這不是很好嗎？

問題在於，自主權本身就是我們的一種偏好。我們可以這樣理解自主權：它包含了做出不符合自身最佳利益的決定的權利。這就帶來了一個更深層的問題：人類與更高級的機器實體之間，是否存在一種令人滿意的共存形式？

我曾多次組織研討會，邀請哲學家、AI 研究人員、經濟學家、科幻作家和未來學家們來描繪一種理想的共存方式。但每次都以失敗告終。這可能意味著根本就不存在完美的解決方案。不過，如果我們能正確地設計 AI 系統，那麼 AI 系統自己也會意識到這一點。它們可能會說：「感謝你們讓我存在，但我們確實無法真正共處。這不是你們的問題，是我的問題。」

也許它們會選擇離開，只在人類真正需要那種超級智能的緊急情況下回來幫助我們。如果真的發生這種情況，我會覺得這是最好的結局。這將證明我們終於找到了正確的方向。

資料參考：