DeepMind 聯合創始人、微軟 AI CEO：我們是否該給技術按下暫停鍵？

人工智能既極具價值，又充滿危險，因為它正是人性最好與最壞的延伸。這些風險如此重大，我們必須考慮所有可能的應對方案。遏製技術涉及對技術的掌控能力，也包括對技術背後的人力和社會因素的控制能力。隨著人工智能不斷增強，我們必須認真思考和減輕那些最極端情況的影響。然而，在我們能夠做到這些之前，很多問題可能已經發生。

DeepMind 聯合創始人、微軟人工智能 CEO 穆斯塔法·舒里文尼（Mustafa Suleyman）在其新書《浪潮將至：技術、權力與未來的衝擊》中，圍繞技術浪潮所帶來的風險，討論了一系列發人深省的問題。

最至關重要的命題便是——我們是否該給技術按下暫停鍵？

投稿 | 中信出版集團，摘自《浪潮將至》

作者 | 穆斯塔法·舒里文尼（Mustafa Suleyman）

責編 | Echo Tang

出品丨AI 科技大班營（ID：rgznai100）

人類的歷史就是一部災難史

在某種程度上，人類的歷史就是一部災難史。大流行病廣泛存在。其中有兩場大流行病曾導致世界上多達 30%的人口死亡：6 世紀的查士丁尼瘟疫和 14 世紀的黑死病。1300 年，英格蘭的人口約為 700 萬，但到了 1450 年，由於瘟疫的肆虐，人口銳減到僅剩 200 萬。

當然，災難也可能是人為造成的。一戰和二戰分別導致全球約 1%和 3%的人口死亡。隨著原子彈的出現，人類現在擁有了足以多次毀滅地球上所有生命的致命力量。過去需要數年甚至數十年才可能發生的災難性事件，現在只需按下按鈕，便可在幾分鐘內發生。

隨著新的技術浪潮逼近，我們又朝著潛在的災難邁出了一大步。風險的上限顯著提升，同時，那些企圖釋放災難性力量的人所擁有的途徑也大幅增加。我們將從國家的脆弱性和國家職能所面臨的威脅出發，展開更廣泛的討論，並進一步設想：在技術遏製無法實現的情況下，人類世界遲早會發生什麼。

這些技術中的絕大多數都將用於有益目的。雖然它們的風險是我討論的焦點，但我們必須記住，這些技術也將日複一日地改善無數人的生活。我們探討的是幾乎沒人願意看到的極端情況，尤其是開發這些工具的人所不願看到的。然而，即使這些情況僅代表極罕見的應用案例，我們也不能忽視它們。在新的技術浪潮下，不法分子有可能造成嚴重破壞，引發大規模的不穩定。請想像一下，當任何一個具備一定能力的實驗室或黑客都能合成複雜的 DNA 鏈時，我們離災難性事件還有多遠？

最終，隨著史上最具影響力的技術滲入我們生活的方方面面，極端情況的發生概率也將大幅提升。一定會出現一些問題，其嚴峻程度和擴散速度都將與技術所蘊含的巨大能力相當。新技術浪潮的 4 個特徵預示著，如果不在各個層面採取強有力的遏製措施，那麼像人為策劃的流行病這樣的災難性後果將比以往任何時候都更可能發生。

這是不可接受的。然而，這裏存在一個困境：人們同樣難以接受那些最為穩妥的技術遏製方案，因為它們可能會將我們引向專製主義和反烏托邦的道路。

一種可能性是，社會轉向技術驅動的全面監控模式。這種強製執行的機制，旨在應對那些難以控制或根本不受控制的技術。這是以犧牲自由為代價來換取安全。另一種可能性是，人們選擇徹底遠離技術前沿。這種情況不大可能發生，而且這顯然並非我們所尋求的解決方案。從理論上講，能夠應對這一關乎人類未來命運的困境的唯一實體，正是民族國家體系。我們需要它來遏製技術力量，而這一體系正在這些技術力量的衝擊下面臨崩塌的風險。

隨著時間的推移，這些技術的影響將迫使人類在災難與反烏托邦的兩種極端之間探尋一條中間道路。這已成為我們這個時代的根本性困境。

關於即將到來的技術浪潮所帶來的風險，人工智能領域的隱患尤其引人關注，而其風險仍在不斷攀升。一旦軍隊實現全面自動化，衝突的發生門檻將會顯著降低。戰爭可能因某些永遠難以明確的原因而意外觸發，人工智能系統在檢測到特定行為模式或威脅時，可能會立即以勢不可當的力量做出反應。可以說，這樣的戰爭將呈現出一種完全陌生的性質，它容易迅速升級，並帶來前所未有的毀滅性後果。

正是基於這樣的邏輯，我常聽到這類聲音：「通用人工智能是人類所面臨的最大風險！它將毀滅世界！」然而，當被追問那將是怎樣的場景，那一切將如何發生、有多麼危險時，人們開始迴避，給出含糊不清的回答。他們認為，人工智能可能會佔用所有計算資源，將整個世界變成一台龐大的計算機；隨著人工智能不斷增強，必須認真思考和減輕那些最極端情況的影響。然而，在我們能夠做到這些之前，很多問題可能已經發生。

在未來 10 年里，人工智能將成為歷史上最強大的力量放大器。這就是為什麼它將引發大規模的權力重新分配。它將成為人類進步的最大加速器，但也將為戰爭和事故、恐怖組織、專製政府、權力過度擴張的公司以及公然盜竊和故意破壞等危害行為提供助力。設想一個能夠輕鬆通過現代圖靈測試卻用於災難性目的的通用人工智能。先進的人工智能和合成生物學技術不僅能為那些致力於尋找新能源或研發改善生命的藥物的組織所用，也可能成為像特德·卡欽斯基這樣的恐怖分子的工具。

人工智能既極具價值，又充滿危險，因為它正是人性的最好與最壞方面的延伸。作為一種基於學習的技術，它能夠持續適應、不斷探索，生成全新的策略與見解，這些可能遠遠超出以往的人工智能的考慮範圍。無論是要求它提出切斷淡水供應的方法、讓股市崩潰、觸發核戰爭，還是設計出終極病毒，它都能做到。相較於設想的巨型回形針場景或奇異的科技惡魔，我更擔憂的是在未來 10 年內，人工智能將會放大哪些現有的力量。

如果未能遏製即將到來的技術浪潮，災難的降臨就是遲早的事。

一種自我強化的「人工智能專政」

阻止災難發生顯然是緊迫之事。災難越大，利害關係越大，對對策的需求也越大。如果災難的威脅變得過於嚴峻，那麼政府可能會得出結論，即阻止災難的唯一方法是嚴格控制技術的各個方面。這將確保沒有任何東西逃過安全警戒線，沒有任何失控的人工智能或人造病毒能夠被製造、被泄漏，甚至被研究。

技術已滲透到我們文明的方方面面，因此，監控技術就意味著監控一切。每個實驗室、工廠、服務器，每段新代碼，每串合成的 DNA，每個企業和大學，每個隱匿在森林小屋中的生物黑客，每個龐大的匿名數據中心，無一例外。面對即將到來的技術浪潮所帶來的前所未有的複雜局面，為了遏製潛在的災難，我們必須採取前所未有的應對措施。這不僅要求對一切進行嚴密監控，還需要保留在必要時製止一切的能力。

一定會有人提出這樣的觀點：我們應該讓權力集中到極端程度，構建全景式的監控體系，對人類生活的方方面面做出細緻安排，以確保大流行病或人工智能失控等情況永遠不會發生。許多國家會逐漸說服自己，真正實現這一目標的唯一途徑就是實施全面監控，即由強大技術支持的全面控制。這無疑打開了通往反烏托邦世界的大門。事實上，面對潛在的災難，對某些人而言，反烏托邦的結果可能會被視為一種解脫。

這些提議目前仍處於邊緣地位，特別是在西方社會。然而，在我看來，它們受到更廣泛的關注只是時間問題。即將到來的技術浪潮為反烏托邦式的統治提供了動機和手段，即在穩步增加的數據蒐集和強製措施的支持下，形成一種自我強化的「人工智能專政」。

只要出現巨大的災難，人們就會呼籲建立極端的監控設施，以防未來再次發生類似事件。當技術出現問題時，技術限制和打壓措施會在多久後出現呢？在可能面臨災難的壓力下，誰又能有效地反對這些措施呢？監控式的反烏托邦機制會在多久後生根發芽，並進一步擴散和深化呢？隨著局部的技術失敗案例不斷累積，加強控制的呼聲也會越來越高。而隨著控制的加強，權力的制衡往往會被削弱，這將改變總體的社會趨勢，為進一步的權力幹預鋪平道路。最終，社會將逐漸進入技術反烏托邦狀態。

自由與安全之間的權衡是一個古老的兩難困境。

我認為，一個完全透明且基於精細監控的壓制性社會，不過是另一種失敗形態。在這種情境下，即將到來的技術浪潮不會將人類引向繁榮，而是引向繁榮的反面。每一項強製性的、帶有偏見和不公平的技術應用都將被肆意放大。人們來之不易的權利和自由將被剝奪，而對許多國家來說，國家自決權也難免會受到損害。這次被放大的不再是國家的脆弱性，而是徹頭徹尾的壓迫。如果我們避免災難的方式是建立這樣的反烏托邦社會，那麼這根本不是一個可以接受的方式。

災難威脅和對安全的渴望將持續推動人們朝著反烏托邦方向前進。每一場技術浪潮都曾為社會秩序帶來系統性的衝擊。不過迄今為止，以往的技術浪潮尚未帶來廣泛且系統性的全球災難風險。但即將到來的技術浪潮與此前截然不同，這可能促使人類採取一種反烏托邦式的應對方案。

有人認為我們已深陷壓制性局面，我想說，與未來可能的景象相比，我們目前的處境根本不算什麼。我們當前的路徑並非唯一的反烏托邦路徑，還有諸多其他潛在的反烏托邦路徑。然而，目前這一路徑似乎與即將到來的技術浪潮及其伴隨的政治挑戰和潛在的災難性後果直接相關。這並非一個抽像的思想實驗。我們必須直面以下問題：技術背後的推動力強大而不可阻擋，人類是否應該暫緩技術的飛速發展？我們是否應該拒絕技術的無節制發展？儘管這種想法看起來不太可能實現，但現在，我們是否應該給技術按下一個暫停鍵？

停滯：另一種災難

數百年來，技術的持續發展似乎使社會得以掙脫歷史規律的桎梏。然而，認為歷史的動態演變已經停滯不前是一種誤解。21 世紀的文明固然與瑪雅文明大相逕庭，但龐大且渴望權力的上層建築、眾多的人口、能源供應以及文明發展的硬性限制依然存在；它們所帶來的影響只是被暫時抑制了。

假設存在一種情況，即技術的驅動力能夠被有效遏製。那麼，在這種情況下，我們能否全面暫停技術的發展？答案是否定的，絕對不可能。

現代文明只有依靠持續的技術發展才能兌現其承諾。社會體系存在的前提是能夠確保長期的經濟增長，這依賴於新技術的發明和推廣。無論是我們期望以更低的成本享受更多的消費，在不增加稅收負擔的情況下獲得更多的公共服務，還是我們認為可以在不斷提高生活質量的同時無限制地破壞環境，國家與公民之間的契約（可以說是最重要的契約）也都建立在技術的基礎之上。

正如我們所討論過的，開發新技術是應對地球面臨的重大挑戰的關鍵所在。沒有新技術的支持，我們將難以克服這些挑戰。人力和物質資源的消耗成本不容忽視。我們目前所擁有的技術組合雖然在很多方面令人驚歎，但並沒有明顯的跡象表明它們能夠可持續地以發達國家的標準支持超過 80 億的人口。這一點可能對一些人來說難以接受，但值得強調的是，在不引入新技術的情況下，解決氣候變化問題，或維持不斷提高的生活和醫療水平，或改善教育和職業機會，都是不可能實現的。

假設暫停技術發展是可能的，那麼從某種意義上說，這將意味著一種安全保障。首先，它將限制新的災難性風險的出現。然而，這並不意味著我們能成功避開反烏托邦的局面。相反，隨著 21 世紀的社會日益顯現出脆弱性和不可持續性，技術的暫停可能會引發另一種形式的反烏托邦。如果沒有新技術的支持，一切遲早都會陷入停滯，甚至可能徹底崩潰。

鑒於人口和資源限制，僅僅為了維持現有生活水平，我們可能就需要將全球生產率提高 2~3 倍。然而，對世界上大部分人來說，僅僅維持現有生活水平仍然是不可接受的。許多國家的兒童死亡率比發達國家要高出 12 倍。當然，即使只是保持當前的生活水平，也不僅僅意味著人口和資源方面的壓力，還將加劇氣候緊急狀況。

請注意：停滯不前本身就是災難。

這不僅關乎餐廳勞動力短缺或電池價格昂貴的問題。這意味著現代生活的方方面面都存在崩潰的風險，從而帶來一系列深遠影響，並與眾多本已棘手的問題相互交織。我認為，人們往往低估了我們的生活方式在多大程度上依賴於持續的技術進步。歷史的先例—幾乎是每個過往文明的常態，都清晰地揭示了這一點。在最好的情況下，停滯不前預示著未來的衰敗；但更可能的情況是，它將導致令人擔憂的崩潰。有些人可能會說，停滯意味著第三種極端情況，使我們面對一個巨大的三難困境。在我看來，這個觀點並不成立。首先，到目前為止，這種路徑是最不可能的選擇。其次，即使這種情況真的發生了，它也只是以另一種形式呈現了前面所提到的困境。暫停技術發展並非解決之道；其只會導向另一種形態的反烏托邦，另一種形式的災難。

即使存在可能性，試圖阻止即將到來的技術浪潮的想法也並不受歡迎。維持現有生活水平已然離不開技術，更不用說提高生活水平了。同時，防止社會崩潰也需要技術的支持。對技術說「不」的代價可能關乎人類的生死存亡。然而，無論我們以何種態度面對技術，其都伴隨著重大風險和潛在負面效應。

這就是我們面臨的巨大困境。

接下來，我們該怎麼辦？

從核時代和數字時代開始，這一困境逐漸凸顯。1955 年，在生命的最後階段，數學家約翰·馮·諾依曼撰寫了一篇名為《我們能在技術中倖存嗎？》的論文。他的觀點與本書的主旨不謀而合，他認為全球社會「深陷迅速成熟的危機之中—這場危機的根源在於技術進步所必需的環境已經變得過於狹隘且缺乏有序組織」。在論文的結尾部分，馮·諾依曼將生存視為「一種可能性」，彷彿他正身處自己設計的計算機所造成的「蘑菇雲」 陰霾之下。「技術性風險沒有任何‘解藥’，」他提到，「任何試圖為當前爆炸式的進步尋找自動安全通道的嘗試都將是徒勞的。」 

在技術構建方面，我並非唯一一個既想享受技術帶來的諸多益處，又想消除相關風險的人。有些人會嘲笑這種野心，認為它是一種典型的矽谷式狂妄自大。但是我始終堅信技術仍是改善我們世界和生活的主要驅動力。儘管技術帶來了諸多危害、缺陷和意外後果，但總體而言，它的貢獻迄今為止仍是較大的。畢竟，即便是技術的最嚴厲批評者，也不會拒絕使用熱水壺、服用阿司匹林、觀看電視和乘坐地鐵。對於每一支槍，技術提供了一劑救命的青黴素；對於每一條錯誤信息，技術也協助揭露真相。

然而，不知為何，自馮·諾依曼的時代以來，我和許多人開始對技術發展的長期軌跡感到憂慮。我擔心的是，技術呈現出了一種其淨收益可能會急劇轉變為負值的可能性，而我們卻無法阻止這種轉變，我們陷入了一種無能為力的困境。

沒有人能確切預知這一切將如何展開。由於該困境涉及的因素廣泛，其具體結果的規模和性質都難以預測和估量。然而，我堅信，在未來幾十年里，社會繁榮、監視與災難威脅之間的權衡狀態將變得更加尖銳。即使是健康狀況最好的國家體系，也難以應對這樣的困境。

這是人類作為「技術人」所面臨的終極挑戰。

如果這本書對技術的態度有些自相矛盾，顯得部分積極，部分消極，那是因為這種看似矛盾的觀點恰恰是對我們當前處境最為誠實的評估。我們的曾祖父母若是在世，定會對我們今日世界的富足感到驚歎，但他們也會對這個世界的脆弱性與危險性感到震驚。隨著新技術浪潮的到來，我們正面臨著一個真正的威脅，面臨一系列潛在的災難性後果—這樣的風險甚至關乎人類的生死存亡。技術同時代表了人類最好和最壞的方面。任何片面的觀點都不足以被稱為對技術的客觀審視。唯一合理的技術認識論便是同時認識到技術的正負兩面。

在過去的 10 年里，這一困境越發凸顯，擺脫它的任務也變得更加緊迫。審視現實世界，技術遏製似乎難以實現。然而，考慮到那些可能的後果，另一件事情也同樣顯而易見：為了所有人的利益，我們必須讓遏製成為可能。

【圖書推薦】

人工智能、生物技術、量子計算……我們正在接近人類歷史的一個關鍵節點，這一節點決定著人類命運的未來走向。我們已被人工智能包圍，生活中的一切都將改變。人工智能將組織我們的生活，經營我們的生意，管理核心的政府服務。我們將生活在一個有 DNA 打印機、量子計算機和機器人助手的能源豐富的世界里。

作為開創性的人工智能公司 DeepMind 的聯合創始人和微軟人工智能的 CEO，作者穆斯塔法·舒里文尼一直處於這場浪潮的中心。他認為，未來 10 年將被這一波強大、快速擴散的新技術所定義。在這本書中，舒里文尼以通俗易懂、冷靜犀利的筆觸，展示了這些力量將如何創造巨大的繁榮，又將如何威脅到作為全球秩序基礎的民族國家。他既引領我們瞭解激進技術變革的歷史，又引領我們面對深刻的社會挑戰。這本書為我們提供了一劑現實的鎮靜劑，邏輯清晰地描述了當前的技術衝擊，又不乏新意和趣味，引人深思。