OpenAI六年元老再發文：全球AI狂飆，我們應該拉手刹還是踩油門？

新智元報導  

編輯：祖楊

【新智元導讀】前段時間離職後留下公開辭職博客的OpenAI六年元老Miles Brundage最近再發一文，討論了一個相當熱門但棘手的問題：當今的AI發展速度，應該加速、減速還是維持現狀？

10月末，OpenAI在政策研究領域方面的6年元老Miles Brundage離職，順便發表了一篇博文，解釋自己離職的原因，並直言——我們遠遠沒有為AGI做好準備。

10天后，似乎是覺得這篇文章意猶未盡，Brundage再次發文，題為「AI發展是應該加速、放緩，還是保持不變？」

雖然標題是問句，導讀的一句話也充滿了不可知論色彩，但文章的結論非常明確——謹慎起見，我們應該為全社會的AI發展安裝一個「刹車」。

負責託管域奇百科的Chris Albon轉發了這篇博客並大力讚賞，將Miles Brundage的內容產出與致力於教育領域創業的Andrej Karpathy相提並論。

現在再加上剛離職的Lilian Weng，不得不說，OpenAI的「離職潮」大大豐富了高質量AI博客的創作和產出。

Miles Brundage本科畢業於佐治華盛頓大學，本科期間擔任過美國能源部的特別助理，之後前往亞利桑那州立大學攻讀博士，研究方向為科技的人類和社會維度，博士後期間曾在牛津大學擔任AI政策研究員。

2018年，Miles Brundage加入了剛剛成立3年的OpenAI擔任政策方面的研究科學家，之後又在2021年升任研究主管，目前是AGI準備工作的高級顧問。

當今的AI發展

人工智能應該更快、更慢還是保持不變？在回答這個問題之前，我們先簡要回顧一下目前的人工智能進步有多快。

2021年出版的一本書——《人工智能簡史》（A Brief History of Artificial Intelligence），其中的觀點在短短3年後的今天就已經過時了。

比如書中提到，「理解一個故事並回答有關問題」以及「解釋照片中發生的事情」，這些任務並沒有完全被AI解決；但從GPT、Claude、o1等模型中可以看到，這些方面已經有了很大的進步，甚至很可能超過了人類表現。

舉出這些例子並不是為了特意挑刺或抬杠，而是我們要明白一點——嚴肅的專家經常在人工智能領域犯下嚴重錯誤。

雖然某些情況下，人們確實對人工智能的進展過於樂觀，但總體而言，近十年來，堅持唱深度學習的反調確實不是一個成功的策略。

另外還有下面這張著名的圖表，告訴我們AI的發展如何讓各種評估基準越來越快地飽和。

在物理、化學和編碼等領域的測試問題上，AI開始超越專家表現，例如基本全新的GPQA問答基準（Google-Proof Question Answering），去年11月剛剛發佈，現在卻正在被碾壓。

在解決Google搜索都無法完成的，孤立的、研究生級別的任務上，AI可以比大多數專家做得更好，即使專家有半個小時的時間來解決問題。

這種最新的進展的驅動力是AI系統向新範式的過渡，即所謂的「思維鏈」（chain of thought，CoT），在給出答案之前先思考問題。

GPQA基準僅僅是一個孤立的短期任務，AI系統在需要花費數小時/數天/數週/數年的「長期」任務上還無法超越專家，但科技公司正在積極推動這一點，並極有可能在10年內實現。

這些進步開始與機器人技術相結合，真正智能的AI系統無疑將大大加速機器人技術的發展。

棘手的問題——AI發展的理想配速

儘管在我看來，對AI進步速度的爭議會隨著時間的推移而減少，但這個問題目前仍然非常模糊，因為能在不同的規模和層面上控制它，比如單個公司、一個國家或一組國家，或全球範圍，也區分不同類型。

例如去年發表的一篇文章中，就做出了如下區分：

人工智能的快速發展可區分為橫軸和縱軸：縱軸指的是開發更大更強的模型，這伴隨著許多未知因素和潛在的人類生存風險；相比之下，橫軸強調將當前模型融入經濟的各個角落，並且風險相對較低，回報較高。

本文下面的內容主要關注全球範圍內AI在縱軸上的擴展/進步，也就是大多數人所理解的AI進步的意思；而且最終我們關心的是全球成果，因此無論人工智能發生在哪裡，都應該考慮它的進展。

有些人可能認為這是一個棘手的問題，原因之一是他們認為這是對技術看法的「試金石」，而技術本身就已經是一個很大的爭議了。

但事實並非如此。實際上，有很多人總體上支持技術發展，但對人工智能感到擔憂。

比如，在這份旨在重視AI風險的倡議書上，不乏各種大力推動技術發展的大佬，比如比爾·蓋茨、前OpenAI首席科學家Ilya Sutskever、DeepMind聯創兼CEO Demis Hassabis、Anthropic聯創兼CEO Dario Amodei、OpenAI CEO Sam Altman等人。

在本文作者Miles Brundage看來，AI發展的配速之所以成為一個難題，其真正原因在於，即使大家的出發點是一個共同的合理道德前提，例如「不要殺死所有人」和「更多的人 vs. 更少的人應該從技術中受益」，一系列相關的經驗問題仍然很難解決。

AI總體發展的理想配速可能取決於以下問題的答案，而每個問題實際上都可以成為一個單獨的領域：

• 讓功能強大的AI系統變得安全是超級容易、容易、困難還是超級困難？

• 中國在人工智能方面是否有可能超越美國？這是否會因改變人工智能進步而採取的不同步驟而有所不同？

• 人工智能的快速進步是會有助於還是損害我們應對其他重大社會挑戰/風險的努力（例如氣候變化）？

類似的問題還有很多。這些問題本身就很難回答，而要將它們整合到一個整體框架中，以得出關於AI理想進展速度的有用結論就更加困難。

我們是否需要刹車

需要澄清的是，本文所指的「刹車」並非用「一刀切」的方式完全停止AI技術的發展。而是基於事實和對上述問題的回答，通過詳細定義、分析的技術和政策選項來減緩人工智能的進步。

在Brundage看來，我們應當安裝（經過設計和辯論的）「刹車」，因為當前AI的進步明顯快於社會能夠有效理解和塑造的速度，而且這種情況可能不會很快改變——甚至，二者之間差距可能逐漸擴大。

理想情況下，政策製定者能夠掌控一切，但我們不知道最壞的情況是否會發生，所以要為各種情況做好準備。

值得一提的是，去年Brundage曾寫過一篇文章，詳細分析了他所見的AI進步和社會準備度之間的差距。

原文鏈接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai

目前來看，上述定義的「刹車」仍不存在，一部分證據是，我們看到了「科技公司單方面暫停AI開發」這種不切實際的提議。

這類政策不會發生也不會起作用，至少在未來很長一段時間內是這樣，因為負責任的AI開發是一個集體行動問題。Brundage仍在OpenAI任職時，他和團隊在2019年發表的論文就詳細解釋了這一點。

大部分人都會擔心AI的發展。人們看到問題的存在，之後就會四處尋找答案，並提出一些非常簡單的解決方案，但政策製定是困難的，需要遠見、辯論和認真的研究。

OpenAI、哈佛甘迺迪學院、牛津、劍橋等機構在今年2月聯合發表了一篇論文，討論安裝「刹車」的一種可能性——「算力儲備」（compute reserve）。

這類似於設置一個有黃金儲備的中央銀行，對市場經濟的發展進行宏觀調控；「算力儲備」也是如此，調節AI發展的步伐節奏。

儘管已經有了一篇104頁的論文打底，但「算力儲備」的方案仍存在很多問題和模糊之處。這不一定是正確的解決方案，但我們確實應該對此和相關想法進行更多討論，還有人工智能稅等等更多場景。

如果需要設計一個刹車的話，我們要不要同步配套一個「油門」？

Brundage認為，這也是必要的，但目前我們看到的是，已經有各種小型的「油門踏板」被踩得很緊。

例如，CHIPS法案將更多資金投入美國半導體制造；初創公司、風投和大型科技公司不斷嘗試在橫軸和縱軸上擴大AI規模；教育機構不斷培養研究人員和工程師；消費者們「用錢包投票」，通過為科技公司提供收入來間接支持AI更快地進步。

考慮到減速方面的協調困難，單方面加速比單方面減速更容易。因此，從分配政策研究注意力的角度來看，關注困難的問題更有意義，也就是如何放緩AI的發展。

結論和後續步驟

總而言之，這篇博文著重論證了兩點：

1. 對於標題中的這個問題（AI發展應該加速、放緩，還是保持不變？），仍沒有人能給出合理且明智的答案

2. 儘管如此，謹慎地安裝「刹車」是明智的做法，從而為可能發生的情況做好準備

Brundage表示，目前缺乏「刹車」的情況讓他非常擔憂，而且在他職業生涯下一階段關注的主題中，「進展速度」這個問題相當重要。

儘管他表示，「AI監管措施」與「國家競爭力」之間並不存在大多數人所認為的那種聯繫，但他發表過的一篇推文直言：「與過度監管相比，缺乏監管，特別是與安全+出口管製相關的監管，更有可能導致美國失去AI領域的領先地位」

https://x.com/chrisalbon/status/1852799633380237453

https://milesbrundage.substack.com/p/should-ai-progress-speed-up-slow