牛津教授驚人預警：AI十年科學發現，頂人類100年！科研速度已超人類500倍

新智元報導  

編輯：Aeneas KingHZ

【新智元導讀】牛津大學教授新研究，未來AI的增長率足以在不到10年的時間里，推動相當於100年的技術進步。AI變革或將完全顛覆人類社會！

未來，AI研究的發展速度將比人類快500倍，10年內就能推動100年的技術進步！

牛津教授Will MacAskill等人最近的這篇博文，對未來提出了許多驚人的預測。

在他們看來，即便AI沒能實現「遞歸自我改進」，即便算力的擴展陷入停滯，即便算法效率提升的速度放緩，AI的發展增速仍足以在不到10年的時間內，推動相當於100年的技術進步。

而且根據他的預測，未來AI還將高速發展——

訓練算力還有約1萬倍的增長空間；推理算力能保持1000倍增長；未來10年AI訓練算力×算法效率×推理算力的乘積，將增長1000億倍(10¹¹倍)！

而到了20年後，AI的技術研發實力總體上將和人類相當。

之後，AI還會繼續發展，全面超越人類智能總和，而人類將面臨前所未有的難題！

比如，新型的大規模殺傷性武器、AI賦能的專製政權等等，所以，現在我們就得為AGI做好準備，應對智能爆炸可能帶來的各種令人迷失的方向。

十年內，比人類聰明得多的AI就將出現

在接下來的十年內，我們很有可能會看到比人類聰明得多的AI。

如今的推理模型，已經讓我們窺見了這一雛形。

那麼，結果是非黑即白的嗎？要麼我們未能對齊 AI，導致人類永久失去權力；要麼我們成功對齊AI，然後利用它解決所有其他問題。

並非如此。

能有意義地替代人類研究勞動力的AI的發展，可能會推動非常迅速的技術進步，將數十年的科學、技術和智力發展壓縮到幾年甚至幾個月。

醫學的進步，會大幅延長我們的壽命，豐富的物質，會讓每個人都活得如同今天的億萬富翁。

但一系列危險，也如影隨形：誰將控制超級智能，誰就會將人類接管。

還有一個新問題會出現：AI能力已經與人類相當後，人類還需要花多少精力，去研究AI？

假設AI能力已經與人類相當，由於電力限制，進一步擴大訓練規模已不再可能，並且不存在軟件反饋循環。

此外，可以假設計算推理的增長和效率提升比當前速度減緩約30%。

在此情景下，AI研究的工作量在達到人類水平後的十年內，仍將平均每年以5倍的速度擴展。

十年內，AI幫人類實現一個世紀的進步！

在最激進的設想，可以假設集體AI能力很快就能達到與人類相當，同時在擴大訓練規模和推理計算方面仍有很大的提升空間，並且AI自動化進行AI研發確實會形成一個軟件反饋循環。

牛津教授的簡單模型表明，AI研究大約1000倍的增長，將導致在十年內產生超過一個世紀的技術進步！

保守起見，可以假設圍繞物理實驗和資本的複雜性，意味著我們實際上需要在 10年內進一步增加10倍的認知研究努力 —— 即10000倍的增長。

但當前的趨勢表明，在十年內，一旦AI達到人類水平，我們將獲得AI研究能力的數千億倍增長（如果計算規模停止擴展，甚至算法效率改進有所放緩）到百萬兆倍增長（如果我們得到一個積極的軟件反饋循環）。

因此，如果我們繼續擴大AI規模，而沒有集體同意減緩速度，那麼十年內實現一個世紀的技術進步似乎是可能的！

甚至，更加驚人的加速也極有可能實現。

AI讓科技提速10倍

想想過去100年的技術進步，試想如果這些進展發生在十年里會怎樣：

從第一次跨太平洋飛行到登月，僅僅四個月；

從曼哈頓計劃到廣島長崎爆炸原子彈，僅僅三個月。

現在，設想一下在沒有AI的情況下，100年後也就是2125年，你希望能看到的科學、知識和技術方面的所有進步。

然後想像一下，只要10年，有生之年這些都實現了！

牛津大學的哲學家和作家William MacAskill認為，AI能極大推進技術的進步：

即使沒有軟件反饋循環（即「遞歸式自我改進」），即使算力的擴展陷入停滯，算法效率提升的速度放緩，AI的發展增速仍然足夠快，能夠在不到10年的時間內推動相當於100年的技術進步。

趨勢看起來很明顯。

2019年的時候，當時最厲害的語言模型連話都說不利索。可到2023年初，語言模型不僅能流利地回答各種問題，而且掌握的常識比地球上任何人都要多得多。

在2023年初，在解答科學問題時，頂尖模型表現甚至還不如瞎猜。可如今不一樣了，它們的表現已經比博士級別的專家還要出色。

AI的算力每年增加30倍

目前，訓練的算力和算法主導了AI的進步：

訓練算力：自2010年以來，訓練運行所使用的最大算力每年增加約4.5倍。

訓練算法效率：根據當前趨勢，訓練模型所需的物理算力每年減少大約3倍。

把兩個因素結合起來了，是衡量「有效訓練算力」的標準——

即在沒有任何算法創新的情況下，為了達到相同的模型性能，所需增加的原始算力。

預訓練的有效訓練算力每年增加超過10倍。

此外，在工具使用、提示方法、合成數據、創造性的生成和選擇答案的方式以及各種其他方面，研究人員引入了「訓練後增強」。

Anthropic非正式估計，訓練後增強目前每年提供3倍的效率提升。

因此，就最先進的AI模型能力而言，相當於訓練算力每年增長超過30倍。

隨著訓練規模越來越大，越來越好，AI模型質的進步也在不斷湧現，表現形式微妙而令人驚訝。

為什麼AI總體上能比人類聰明？

目前，全球的整體研發投入增長緩慢，年增長率不到5%。

然而，AI在認知勞動方面的增長速度，比人類快了足足500倍。

這種趨勢很可能會持續，直到AI的認知能力超越所有人類。

所以，一旦AI的認知勞動總量開始與人類的認知勞動總量相當，整體認知勞動的增長率將大幅上升，從而加速技術進步。

這並不是白日做夢：運行效率的提升和可用推理算力的增加，能讓「AI總量」增長約25倍/年。

推理效率：有效訓練算力大約翻倍時，相應的推理成本大致減半，目前有效訓練算力每年增加約10倍。

推理算力：用於推理的算力增長速度大約2.5倍/年。

這些變化意味著，不僅是最先進的AI，而是所有的AI，性能會得到明顯提升。

假設當前趨勢繼續發展，直到AI與人類科研投入大致持平。

假如AI研究員的有效數量與人類研究員數量相當，技術研發效能的增長速度會受到什麼影響？

不妨假設訓練進步完全等於推理效率提升，而更多的推理計算完全用於運行更多的AI。

現在已經看到，推理效率大致與有效訓練算力同步提升，每年約增長10倍，推理算力每年至少增加2.5倍。

因此，如果繼續維持當前趨勢，直到AI研發效能與人類科研投入相當，AI研發效能估計將繼續以每年至少25倍的速度增長。

即便如此，這也低估了AI研發效能的增長率。

至少，並沒有考慮到超越人類水平的AI能力提升時，AI研發效能會增長得有多快。

為了理解這一點，不妨看一下人類研究員：在大腦體積和文憑上，他們的差異相對較小。

但在某些領域，傑出的研究員的生產力可能是同行的數百倍。

還沒有考慮來自訓練後增強每年提升3倍有效訓練算力，這能讓年增長率從25倍提高到75倍。

結合考慮，AI研發效能的增長率可能遠超這一數字。

AI究竟還有多大進步空間？

規模化和效率提升的趨勢，還能持續多久？

訓練算力方面：規模最大的訓練任務還有約1萬倍的增長空間（很可能在未來十年內實現）。

之後由於電力等因素，很難再增長。即便突破電力限制，芯片產能、數據稀缺性和硬件延遲也將成為新的天花板。

訓練算法效率：如果保持算力擴張與效率提升的現有比例，訓練算法效率還能提升1000倍。

這意味著有效訓練算力在未來十年將比現在增長1000萬倍——相當於每年約5倍的有效算力提升，低於目前每年≥10倍的增長速度。

推理算力方面：合理推測同期推理算力也將實現1萬倍增長，保持每年2.5倍的增速。

保守估計，若AI進步僅依賴規模擴張而不突破其他維度，測算規模上限可推知AI研發效能：

未來十年AI總體研發效能（訓練算力×算法效率×推理算力的乘積）將增長1000億倍(10¹¹)，年均增速略超10倍。

哪怕十年內在物理層面遭遇瓶頸，但算法的進步卻可能大幅提速。

因為AI模型自身，可能會促使軟件技術顯著改進，包括AI算法、數據處理、訓練後強化等。

這將催生出更強大的AI，進而推動算法進一步發展，形成軟件反饋循環，使AI能力持續提升，而無需額外的物理資源投入。

不過，並非必然會出現軟件反饋循環。

多數新技術充其量只是提升研究員生產力的手段，難以驅動自我維持式的進步。從理論上講，AI也可能面臨類似狀況。

即便「數字機器學習（ML）研究員」能夠取代人類研究員，進展仍可能放緩：第一代數字ML研究員或許能讓下一代AI研究員的表現翻倍，可第二代可能僅提升1.5倍，依此類推。

最終，進步只是短暫性的，而且隨時間逐漸速度還在下降。

要實現快速且持續的發展，投入翻倍至少產出需要翻倍，且需重覆多次。

然而，根據對軟件領域經驗估算顯示，認知投入（研發效能）翻倍，通常能使軟件性能或效率提升超過一倍。因此，有理由認為，由AI驅動的軟件反饋循環，極有可能推動AI性能與效率加速提升。

當然，反饋循環無法無限加速，軟件反饋循環最終必然趨於飽和。

但當前算法效率，遠未達到理論上限。

據計算，大語言模型（LLM）的學習效率，約為人類的十萬分之一（基於成年人大腦的計算能力），且這一上限很可能遠超人類大腦的效率。

所以，若能成功構建軟件反饋循環，AI能力在十年內，或許能讓有效訓練算力增長至100萬倍，實現約一萬億倍（10¹²）的有效訓練算力增長，或者使推理計算與有效訓練計算的乘積增長至10¹⁶，即每年增長約40倍。

無論怎樣，推理算力與有效訓練算力的乘積，至少會以600倍的速度增長，遠超人類認知勞動對技術進步的貢獻，且仍有極大的提升潛力。

20年後，AI與人類平起平坐

在未來二十年內，AI研發投入量將等於人力研發投入。

這意味著AI系統可以共同執行幾乎所有與研究相關的認知工作。

而這些工作，以前只有人類能完成。

由於規模化驅動了如此大的進步，甚至可能在未來十年，AI就接近人類認知，在規模擴展遇電力和其他實際限制之前。

而即使在規模化顯著放緩之後，算法進展仍然可能推動AI繼續前進。

無論如何，AI與人類在認知上平等，可能只是幾年之遙。

為了驗證這一點，可以直接看看AI能力的提升情況。

在博士級科學問題的基準測試GPQA上，GPT-4的表現僅略優於隨機猜測。18個月後，最好的推理模型已經超越了博士級專家。

這種迅猛的發展，極有可能催生出超越人類頂尖研究者能力的AI，而且幾乎覆蓋所有關鍵認知領域。

未來五年內，即便訓練算力擴展不能達成目標，預訓練算法效率的提升、後訓練增強技術的進步、推理效率的提高以及推理算力的增長，仍將推動AI研究不斷向前，突破物理擴展受限和訓練數據不足的阻礙。

所以，雖然難以確切預估時間，但在未來幾年，AI極有可能達到甚至超越人類頂尖研究水平。

AI研究總量指數級增長

一旦超越了人類頂尖研究水平，AI的總體研究能力將呈指數級增長。

可以想像，最初或許會出現約十萬名相當於人類專家級別的AI研究員。

其中，多數可能專注於優化下一代AI，或投身於其他回報豐厚的科技領域。

隨著有效計算能力的提升和推理算力的增加，認知投入可能會成倍增長，迅速超越約一千萬在職人類研究員。

繼而超過全球八十億人口的認知總和。此後，總體能力還將持續翻倍增長。

實際上，特定領域的AI應用早已展現出超越新增人類研究員的推動作用。

例如，GoogleDeepMind的AlphaFold，已預測出超過2億種新蛋白質結構。

對於人類而言，哪怕有100萬的研究員，要耗時多年做實驗才能完成。

而且，通用型AI不會局限於人類研究員技能，還會不斷開拓創新。

AI能比人類強多少？

這取決於兩個關鍵變量：當前AI能力距人類水平的差距，以及持續快速提升的整體潛力空間。

保守預測：在達到人類水平後十年內，AI研發效能將保持年均5倍增速。

假設AI能力在達到人類水平時，訓練算力已因能源限制無法繼續擴張，且不存在軟件自我迭代的正反饋循環。同時，推斷算力增長與算法效率提升速度較當前放緩約30%。

激進預測：AI集體能力將短期內達到人類水平，但滿足2個假設條件：

擴展空間充足：訓練算力與推理算力仍存在巨大提升空間

正反饋循環形成：AI自動化研發切實產生軟件自我迭代效應

人類岔路口

一般來說，技術進步使生活變得更好、更輕鬆。

但它也常常帶來重大挑戰，比如：核武器、監控技術、氣候變化、工廠化養殖的恐怖。

而且錯失了很多彌補的機會，就像當初對待核能那樣。

也就是說，技術帶來了許多「重大挑戰」：人類進步道路上的岔路口。

由AI驅動的技術變革將帶來許多新的重大挑戰。

首先，部分人可能會指揮AI幫助他們獲取並鞏固特權。

AI還可能賦能或扭曲集體推理。

AI說服力超群，可能找到並傳播病毒式的觀念，或對提問者提供「為達目的，不擇手段」的馬基雅維利式建議。

更有可能的是，AI將增強人類的推理能力：

超級智能ASI，可以指導人做出最重要的決策；AI超級預言家，則能讓人對未來有更清晰的預見。

確保真正利用AI幫助人類做出更好的決策，將是在加速技術變革時期做出正確決策的關鍵。

還將面臨如何與AI系統共存的問題，而且AI系統很快會超過全球總人口。

同時，也會有關於如何治理外太空的問題——如何管理在太陽系內爭奪資源的競爭，甚至如何去開拓新的恒星？

在AGI出現後，這一切變得更加容易。

AI進步可能帶來的收益是驚人的：物質上的豐盈，今天的億萬富翁都會嫉妒。

這提供了目前就可以達成的協議，使每個人的生活都比現在更好——

這樣每個人都能分得這塊巨大的未來蛋糕。

如果抓住這個機會，AI可以在協調、保護和民主方面為人類提供有意義的幫助。

AI甚至可以自動化政策分析和良好判斷，幫助我們更好地思考其他挑戰。

但是，如果能夠讓超級智能與人類對齊，難道不能利用它解決其他問題嗎？難道我們可以推遲準備嗎？

在許多情況下，這是正確的。

但並不總是如此，原因有三：

在擁有對齊的超級智能來幫助人類之前，許多挑戰就已經出現了。

一些機會窗口會提前關閉。

需要確保超級智能能在正確的時間，給正確的人提供幫助。

參考資料：

https://www.forethought.org/research/preparing-for-the-intelligence-explosion

https://x.com/willmacaskill/status/1899488909433741673