又一OpenAI研究員離職，不相信OpenAI能造福世界，AGI使命無比困難

【導讀】OpenAI治理研究員Richard Ngo宣佈離職。近來，OpenAI中專注於AI安全的員工接連出走，Ngo是最新的一位。

就在剛剛，OpenAI治理研究員Richard Ngo宣佈離職。 

在OpenAI從事人工智能預測和治理工作三年後，我剛剛在Slack上發佈了這條離職的消息。 

內容並沒有什麼特別驚訝的地方，但你應該比大多數類似的消息更字面地理解它——我儘量只說了我直白相信的事情。 

Ngo表示，他對過去一年里發生的事件有很多未解的問題，這使得他更難相信自己的工作能在長期內造福世界。他逐漸意識到，想要實現OpenAI的使命——讓AGI良好發展，是多麼困難。 

Ngo自2021年起加入OpenAI，之前曾在Google DeepMind擔任AI安全研究員。 

近來，OpenAI中專注於AI安全的員工接連出走，Ngo是最新的一位。 

OpenAI研究科學家、德撲之父Noam Brown送上了祝福。

前OpenAI員工（今年8月離職）回憶道，自己是通過Ngo「AGI安全基礎」課程才接觸到AI安全的，並祝他未來一切順利。

離職信全文 

大家好，我決定離開OpenAI（生效日期為星期五）。 

在過去的三年里，我一直在Miles的領導下工作，因此在他離開之後，很自然，我似乎也該離開了。沒有一個單一的主要因素促使我做出這個決定。 

對於過去一年發生的事情，我依然有很多未解的問題，這讓我更難以相信我的工作能長期為世界帶來正面影響。我也一直感覺自己更傾向於公開地進行更多的迭代，並與更多合作者一起探討多種研究方向。 

接下來的幾個月裡，我打算主要進行獨立研究，內容包括AI治理和理論性AI對齊問題的結合，然後再看看未來的方向如何。 

儘管經歷了許多波折，我真的很享受在OpenAI的時光。我有機會參與許多令人著迷的議題，包括預測、威脅建模、模型規格和AI治理，並與一群不斷創造歷史的、卓越的人一起工作。 

當我面對那些新加入公司的成員時，我很難向他們傳遞OpenAI最初的雄心壯誌：設定了讓AGI良好發展的使命。 

雖然「發展AGI」這一部分的任務似乎已在正確軌道上，我（和其他人）卻逐漸意識到，想要對「良好發展」這一部分的任務作出積極貢獻，遠比預期的要困難得多，特別是需要預防它對人類生存的威脅。 

部分是因為預測未來本身就很睏難，同時由於AGI前景的巨大規模，容易放大人們的偏見、合理化和部落主義傾向（包括我自己）。 

PS： 

合理化（rationalization）是心理學和行為經濟學中的一個概念，指的是人們在面對自己無法接受的行為、想法或決定時，通過給自己提供看似合理或合情的解釋來減輕內心的不適感或認知失調。簡單來說，合理化是一種防禦機制，人們會為自己的不理性行為或決策找到合適的理由，以便自己能夠接受或不感到內疚。這種心理機制幫助人們減輕認知衝突，但也可能導致不誠實或不理性的行為得以持續。 

部落主義（tribalism）是一種社會現象，指的是人們對某個特定群體的強烈認同感和忠誠感，並因此對其他群體或文化產生排斥、敵視或競爭的態度。部落主義不僅限於傳統的部落或民族，還可以表現在各種現代社會群體中，如政治派別、宗教信仰、公司文化、體育隊伍支持者等。 

無論好壞，我預計風險將會繼續加大，因此我希望你們都能以正直、深思熟慮的態度，以及清晰的判斷，來應對你們（以及OpenAI）在這些風險中的角色，明確何時以及如何做出的決定才能真正服務於我們的使命。 

長期深耕AI安全 

繼許多專注於AI安全的員工離職OpenAI後，Richard Ngo的離職特別具有象徵意義。 

要知道，他是AI安全社區中一個有影響力的聲音，自2018年以來一直致力於AI安全研究——而ChatGPT是在2022年底才開始風靡全球。 

他是論文《The Alignment Problem from a Deep Learning Perspective》的共同作者，該論文已在ICLR上發表。 

論文地址：https://arxiv.org/abs/2209.00626 

他還收集了很多網絡上的學習資料，編成了一系列「AI Alignment」的課程。 

課程地址：https://course.aisafetyfundamentals.com/alignment 

Ngo還是一個非常具有人文氣息的科技從業者。這也不難解釋他對OpenAI初心的堅守，以及對AI安全未來的擔憂。 

他在劍橋大學獲得了機器學習哲學的哲學博士學位（2020–2021），並在同校獲得了計算機科學的哲學碩士學位（2017–2018）。此外，他還在牛津大學獲得了計算機科學與哲學的文學學士學位（2014–2017）。 

他還在博客里撰寫「AI Autofiction」（AI自傳小說），在其中描述了從未來AI的角度來看世界可能是什麼樣子。 

博客地址：https://www.narrativeark.xyz/t/ai-autofiction

AI安全員工出走潮 

近來，許多專注於AI安全的員工都先後離職OpenAI。 

OpenAI七年元老、安全副總裁Lilian Weng，於上週宣佈離職。 

OpenAI六年元老、研究主管Miles Brundage，同時也是Ngo的上司，於上個月離職。 

再往前追溯，今年早些時候，OpenAI的超級對齊共同負責人Ilya Sutskever和Jan Leike也離開了公司。 

Leike曾表示，「OpenAI的安全文化和流程已被耀眼的產品所取代」。 

許多其他專注於安全的員工，包括William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等，也都相繼離職。 

參考資料： 

https://x.com/RichardMCNgo/status/1856843040427839804

https://www.transformernews.ai/p/richard-ngo-openai-resign-safety

本文來自微信公眾號「新智元」，編輯：靜音，36氪經授權發佈。