讓AGI造福全人類的願景是個謊言？OpenAI核心人員再次離職
政策研究部門核心人員離職！
Rosie Campbell-OpenAI的政策研究員，也是原研究科學家、政策研究負責人Miles Brundage親密共事的夥伴。
再次呼籲人工智能企業重視AGI造福人類的願景！
她在X上說到「這是我在OpenAI工作約3.5年後的最後一週。我先是從事API安全工作，然後轉到了政策研究部門，在那裡我與@Miles_Brundage 緊密合作，共同研究人工智能治理、前沿政策問題以及通用人工智能（AGI）的準備情況。」
全文翻譯：
大家好，在這裏工作了將近三年半後，我即將離開OpenAI。
我一直深受確保安全和有益的通用人工智能（AGI）使命的驅動，而在Miles離職和AGI準備團隊解散之後，我相信我可以更有效地在外部追求這一目標。
在這裏工作期間，我處理了一些前沿的政策問題，比如危險的能力評估、數字意識和治理代理系統，我很高興公司支持那些被忽視的、有點奇怪的政策研究，這些研究在認真考慮變革性AI的可能性時變得重要。
有點讓我心碎的是，我看不到一個讓我繼續在內部從事這種工作的地方。
與如此傑出的人們一起在這樣一個關鍵時刻從事改變世界的技術工作，這真是我的榮幸。
隨著成長，變化是不可避免的，但過去大約一年中的一些變化讓我感到不安，以及塑造我們文化的許多人的離去。
我真誠地希望，對我來說使這個地方如此特別的那些東西能夠被加強而不是削弱。
為此，冒著冒昧的風險，我要留下我的建議：
記住我們的使命不僅僅是「構建AGI」。為了確保它造福人類，還有很多事情要做。認真考慮我們目前的安全方法可能不足以應對我們認為這十年可能會出現的、能力大得多的系統。
儘量說真話，即使這些話不方便或難以面對。
以適當的嚴肅態度行事：我們正在構建的不僅僅是另一個科技產品。
在這裏我學到了很多，我非常感激能與你們一起經歷這段瘋狂的旅程。我希望你們能保持聯繫。
回顧10月-11月份，OpenAI兩位安全相關人員離職
Miles Brundage在2018年加入OpenAI，曾擔任研究科學家、政策研究負責人以及高級AGI顧問等重要職務，今年10月底離開OpenAI。
MilesBrundage在OpenAI的工作主要集中在確保OpenAI的產品能以安全、可靠的方式進行部署使用。
他領導了外部紅隊計劃Red teaming，測試OpenAI AI系統的安全性和魯棒性，並推動了「系統卡」報告的創建。
還積極參與了有關AI進展評估、AI安全監管、AI經濟影響以及有益AI應用加速推進等方面的研究，並提出了「AI大戰略」概念。
他離開OpenAI時表示在非營利部門作為研究人員和倡導者將會產生更大的影響，他將擁有更多的自由發表能力。
Miles Brundage離職後曾髮長文表示對於「世界有效管理人工智能、AGI能力的就緒狀態（包括監管 OpenAI 和其他公司）」尤為重要，並且希望在此領域發揮自己更大作用。
Lilian Weng，11月15日離開OpenAI，曾擔任OpenAI的安全研究副總裁及後來的安全系統團隊負責人。
在OpenAI工作的7年的時間里，LilianWeng負責建立和領導安全系統團隊，專注於解決人工智能安全的關鍵問題，包括防止現有AI模型被不當利用等挑戰。
她的離職被行業觀察者視為對OpenAI未來安全戰略的一個潛在考驗。
她曾提到，在GPT-4發佈之後，她被指派了重新評估OpenAI安全系統的任務，但她選擇離職，以便有更多的時間撰寫技術博客，並可能在公司外部更有效地推進AI安全與倫理的研究工作。
她的這一決定也引發了業界對OpenAI內部戰略方向和安全文化建設的廣泛討論。
而就在昨天（美東時間週五），與OpenAI法律訴訟糾葛不斷的馬斯克，也再一次提出了新要求。
馬斯克及其人工智能公司xAI的法律團隊向美國聯邦法院再次提交申請，請求法院發佈初步禁令，以阻止OpenAI從一個非營利組織轉變為完全以盈利為目的的企業。
此外，他們還要求法院禁止OpenAI限制其投資者向包括xAI在內的競爭對手提供資金支持
不難看出，似乎從業者們，對人工智能的安全擔憂叢叢，對商業與技術的難以平衡感到不安。
安全和有益的通用人工智能（AGI）？
所有的人工智能相關組織、企業、公司都在談AGI。
「會從用戶價值出發…… 會推動AGI……以普惠為使命……以人類進步，科技發展為願景……」
所以，到底有多少企業除了技術追求之外，真正在直面問題：保障安全和有益的通用人工智能（AGI）發展」呢？
我們簡單來解釋一下為什麼需要直面並堅持安全和有益的通用人工智能（AGI）。
首先，技術失控問題，AGI可能擁有超出人類控制的能力，將導致不可預測的風險和後果。
第二人工智能的發展需要考慮倫理和道德問題，比如決策的透明度、偏見和歧視問題，以及對隱私的影響。
第三責任問題，人工智能系統的複雜性增加，到那時候再來確定誰對人工智能的行為和決策負責變得更加困難。
第四經濟和社會影響，人工智能可能會對就業市場、社會結構和經濟產生深遠影響，包括職業的自動化和收入不平等的加劇。
第五政策和法規問題，需要製定和實施有效的政策和法規來管理人工智能的發展，以確保其對社會的積極影響。
第六人類福祉和可持續發展，核心目標一定是確保人工智能的發展能夠提高人類的福祉，而不是僅僅追求技術進步。
第七……
OpenAI離職的人員越來越多，拋出的人工智能安全警示也越來越多。
作為在科技發展中扮演重要角色的企業，特別是在人工智能這樣的前沿領域，每一步的發展都需要格外謹慎。
最初的願景是否還在？
科技的發展與給你所處世界帶來的風險要如何平衡？
值得每一個人深思。
本文來自微信公眾號「億歐網」（ID：i-yiou），作者：不寒，編輯：劉歡，36氪經授權發佈。
