抑鬱6個月後，DeepMind兩萬引科學家離世，萬字絕筆談在AI行業工作的壓力

夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

DeepMind近兩萬引科學家Felix Hill，去世了。

他參與過NLP領域經典的GLUE和SuperGLUE基準，2016年起在DeepMind工作直到最後一天。

在他去世的前幾個月，留下一篇討論「在現代AI領域工作的壓力」的文章《2000億權重的責任》，引起熱議。

文章中提到他因家人去世、壓力等原因患上急性精神病，經歷了6個月危及生命的抑鬱症之後，感覺開始在好轉了，重新恢復寫文章。

他把自己的經歷，以及對過去兩年AI領域的煩死分享出來，希望能夠幫助到同樣正在經受痛苦的人。

Felix Hill去世的消息由他的好友、紐約大學教授Kyunghyun Cho帶來。

Kyunghyun Cho表示12月9日就寫好了這篇悼文，但遲遲不敢發佈，因為不想也不敢相信所發生的事。現在光是想到這件事，心仍然很痛。

無論是與他合作過，還是僅有一面之緣，又或是只讀過他文章、聽過他學術演講的學者紛紛表示，這個消息令人心碎。

他留下討論AI工作壓力的文章，再次引起很多人共鳴。

Felix Hill其人

Felix Hill不是職業生涯一開始就進入AI行業的。

2006年，他在牛津大學數學專業畢業後做過幾年數學教師。2016年在劍橋大學獲得計算語言學博士學位。

這期間他致力於教育，除了在高中教數學之外，也參加過非盈利組織，以及自己創辦教育企業。

2016年加入DeepMind後一直工作了近9年。

除了研究之外，Felix Hill經常分享自己的思考，他會從語言學的角度分析Transformer。

他留下的最新一篇學術文章，是探討Transformer中歸納偏置的作用，與Sutton的《苦澀的教訓》相對，提出《苦樂參半的教訓》。

Felix Hill認為，語言中局部依賴遠比長距離依賴更為常見，依存句法分析器結果顯示語言中依存關係分佈嚴重偏向短距離。

但奇怪的是，RNN有表示局部依賴的歸納偏置，而Transformer在依賴長度上無偏好卻在很多任務中表現更優。

他提議或許人們應該停止設計反映數據最常見模式的歸納偏置，一個好的通用模型很容易學到這些現象。

但只要計算、規模和數據有限，特定領域的偏置仍有必要設計，Transformer 的自注意力是一種有效的歸納偏置。

此外，他10年前第一次接觸RNN時，在一次演講中提出大膽的觀點「語法不存在了」，以及神經網絡語言模型給語言學帶來的其他令人震驚的結論。

當時這個觀點在學術界引起了一些爭議，現在卻常常被人回味。

最後附上Felix Hill探討AI研究工作壓力的文章整理翻譯。

2000億權重的責任

人工智能領域在過去兩年中發生了不可逆轉的變化。

ChatGPT的月活躍用戶接近2億。Gemini在2024年5月訪問量接近3.2億次，AI愛好者現在可以享受AI微波爐、AI牙刷甚至AI足球。

然而，對於許多從事人工智能工作的人來說，這種公眾興趣的激增既是福也是禍。當然，薪資、股價和市值都上漲了。另一方面，這種變化也帶來了一組獨特的壓力。

這篇博客是關於現代人工智能的壓力，它面向那些工作與人工智能相關的人（保守估計現在約佔世界人口的 87%），尤其是那些從事人工智能研究的人。

最終，我希望討論是什麼讓AI研究變得有壓力，能讓那些有幸從事這一領域工作的我們生活更加快樂。因為，儘管目前混亂，它仍然是一項美好、充實的職業；一項有潛力解決科學、哲學乃至人類自身許多重大問題的職業。

無法逃脫

幾個月前，我在一個朋友的40歲生日聚會上。我們關係很好，所以我認識大部分客人，有些還非常熟悉。但並不是所有人都認識。

在那些我最不熟悉的人中，我注意到了一個奇特的現象。

儘管我身體不適（稍後詳述），顯然也不願意交談，但圍繞我形成了一個小隊伍。僅僅因為人們知道我在DeepMind工作，所以想要和我交談。

並且聊的並非關於足球或80年代音樂等事物。這些人想要談論的是我儘量避免思考的一件事：人工智能。

雖然很多人對我的工作感興趣讓我感到榮幸，但也讓我意識到過去兩年發生了多大的變化。銀行家、律師、醫生和管理顧問都想要瞭解我對ChatGPT的看法；儘管很少有人聲稱直接在自己的工作中使用這樣的大模型，但他們確信人工智能領域正在發生一些他們應該瞭解的事情。

作為一名研究人員，我確信您能理解在社交場合無法放鬆的感覺。

但情況更糟。即使在自家的範圍內，我也並不安全。

我已經很久不再看新聞，害怕引發焦慮。但即使在看足球、VH1電影片道、優秀電視劇改編，廣告中也充滿了對人工智能的提及。

在這個時候，我常常想收拾行李，穿越大陸，加入一個孤立的小團體。儘管在這個階段，即使內觀禪修在某種程度上被AI滲透，我也不會感到驚訝。

隱含競爭

幾家大型公司似乎在競爭開發最大、最好的大型語言模型，這一事實本身就有內在的壓力；無論你為誰工作。

目前從事人工智能研究可能會感覺像是在參與一場戰爭，眾所周知，戰爭可能導致嚴重的後果，包括精神錯亂、離婚和自殺。

當然，這並不是將參與人工智能研究等同於「字面上的戰爭」中的身體戰鬥。但根據我自己的經驗，這種相似性是真實的，儘管有些微弱。

關注底線

通常，工業界的研究人員不習慣他們的工作直接且立即影響僱主的財務狀況。

當然，許多研究人員都會夢想有機會產生這樣的影響。只是之前這就像是十年一遇的事情。

在大多數情況下，今天對大模型的基礎研究結果是小的，可能是模型性能的短期波動。然而，由於公眾估值與大模型的表現緊密相連，這些波動反過來可能導致股價出現數十億美元的波動。

這種動態當然非常緊張，這不是 AI 研究人員在研究生院、博士後期間，甚至 2022 年之前工作中準備好的事情。

錢、錢、錢

大多數人工智能研究人員，尤其是我們這些年齡稍大的人，並沒有為了賺錢而進入研究領域。

為熱愛的工作賺取大量金錢聽起來像是一種萬能藥，但它也可能引發強烈的焦慮。尤其是如果推動你收入增加的外部因素不在你的控制範圍內，或者有讓你不再像以前那樣熱愛工作的效果。

無論AI是否與此有關，都有充分的證據表明突然積累財富可能會導致各種問題；只需看看那些經過多年努力終於取得成功的演員或歌手。上癮、破裂的關係、破碎的友誼甚至自殺只是其中一些更常見的症狀。這些當然是我能夠感同身受的症狀。

沒有科學家的位置

規模、簡潔性和大模型的有效性使得進行相關「科學」研究變得困難，即在意義上它立即使大模型變得更好。

領先的研究員們已經宣揚了Rich Sutton的《苦澀的教訓》；事實是，在規模之外幾乎不需要任何創新。

即使理論上可能實現實質性創新（這當然可能），實現它通常需要在大約1001個條件下進行反復訓練。這甚至不是最大的公司都能承擔得起的。對於一個「僅僅」是研究科學家的人來說，這可能感覺是無法解決的痛苦。

這些條件對於習慣於在小團隊（5-10人）中工作的工業科學家來說很睏難。但對於學術界的人來說，這些條件無疑更加嚴峻：博士生、博士後以及AI/CS/ML領域的教師。

發表

儘管學術界的人士可以（並且應該）繼續發表從實驗大模型中獲得的見解，但對於工業界的科學家來說，是否發表的問題並不那麼明確。

發表一直是科學過程的一個內在組成部分，並且始終是人工智能研究的一個核心原則。我與大多數人工智能研究人員交談過，尤其是研究科學家，他們都同意我的觀點，認為發表是我們職業生涯的一個關鍵方面。

然而，在工業界至少，過去兩年里，關於發表研究成果是否可行的問題變得越來越不明確。能夠改善大模型的小技巧在大模型的競爭中可能成為至關重要的武器。是否將這些秘密公之於眾對資助研究組織的利益總是個複雜的問題。

這所有的一切意味著研究人員往往對自己的想法的命運沒有意識，至少在我個人的情況下，這可能導致巨大的壓力。

初創企業

當然，一種可能的擺脫這些擔憂的方法是製定一個科學願景，籌集一些資金併成立一家初創公司。事實上，目前AI初創公司（無論大小）的激增顯示了有多少科學家選擇了這條道路。

但成為創始人並不能保證避免與壓力相關的問題。事實上，這眾所周知是壓力很大的；即使在當前投資者的熱情水平下，許多資金充足的 AI 初創公司也失敗了。我從自己的經歷中知道，成為創始人是一條特別孤獨的旅程。毫無疑問，對於有抱負的科學家來說，這是一個可行的選擇，但這並不是一個能讓科學研究變得容易的選擇，也不是一個能減輕壓力的選擇。

為什麼我選擇寫關於壓力的博客？

過去兩年，人工智能領域混亂而瘋狂，但對我來說，這也是一段特別動盪的時期。

2023年4月，我的母親在與阿爾茨海默病長期鬥爭後去世。當時我因急性精神錯亂正在精神病院接受治療，壓力可能是重要因素。

接下來的12個月裡，理論上我在恢復，但實際上處於極度焦慮和自殺抑鬱的狀態。在這段時間里，我很幸運有理解我的情況（以及我對公司的價值）的僱主，他們提供了持續的治療和精神支持。

經過6個月的危及生命的抑鬱症之後，我開始感覺好轉，最近能夠寫關於我的經歷。我瞭解到壓力和焦慮是相輔相成的；實際上，它們最終可能是同一件事。當然，像任何適應性特徵一樣，焦慮也可能帶來好處（例如，提高生產力），但當焦慮變得惡性時，後果可能非常嚴重。

在反思過去兩年的人工智能領域，同時嘗試重新學習如何成為一名人工智能研究者時，我獲得了在這篇博客中分享的見解。當然，分享這些見解並不能解決一般性的問題，但在我最黑暗的時刻，讓我感到希望的少數事情之一是知道我並不孤單。如果你現在正在遭受痛苦，請相信我——你並不孤單。

社交焦慮

我已經涵蓋了目前可能困擾那些從事人工智能研究的人們的許多壓力或焦慮的催化劑。但有一種壓力我尚未提及，因為我很幸運從未親身經歷過。相反，我是通過與朋友和同事的親密交談瞭解到的。

這種壓力形式是社會焦慮。

根據朋友的說法，那些社交焦慮的人覺得群體互動很睏難。在當今人工智能領域，大型項目團隊和大規模（通常是跨大陸）的合作是必不可少的，這更加困難。目前行業的高流動率只會使情況變得更糟，因為那些通常作為社交「安全網」的既定團隊可能會在一夜之間被摧毀。流動率還可能導致信任問題，因為之前可靠的盟友可能會離開去加入「敵對」的研究團隊。

好消息是，社交焦慮，就像我迄今為止討論的所有焦慮或壓力的表現一樣，是可以克服的。這個過程始於培養家庭和「非 AI」朋友等自然支持網絡。但對於我們所有在 AI 領域工作的人來說，一個關鍵的第二步是開始並持續進行關於壓力的坦誠對話。

所以請分享您的個人經歷，發文或評論，讓我們看看能否讓AI研究不僅成為一個充滿活力和智力挑戰的地方，而且還是一個充滿同情和善良的地方。

參考鏈接：

[1]https://docs.google.com/document/u/0/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/

[2]https://kyunghyuncho.me/bye-felix/