參加完NeurIPS，紐約大學教授感受到了AI博士生的焦慮與挫敗

機器之心報導

編輯：Panda、蛋醬

2024 年 12 月 10-15 日，今年度的 NeurIPS 已在加拿大溫哥華成功舉辦。今年的會議上，我們看到了 Ilya Sutskever 關於預訓練即將終結的預測，也看到了引發廣泛爭議的 MIT 教授 NeurIPS 演講公開歧視中國學生的事件。

該會議也展現了人工智能領域的研究盛況 —— 本屆 NeurIPS 共收到 15671 篇有效論文投稿，比去年又增長了 27%，但最終接收率僅有 25.8%。如此低的接收率就必然意味著許多研究者的失意和挫敗。但這並不是研究者們感到挫敗的唯一原因。

近日，紐約大學計算機科學和數據科學教授、生物技術公司 Prescient Design 聯合創始人兼資深主管 Kyunghyun Cho 一篇題為「我在 NeurIPS’24 上感受到了焦慮和挫敗」的博客文章引發了廣泛討論。他在文中指出，現在許多博士生和博士後很有挫敗感，因為許多學校培養的本科生就已經具備企業所需的標準化機器學習開發技能，而大量博士生卻因此找不到合適的工作；原因是隨著 AI 相關技術的產品化，企業對博士技能（研究和創新）的需求已經大幅下降，而更多需要支持其產品迭代的工程師。

看完這篇文章後，許多讀者也分享了自己的經歷和看法。

有 AI 博士現身說法，指出很多博士研究者對學術環境之外的狀況關注不足，從而對未來的職業有了過高的期待。

一些讀者對文章表示認可，表示要在科技行業工作，光有專業技能還不夠，還得通過 leetcode / 系統設計和領導力準則考試。

而博士研究者雖然收入高，但行業需求不足，畢竟一家公司並不需要那麼多研究科學家：

但也有讀者並不認可，表示參加 NeurIPS 的人已經有頂會論文傍身，找份工作應該不難。

以下是 Kyunghyun Cho 教授的博客全文，也請與我們分享你的經歷和看法。

我在 NeurIPS’24 上感受到了焦慮和挫敗

上週在 NeurIPS’24 上，一個非常突出的現像是：四年級博士生和博士後表現出了焦慮和挫敗，他們對就業市場感到困惑，因為無論是看起來還是感覺上，就業市場與他們五年前申請博士項目時的預期大不相同。並且，其中一些博士生和博士後正是在我自己的指導之下。這讓我反思人工智能研究和開發領域正在發生的情況。這篇文章更像是一連串的思考，而不是一篇結構良好的文章（不過我好像也沒有寫過一篇結構良好、經過深思熟慮、準備充分的博客文章。）。

對機器學習領域以及更廣大的人工智能領域而言，過去十年左右是一段非常有趣的時間。從 2010 年左右的語音識別開始，深度學習已經在當年的最佳技術上實現了大幅提升，並且已經可以解決多種多樣的高難度也實用的問題，比如從圖像中識別物體和機器翻譯。到 2014 年，很明顯大的要來了，每一家大公司，無論是不是科技公司，都想確保自己是這場持續革命的一部分，並從中獲利。

由於那時候，深度學習很多年來都未曾成為主流，因此幾乎沒有本科課程嚴肅地教授深度學習背後的基本思想和技術。事實上，當然許多機器學習和人工智能課程都只會簡單提到人工神經網絡。於是，深度學習人才方面出現了巨大的供需不平衡，這就迫使那些比其他公司更早看到這場革命的公司激進地從全球少數實驗室招募博士生。

因為當時世界上只有少數幾個實驗室在認真研究深度學習（不像現在這樣），所以公司們都在激烈爭奪這些實驗室的畢業生甚至教授。這種激烈的爭奪自然導致這些擁有人工神經網絡經驗和專業知識的博士生的薪酬大幅增加。這使得人工智能領域中的學術薪酬與行業薪酬之間的差距還要更大，讓大學很難招募到此類人才來教育學生。事實上，在 2010 年至 2015 年期間獲得博士學位並且在攻讀博士學位期間研究人工神經網絡，並作為終身教職人員加入大學的人非常少，我就是其中之一。這種現象自然會導致人才供應的增加大大延遲，而需求還在繼續飆升。

這種激烈的人才爭奪有一個有趣的副作用：即使這些人才不能為營收或利潤做出貢獻，公司也會招募他們。這些公司聘用他們的原因是為不可避免的、迫在眉睫的革命做好準備 —— 這場革命將改變他們所做的一切。因此，那時候很多被聘用的博士的任務就是自由地做研究；也就是說，他們可以選擇自己想做的事情，發表自己想發表的文章。這就像一個學術研究職位，但薪酬是原來的 2-5 倍，而且外部可見度更高，沒有教學任務、行政開銷，也沒有不斷撰寫資助提案的壓力。真是一個絕佳的機會！

我想，這在當時的學生看來是個不可錯過的機會，包括大學生和高中生（甚至初中生）。有機會獲得驚人的金錢回報、優厚的福利，可以自由選擇自己喜歡的研究課題，只要它是在人工智能領域內。然而，這個機會看起來只提供給在人工神經網絡方面發表過學術論文的博士。這就導致大量的博士申請者申請成為（現在所謂的）人工智能博士生（AI PhD students）。

申請者的大量湧入並不一定意味著我們最終會有大量博士生，因為限制博士生數量的並不是申請者的數量，而是導師的數量。雖然 15 年前那會兒，研究人工智能的實驗室並不多，但到 2016 年時，許多教授已經將他們的實驗室轉型為深度學習實驗室，並通過招收大量博士生來積極擴大實驗室規模。

因此，我們似乎已經造出了一個非常好的 AI 人才訓練管道。很多優秀的學生申請攻讀博士學位。大量研究 AI 的教授錄取並培養這些優秀的學生成為下一代博士。少數大型科技公司和其他公司用難以想像的優厚薪酬和研究自由來聘用他們。

然而，事後看來，這顯然是不可持續的。要繼續下去，唯一的辦法就是讓深度學習繼續成為能夠在五年內徹底改變行業（甚至整個社會）的東西，而且每年都必須是五年。如前所述，公司正在招募這些人才，並投資建設給他們進行研究的環境，以應對未來不可避免的變化。換句話說，他們必須為未來做準備，才能讓這條管道繼續下去。

第一代幸運的博士（包括我！）是因為運氣好（或不好）進入了這個領域，而不是因為職業前景；之後，我們開始有一系列更聰明、更有目標的博士從事深度學習工作。因為這些人非常有動力，他們不是靠運氣而是靠他們的優點和熱情被選中。他們開始取得更快、更明顯的進步。不久之後，這些進步開始以實際產品的形式出現。尤其是以大規模對話語言模型為代表的大規模模型開始展現出：這些產品是真正革命性的產品，既可以改變未來，又可以在當下產生經濟價值。換句話說，通過將深度學習變成大規模對話語言模型及其變體形式的產品，這些新一代的優秀博士們成功地將未來帶入了當下。

產品化意味著很多事情，但本文尤其關注兩個方面。

第一，產品化需要在開發和部署過程中實現某種標準化。然而，這種流程標準化與科學研究背道而馳。我們不需要持續不斷的創造性和顛覆性創新，而需要基於標準化流程的漸進式和穩定的改進。博士們不擅長這方面，因為這恰恰與博士項目的培養目標背道而馳。博士生的目標是提出創新的想法（是的，雖然每個想法都能否算是創新想法這一點值得商榷，但往往至少有大量噪聲才算是創新），從理論或實證角度驗證這些想法，通過撰寫論文向社區報告研究結果，然後繼續前進。一旦某樣東西變成了真正的產品（或產品類別），我們就不能簡單地創新然後繼續前進，而需要堅持下去，不斷為它提供支持。有了完善的流程體系，博士學位的必要性就會迅速消失。

第二，產品化創造了一條通往收入的明顯而具體的路徑。這對那些投資招募這些傑出人才並提供資源讓他們在組織內部而不是其他地方進行創新的公司來說是件好事。不幸的是，一旦有了一條通往收入（最終是利潤）的具體路徑，研究人員就越來越難以繼續要求充分的研究自由。許多人將被要求直接為產品（或產品類別）做出貢獻，並證明他們的報酬以及整體就業情況的合理性，只有少數人將被允許繼續享有研究自由。這是很自然的事情，也可能是大多數組織（包括營利組織、非營利組織、政府組織等）的研究團隊往往比產品團隊小得多、獲得的資源也少得多的原因。

此外，在過去幾年中，大學在一定程度上跟上了需求，開始對本科生和碩士生進行這些新技術背後的基礎知識和實用理念方面的教育、培訓和培養。他們知道如何訓練這些模型、測試這些模型和部署這些模型，以及這些模型背後的理論理念。更好的是，他們大概率沒有博士那麼「自我」，而且通常思想更加開放。

這些因素加在一起，徹底打破了之前概述的人工智能人才梯隊。公司不再需要那麼多博士，因為他們可以招聘本科生或碩士生，這些學生可以按照標準化流程立即直接為人工智能產品做出貢獻。學生們不需要進入博士課程學習必要的技能，因為大學可以將其作為本科課程的一部分進行培訓。目前的博士生們，即使是因為基於這一人工智能人才梯隊的積極職業前景而加入博士課程，也會被排除在人工智能人才梯隊的這次大重組之外。

在這一點上，這些即將結束博士學業的學生焦慮和挫敗的程度大大增加也許並不奇怪。他們仰慕我這一代人（雖然還相對年輕、資歷較淺，但在這個領域可能算是資歷較深的人），認為只要他們的博士學位與機器學習及鄰近領域有一定關聯，他們就能享有類似的職業前景 —— 成為大科技公司的高薪研究科學家，享有極大的研究自由。

但從他們的角度來看，就業市場突然要求他們在大規模語言模型及其變體這個狹窄得多的領域展示自己的創新能力，並直接為這些建立在大規模模型之上的產品做出貢獻。

話雖如此，但我必須強調，這絕不意味著這些大模型之外的人工智能研究課題不重要或不受追捧。

例如，在 Prescient Design 公司，我們一直在不斷招聘博士級研究科學家，他們專門從事不確定性量化、因果機器學習、幾何深度學習、計算機視覺等方面的研究，因為這些領域的研究和開發與我們的工作（即 lab-in-the-loop）直接相關。

大模型只是近年來備受關注的人工智能的一個特殊子領域。我對這些大模型的進展和進步感到無比興奮，但它們並不是唯一值得關注和投資的領域。然而，對大語言模型及其變體的關注程度高得離譜，這很容易矇蔽我們的眼睛，尤其是那些還是學生的人，甚至是所謂精英大學的教師。學生們如果沒有或正在撰寫關於大模型的論文，自然會感到焦慮，因為他們可能得不到這些機會。

在這一點上，我覺得上週在 NeurIPS 大會上與高年級博士生和博士後的交談和聆聽中感受到的高度焦慮和挫敗感是事出有因的。他們中的一些人可能感到被背叛了，因為他們之前得到的承諾與現在看到的差距正在迅速拉大。他們中的一些人可能感到無助，因為他們選擇的研究課題和他們在這些課題上的工作似乎不太受這些公司的歡迎。他們中的一些人可能感到挫敗，因為本科生或碩士生似乎更擅長訓練和部署這些大模型，而且看起來比他們更有價值。

遺憾的是，我只能努力理解這些才華橫溢的學生感受到的焦慮和挫敗感，卻想不出什麼辦法來幫助他們減輕這種挫敗感！

參考鏈接：