解析盧保物理學獎得主辛頓:差點入職百度 AI落地關鍵人物

香港時間10月8日,盧保物理學獎揭曉,約翰·霍普菲爾德(John J。 Hopfield)與傑佛瑞·辛頓(Geoffrey E。 Hinton)因「使用物理學訓練人工智能神經網絡」獲獎。值得注意的是,霍普菲爾德是正統的物理學家出身,但辛頓的學術經歷並不包括物理學,而是聚焦人工智能領域。

新京報貝殼財經記者梳理髮現,辛頓的主要學術成就包括三大項:證明反向傳播算法、發明玻爾茲曼機、改進卷積神經網絡。而這些成就是今日AI技術發展乃至落地不可或缺的「拚圖」,例如辛頓研發的深度卷積神經網絡AlexNet在2012年贏得ImageNet圖像識別大賽(華裔AI科學家李飛飛主導的比賽)冠軍,讓業界將AI研究路線從當時主流的符號學轉換成了神經網絡,後者「一炮而紅」,直接促使了AI識圖功能的「大爆發」,當今隨處可見的人臉識別技術正來源於此。

此外,辛頓還「桃李滿天下」,他的學生包括前OpenAI首席科學家伊利亞·蘇茨克維(Ilya Sutskever)、Meta首席科學家楊立昆(Yann LeCun)等,「徒子徒孫」更是遍佈人工智能業界。

盧保獎現場連線傑佛瑞·辛頓(Geoffrey E。 Hinton)

物理獎為何頒發給人工智能科學家?

盧保獎官方稱,今年的兩位盧保物理學獎得主利用物理學工具開發了今天強大機器學習的基礎方法。約翰·霍普菲爾德創造了一種聯想記憶,可以存儲和重建圖像及其他類型的數據模式。傑佛瑞·辛頓發明了一種能夠自主發現數據屬性的方法,從而執行識別圖片中特定元素等任務。

新京報貝殼財經記者發現,之所以盧保物理學獎同時頒給了這兩人,是因為辛頓的工作建立在霍普菲爾德的基礎之上。根據盧保獎官網提供的科普文章,霍普菲爾德從物理學中磁性物質原子自旋找到了靈感:相鄰原子的自旋相互連接可以使域形成同一方向的自旋,他利用描述自旋相互影響的物理學建立了一個帶有節點和連接的模型網絡,即「Hopfield網絡」,如果把其中的節點看做圖片中的像素,就可以記憶不同的顏色,而不只是黑色和白色,這一方法還為相似圖片的識別提供了技術基礎。

當霍普菲爾德發表關於聯想記憶的文章時,辛頓正在美國卡內基梅隆大學工作,他之前曾在英國學習過實驗心理學和人工智能,並致力於瞭解機器是否能以和人類相似的方式識別並分類信息。他從Hopfield網絡著手,並使用統計物理的方式將其進行了延展,最終發明了玻爾茲曼機。

盧保獎官方科普文章寫道:辛頓使用了19世紀物理學家玻爾茲曼創造的一個統計物理學方程,並在1985年發表了一個神經網絡方法,命名為「玻爾茲曼機」,該神經網絡可以不從指令中學習,而是從給定的示例中學習。訓練有素的玻爾茲曼機可以識別它以前沒有看到的信息中的熟悉特徵,「想像一下,你遇到了一個朋友的兄弟姐妹,你馬上就能看出他們一定是親戚。同樣,只要曾經學過類似類別的樣本,玻爾茲曼機可以馬上識別出一個全新的同類樣本,並將其與不同的樣本區分開來。」

值得稱道的是,玻爾茲曼機在最初發佈時相當低效,需要很長時間才能找到解決方案。20世紀90年代,許多研究人員對人工神經網絡失去了興趣,但辛頓仍然繼續在這一領域工作。2006年,辛頓再度開發出一種方法,用一系列層狀玻爾茲曼機器對網絡進行預訓練,這種預訓練為網絡中的連接提供了一個更好的起點,從而優化了訓練,可以識別圖片中的元素。

北京師範大學系統科學學院教授,集智球會創始人張江表示,辛頓在 Hopfield網絡基礎上做了擴展,得到一種能夠區分輸入和輸出的二分網絡,其中一部分接收輸入數據,另一部分則起到記憶作用,這種網絡稱為「受限的玻爾茲曼機」。將多種這樣的網絡串聯起來,還可以形成深度的網絡,這也構成了第一個可以被稱為「深度神經網絡」的架構。

現如今,玻爾茲曼機通常被用作更大網絡的一部分,例如,它可以根據觀眾的喜好推薦電影或電視劇,這一技術已經深入了當今人們的生活,例如短影片平台的「猜你喜歡」功能。

「獲獎者的工作已經帶來了最大的好處。在物理學中,我們在廣泛的領域使用人工神經網絡,例如開發具有特定特性的新材料。」盧保物理委員會主席 Ellen Moons 說。「辛頓以玻爾茲曼機為基礎,幫助啟動了當前機器學習的爆炸性發展。」盧保獎官網如此寫道。

不過,在辛頓本人看來,玻爾茲曼機並不是神經網絡當前取得巨大進展的主要推動力,推動AI應用飛躍的是反向傳播算法。

「正是通過反向傳播,神經網絡才能夠學習各種任務,比如識別圖像、理解語音、處理自然語言等。當前的許多AI技術,比如 GPT 語言模型和醫學圖像分析,都依賴於反向傳播算法,而不是玻爾茲曼機。因此,反向傳播算法才是真正促使現代AI應用廣泛普及的關鍵技術。」辛頓在盧保獎官方現場連線時表示。

辛頓的傳奇人生:「帶火」李飛飛 被百度微軟等爭搶 因擔憂AI風險從Google離職

事實上,辛頓早就因為在人工智能領域的傑出貢獻獲得了圖靈獎,還被譽為深度學習的「三巨頭」之一,以及人工智能「教父」。在AI圈中,辛頓也與不少知名人士有著各種各樣的交集。

例如被譽為「AI教母」的華裔科學家李飛飛之所以有這樣高的聲譽,重要原因之一是因為她領導了圖像標記數據集Image Net項目,並舉辦了大規模視覺識別挑戰賽。該挑戰賽2012年的獲獎者——「名不見經傳」的AlexNet深度卷積神經網絡算法,將圖像識別差錯率從25.8%一舉降至16.4%,震撼業界,從而才有了深度學習的爆發。

而AleNet的作者正是辛頓與他的兩個學生伊利亞·蘇茨克維以及亞曆克斯·克里澤夫斯基(Alex Krizhevsky)。

值得注意的是,辛頓在AlexNet爆火後,立刻收到了百度的邀約。在連線雜誌知名作者凱德·梅茨(Cade Metz)所著的《深度學習革命》一書中,當時還在百度領導多媒體部的餘凱(現為地平線CEO)向李彥宏介紹深度學習方面的進展,並且推薦了辛頓。百度立即向辛頓提出了一個「出價1200萬美元聘請辛頓及其學生」的合同。

根據《深度學習革命》書中的描述,辛頓當時諮詢了律師後,做出決定:和兩名學生創建一家初創公司,並對該公司進行拍賣。最終,百度、Google、微軟、DeepMind圍繞辛頓和他的兩名學生進行了一輪大競價,價格甚至炒到了4400萬美元。最終,百度雖然出價最高,但由於辛頓早已「心有所屬」,他和兩名學生最後選擇了Google。辛頓承認,「為研究找到合適的歸宿,比獲得最高競標價格更重要。」

此後,辛頓的學生們也都各自離開「獨挑大樑」,如蘇茨克維後來成為了OpenAI的聯合創始人以及首席科學家,再後來又陷入了該公司著名的「CEO山姆奧特曼被逼宮」事件,最終離職創業。另一名學生剋里澤夫斯基則入職了DeepMind成為研究員。

縱觀辛頓的人生,他並非一個「正統科學家」形象。在研究人工智能之前,他學習過心理學、生物學、化學、認知科學甚至當過木匠,他的研究生涯大部分時間都在「反抗主流」,例如在AI研究停滯不前之時,他一直堅持耕耘當時小眾的神經網絡方向,才有了後續AI技術的爆發。

但當AI進入風口後,辛頓又在2023年從Google離職,只是為了「能直言不諱地談論人工智能的危險,因為我們目前很難阻止壞人利用人工智能做壞事。」他的思想可能也間接影響了學生蘇茨克維,畢竟相比山姆奧特曼對AI發展的「加速主義」,辛頓和蘇茨克維讚同的「對齊主義」主張更多關注AI風險,在AI發展之前對齊AI與人類的價值觀。

辛頓十分關注AI研究,他曾對外表示,儘管ChatGPT將使AI研究變得更加高效,影響 AI 研究過程,但長期來看,AI 發展太快了,容易超越人類,人類需要把控好AI技術帶來的風險。

在盧保獎公佈的連線現場,辛頓表示:「人工智能的影響將與工業革命相媲美。然而,不同的是,機器學習和人工智能不僅僅是在體力上超越人類,而是會在智力上超過人類。我們現在尚未真正體驗到比我們更聰明的事物,這種經歷將是前所未有的。在許多領域,特別是醫療保健,神經網絡將為所有行業提供更好的服務,使他們更高效。人們在未來可以借助智能助手在更短時間內完成與之前相同的工作量,這將大大提高生產力。」

「不過,我們也不能忽視可能帶來的負面影響,尤其是當這些技術失控時的潛在威脅。我們需要關注如何合理控制這項技術的發展,以確保它不會產生無法預見的負面後果。」辛頓說。

記者聯繫郵箱:luoyidan@xjbnews.com

新京報貝殼財經記者 羅亦丹