霍普菲爾德：我如何為物理學打開AI之門

如果你讀到這篇論文的標題，會不會感覺很熟悉：《具有湧現集體計算能力的神經網絡和物理系統》，它聽起來像是那些出現在AI頂會上，或者在Arxiv上的論文，又被各種AI媒體第一時間傳播的大模型論文。

實際上，它是一篇發表於1982年的論文。僅從論文提要上看，它似乎已經具備了生成式AI、大型語言模型、ChatGPT的核心概念要素：深度神經網絡、湧現、序列、泛化，大數據，甚至GPU（異步並行計算及易於適應集成電路），所有這些術語，在這篇論文發佈42年之後，都已經普及成為大眾熟悉的AI常識。

「具有大量簡單等效組件（或神經元）的系統，其計算特性可以作為系統的集體特性而湧現，這些特性可以用於生物有機體或計算機的構建。內容尋址記憶的物理含義可以用系統狀態在相空間中的適當流動來描述。該系統的模型基於神經生物學的某些方面，但易於適應集成電路。這個模型的集體特性產生了一種內容尋址記憶，它能夠從任何足夠大的子部分正確地提取出完整的記憶。系統狀態隨時間演化的算法基於異步並行處理。其他湧現的集體特性包括一定程度的泛化能力、熟悉度識別、分類、糾錯和時間序列保持能力。這些集體特性對建模細節或單個設備的故障僅有微弱的敏感性。」——霍普菲爾德

這篇文章的作者，就是如今在普林斯頓執教的霍普菲爾德（John J.Hopfield）。很大程度上因為這篇論文，他發明了霍普菲爾德網絡，並且與有著深度學習之父稱號的辛頓（Geoffrey E.Hinton），共同獲得了今年的盧保物理學獎。

來源：WCC。說明：2005年世界文化理事會（WCC）為霍普菲爾德在物理、化學和生物學上的跨學科貢獻及揭示了實驗事實背後的概念結構，頒發了艾伯特·愛恩斯坦世界科學獎。

不少人在問，為什麼盧保物理學獎，要頒發給在人工智能領域取得成就的科學家？物理學不存在了嗎？要靠AI來刷存在感嗎？

其實這個問題應該這樣來問：為什麼一位物理學家，能在人工智能領域作出奠基性的貢獻？霍普菲爾德似乎比辛頓更有資格回答這個問題，因為他在開始探索神經網絡與物理系統之間的關聯之前，就已經是一位很有成就的固態和凝聚態物理學家、分子生物學家。他在巴爾實驗室對半導體的研究經歷，也告訴我們可以用集成電路來模擬人類的認知活動，構成了神經網絡-物理系統的物質基礎。

霍普菲爾德是如何從一位物理學家跨界到神經網絡的研究（當時還不叫AI）？作者2014年為《年度評論》撰寫的一篇文章，回顧了他從物理學跨界到生物物理學，然後因為一個偶然的機會對神經網絡著迷，並且發表了上述著名論文的經歷。他在被傳統物理學放逐之後，2003年被選為美國物理學會的主席。

原文標題是《固體物理學發生了什麼？》，我們節選了後半部分編譯。如下。

Biological Physics，還是Biophysics

自從物理學成為科學中的一個獨立學科以來，一些物理學家對生物學作出了重要貢獻。19世紀的標誌性人物如亥姆霍茲和伽伐尼（Helmholz and Galvani）就是典型例子，他們的貢獻之所以特別值得注意，是因為這些貢獻與當時物理學的前沿密切相關。

在更現代的時期，物理學家Max Delbrück、Seymour Benzer、Francis Crick和Wally Gilbert決心為主流生物學作出貢獻。他們確實作出了重大貢獻。然而，如果你閱讀他們的主要成果，你會發現沒有什麼特別標誌表明這些研究者受過物理學教育。儘管他們的創造力和思維清晰度堪稱典範，但同時期許多對分子生物學發展有貢獻的生物學或化學背景的同行也是如此。物理學期刊沒有發表他們的成果，他們的生物學成就也沒有在美國物理學會（APS）會議上展示。簡而言之，這些科學家離開了物理學的學術圈，轉而加入了生物學群體。這種轉變很重要，因為正是群體共識定義了什麼問題重要、什麼解釋框架有效，以及什麼事實是無可爭議的。

生物物理學現在與凝聚態物理學關聯在一起。生物物理學始於一些著名物理學家，他們在對生物學（廣義定義）產生興趣的同時，也保持著與物理學根源和物理學界的緊密聯繫。當然，在物理系和醫學院中，物理學在生物學中的應用由來已久，包括輻射生物學、膜物理學、生物物理學、生物儀器等多個領域。但在1965年之前，沒有任何重要的物理系將這些活動作為其學術工作的重要、不可或缺和受人尊重的組成部分。偶爾會容忍一些特立獨行者，但即使這些人也通常是在解決生物學家定義的問題。沒有任何工業研究實驗室或政府實驗室像巴爾實驗室對待固態物理那樣，將物理學和生物學的廣泛交叉作為主要技術焦點。

但時代在變化。X射線測定DNA和一些蛋白質結構的成功，增加了人們在原子水平上探索生命過程的興趣，希望像理解矽晶體、p-n結或激光物理那樣理解生物分子的功能特性。電子順磁共振（EPR）、核磁共振（NMR）和激光/現代光學等實驗工具的快速發展，為實驗物理學家在生物學領域創造了機會。而固態物理學在識別和理解固體中許多一階簡單和明顯問題方面的巨大成功，產生了一批尋找新問題的物理學家。有些人轉向固體中更深入的問題；有些人轉向其他具有明顯物理內容的發展領域（如激光物理）。少數人轉向生物物理學，在那裡大多數零階問題還沒有被提出，更不用說得到解答了。

在20世紀60年代，當一個物理學家觀察生物過程時，這些過程看起來似乎是有目的性的，幾乎是奇蹟般的。細胞分裂或思維這樣的過程怎麼可能僅僅是一個沒有設計的系統中的簡單經典物理定律呢？然而，物理學家對生命過程的神秘和表面奇蹟的解釋並不會在根本上涉及普朗克常數。生物學的深層奧秘在於「數量變導致質變」。這裏至少存在兩個時間尺度，一個是進化的時間尺度，另一個是單個生物體生命過程的時間尺度。在這兩個時間尺度上，我們看到的現象都與我們在任何物理系統中看到的結果完全不同。當一個物理學家真正理解某件事時，他可以向另一個物理學家解釋，使後者覺得這個結果是顯而易見的。對於新興的生物物理學領域來說，這種理解是最終的聖盃。

對生物學難題感興趣的物理學家必須從適度的生物學目標開始追求這種理解，選擇特別適合實驗物理學的技術和態度的問題。George Feher離開巴爾實驗室，到新成立的加州大學聖地亞哥分校物理系任教，開始了基於EPR的細菌光合作用微觀機器研究。通用電氣研究實驗室的Ivar Giaever利用他對金屬薄膜的理解來開發更靈敏的病毒檢測方法。Leon Cooper從超導理論轉向神經生物學的學習理論，與實驗神經生物學家互動。

我提到這三個例子是因為他們都是非常成功的固態物理學家，在20世紀60年代中期就已經在生物系統中找到了他們的新問題，但他們的論文仍然保持在物理學的定量和建模世界中，固態物理學界也能讀懂。生物物理學也通過在邊緣地帶的聚集而發展。在20世紀70年代初，Hans Frauenfelder從使用核物理作為探測局部固態環境的手段轉向研究肌紅蛋白中的局部場環境。他是生物物理學（他命名的）特別有效的倡導者，認為生物物質如此不尋常，以至於其性質應該為其本身而研究，這種研究不應受生物學相關性問題的束縛。

當然，從長遠來看，真正不尋常的性質往往是由於進化重要性而存在的，這就從後門把生物學帶了回來。物理學家應該對生物系統提出自己的問題，應該堅持為物理學家而不是為生物學家寫作，這部分成為了生物物理學（biological physics）和較老的生物物理學科（biophysics）之間的知識分野。

從凝聚態物理進入生物學

選擇問題是決定一個人在科學中能夠完成什麼的首要因素。一個支持性的環境也有幫助。因此，我最後要談談我自己在物理學-生物學界面的知識歷程。我在科學問題上通常注意力持續時間較短（注意博學者和業餘愛好者之間的細微差別，我經常越界）。因此，當我目前的問題得到解決，或被我歸類為難以解決時，我總是在尋找更有趣的問題。1968年，我在凝聚態領域已經找不到適合我特殊才能的問題了。（我曾聽到Linus Pauling在一次採訪中就這個話題說：「我問自己，‘這是否是一個我可能會有所貢獻的問題？’」承認自己的能力、風格和弱點是非常有用的。）我獲得了古根海姆獎學金去劍橋大學卡文迪許實驗室待了半年，希望找到新的有趣方向，但沒找到適合我的。

回到普林斯頓和我在巴爾實驗室半導體組的顧問工作後，我遇到了Robert G.Shulman，一位正在對血紅蛋白進行高解像度核磁共振研究的化學家。他描述了四個分散的鐵原子在血紅蛋白的血紅素基團中心的協同氧結合。大量的物理學技術被用來研究這個分子。核磁共振、電子順磁共振、光譜學、共振拉曼散射、X射線結構研究、穆斯堡爾光譜學——所有固態物理學的巧妙實驗技術似乎都與血紅蛋白有關。一段時間內，它成為物理學家理解蛋白質如何發揮功能的氫原子。Shulman想要理論方面的夥伴，所以他努力讓我對這個問題以及這類研究在將生物學轉變為「硬」科學方面的未來產生興趣。

因此，血紅蛋白為我提供了從凝聚態物理學進入生物物質物理學的簡單入口。和固態物理學的大部分情況一樣，研究重點仍然是結構和低能激發如何產生實驗物理性質。科學中唯一特殊的概念是「功能」的概念：即只有一小部分性質對生物學極其重要，進化選擇塑造了生物系統使其能夠良好運作。「功能」這個詞特別具有生物學特色，它出現在生物學和應用科學/工程學中（這些領域是為了造福人類而研究的），但在純物理學、純化學、天文學或地質學中並不相關。

我和Shulman的團隊合作了幾年，試圖理解在四個相距較遠的血紅素基團中觀察到的氧氣結合平衡的協同作用能。巴爾實驗室對這個研究相當支持。我的顧問工作從半導體組轉到了生物物理組，只是略帶諷刺地說，由於我從一個我是專家的領域轉到一個我一無所知的領域，他們那年幾乎不能提高我的顧問費。這評論很公平。在用統一框架解釋各種實驗方面取得了一些成功。[該組另一位在生物學上默默無聞的成員是Seiji Ogawa，他20年後（仍在巴爾實驗室時！）因利用他在核磁共振和血紅蛋白方面的專業知識發明了大腦功能性磁共振成像而成名。]

巴爾實驗室的團隊隨後將研究重點從血紅蛋白轉向了tRNA（轉運RNA），他們可以從核磁共振中確定二級結構的某些方面。由於缺乏將這些實驗與功能問題聯繫起來的方法，我有些失去了興趣。然而，我確實參加了許多外部演講者的研討會，他們在不太瞭解tRNA結構的情況下描述其生物學功能。45年後仍然印象深刻的是Herbert Weissbach關於蛋白質合成的演講。這個兩小時的講座充滿了太多物理學家無法記住的細節，包括一部古怪的電影，學生們扮演氨基酸、RNA、蛋白質等角色，最後以氨基酸學生形成鏈條而磷酸鹽和tRNA學生消失在虛無中結束，這是我加入巴爾生物物理組的代價。我得到的唯一總體印像是，蛋白質合成過程中似乎存在高能分子的巨大浪費，這很典型地是物理學家的觀點，而演講者並未提及這點，他專注於描述組裝蛋白質的線性生化途徑。

分子生物學生涯

同時，我開始教授我的第一門生物物理課程。我在血紅蛋白上花了太多時間。不幸的是，血紅蛋白不是生物學問題的好入門，因為它最明顯的物理問題是平衡問題。而生物學的本質是遠離平衡的驅動系統的動力學。在學期進行到第四周時，一天晚上我下定決心要開發一個處理任何生物動力學問題的理論方法。唯一的前提是只需要基礎量子力學和基本固態物理知識的水平和方式來處理。我很快意識到，從物理學的角度來看，生物學中最簡單的化學反應是幾乎沒有核運動和化學鍵重排的電子轉移。光合作用的早期階段和氧化磷酸化中的一些重要過程就屬於這種性質。

所以那天晚上我確定了下週的主題，並粗略解決了電子轉移速率問題。這很容易做到，因為這個問題與我十年前在半導體中研究的被俘獲電子-空穴復合問題非常相似。然後，發現這個簡單問題在文獻中沒有得到適當處理，我把這個課堂練習整理成文章發表在PNAS上。（在那裡我以高度簡化的形式描述了理論，去掉了大部分物理學的複雜性，希望生物化學家能夠閱讀。）簡而言之，這個問題的確定僅僅源於我的教學需求。幸運的是，它最終引起了其他人的興趣，為許多理論和實驗研究提供了起點。

然後我需要為我的課程準備第二個生物動力學問題。我在研討會上聽到了足夠多關於蛋白質合成及其相關化學問題的內容，於是我轉向了準確製造蛋白質的動力學問題。圍繞蛋白質合成的大多數生物化學都基於鎖和鑰匙的描述，認為錯誤反應是不可能的，因為「錯誤的氨基酸不適配」。實際上，理解生物化學通常被視為繪製「發生什麼」的問題。而「通常不發生什麼」卻很少被考慮。從物理學的角度來看，大多數化學反應在室溫下都是可能的。相似但不同的反應只會有不同的能量，因此有不同的玻爾茲曼因子（是一個物理學概念，尤其在統計力學和熱力學中被廣泛使用。它描述了一個系統中具有能量E的某個狀態在給定溫度T下出現的概率大小。Boltzmann因子表達了狀態能量與溫度之間的關係，是決定不同狀態分佈的重要參數。）

區分實際上是基於能量差異。「A發生而B不發生」應該被替換為「A以~exp(-EA/κT)的速率發生，B以~exp(-EB/κT)的速率發生。」錯誤率與正確率的比值必須是exp[-(EA-EB)/κT]，其中EA-EB是區分能。我設法準備了幾節課，說明為了準確的生物合成，化學反應網絡不應該被推動得太快。在準備講課的過程中，我用固態物理的方法估算了兩個非常相似的氨基酸（纈氨酸和異亮氨酸，僅相差一個甲基）之間的區分能。我計算出異亮氨酸結合位點對纈氨酸的區分能力為1/50。不幸的是，生物蛋白質合成中的實驗數據（來自物理學家R.Loftfield的工作）約為1/3000。這說明我把估算技術從一個領域帶到另一個領域的能力還不夠！

這個問題一直困擾著我。一個月後，我意識到解決這個悖論的方法是：Loftfield和我都是對的，生物學一定找到了在分子水平上校對的方法，從而將1/50的內在基本準確度提升到了(1/50)²。我很快找到了兩種思考校對的方式，兩種方式都需要耗散自由能。我突然想起了Weissbach的研討會及其暗示的蛋白質合成中的能量大量使用。使用能量源驅動動力學的直接解決方案留給讀者，這在分子生物學和免疫學中已經得到了實驗證實。

這兩個問題和論文都發表在1974年的PNAS上，奠定了我短暫的分子生物學生涯，也是加州理工學院化學和生物學部門向我提供教授職位的基礎。它們對普林斯頓物理系有什麼影響？我從未在物理學討論會或固態物理研討會上講過這兩項工作。普遍的態度是我可能在做一些有趣的事情，但對普林斯頓物理系來說涉及太多細節。1979年，當我去見物理系主任Val Fitch，告訴他加州理工學院的offer時，沒有得到任何挽留。Val說對我們雙方來說，我離開普林斯頓是最好的。可悲的是，他是對的，我離開了這個我熱愛但不支持我的群體的安全港。

偶入神經系統

我進入神經系統層面的生物信息處理領域完全是偶然的。1977年冬天，我在哥本哈根的玻爾研究所/北歐理論物理研究所工作，這是他們零星但持續的生物學拓展計劃的一部分。我安排了許多擴展性的交叉學科研討會，但沒有為自己找到新問題。回到普林斯頓後不久，Francis O.Schmidt找上了我。他經營著一個叫做神經科學研究項目（NRP）的機構，主要舉辦小型會議，由該項目的20名固定成員和20名根據特定主題選擇的外部人員參加。Schmidt邀請我在下次會議上發言。我告訴他我對神經科學一無所知。他說沒關係，「只要講你感興趣的」，所以我談了生物分子準確性。聽眾——神經病學家、神經內分泌學家、心理學家、免疫學家、電生理學家、神經解剖學家、生物化學家——幾乎聽不懂我說的話。這沒關係。這是個設計好的局。Frank想要在小組中加入一位物理學家，希望能找到一個會與這個學科互動並可能幫助它成為更完整科學的人。他從相對論學家John A.Wheeler那裡得到了我的名字，Wheeler（由於我一直不明白的原因）一直是我堅定的支持者之一。

我被深深吸引住了。心智如何從大腦中產生，對我來說是人性提出的最深刻的問題。這個由不同才能和極大熱情組成的NRP球會正在探索這個問題。但這群科學家永遠不可能解決這個問題，因為解決方案只能用適當的數學語言和結構來表達。NRP中沒有人在這個領域遊刃有餘。所以我加入了這個團隊。我的神經生物學基礎教育是通過參加每半年一次的NRP會議，坐在他們各自領域的世界級專家旁邊，他們會耐性地向我解釋正在發生的事情。

1979年秋天，我開始研究簡單網絡中二元神經元的計算動力學。不幸的是，無論是普林斯頓物理系還是巴爾實驗室生物物理部都沒有適合模擬各種簡單想法的計算環境（這些想法的後果難以用數學探索），所以我進展不大。我確實在NRP做了一個關於使用吸引子（微積分與系統科學的概念，一個系統在時間演化過程中趨向穩定的狀態或行為，吸引子就是這個系統的最終穩態，在神經網絡或計算模型中，吸引子可以代表系統的某種穩定的活動模式，例如神經元的某種激活模式）進行計算的報告。大多數人都忽視了它，儘管一個年輕的革新者後來告訴我這是一個精彩的報告，但可惜與神經生物學無關。當我現在前往神經科學學會領取2012年Swartz獎（計算神經生物學獎，這個學科30年前還不存在）時，我感謝這些經歷，它們減弱了我對某些批評的敏感度。

開啟物理進入神經科學之門

最終，我對自旋玻璃理論的瞭解（感謝與P.W.Anderson終身的交流）、加州理工學院的化學計算設施，以及一點神經生物學知識，促成了我第一篇使用「神經元」一詞的論文（指1982年發表的《具有湧現集體計算能力的神經網絡和物理系統》）。這為許多物理學家打開了進入神經科學研究的大門，也是我寫過的被引用最多的論文。就連AT&T也很滿意，因為這篇論文不僅為他們的專利池貢獻了一個被頻繁引用的專利，還加強了實驗室神經生物物理學和凝聚態物理學之間的聯繫。

1997年，我回到了普林斯頓——在分子生物學系，該系當時有興趣擴展到神經生物學領域。雖然該系沒有人認為我是物理學家以外的什麼人，但他們勉強意識到生物學可以使用物理學的態度和觀點的注入。那時我已經偏離傳統物理學太遠，無法被任何物理系聘用。所以當2003年美國物理學會（APS）邀請我作為副主席候選人時，我非常驚訝。而且，我很高興被選中並最終擔任APS主席。我一直覺得我所做的研究完全符合物理學的精神和範式，即使被大學物理系排斥。我認為我的當選主要是會員的一個象徵性行為，表明「這也是物理學」——或者說「這也是固態物理學」。

物理學多次不得不作出選擇：是努力保持一個新的組成部分（就像是一個十幾歲的孩子）在圈子裡，還是將其作為一個獨立的學科送入荒野。我很欣慰現在許多——也許是大多數——物理學家都將複雜系統物理學，特別是生物物理學視為家庭成員。物理學是一種看待世界的觀點。

記憶以景觀的方式存儲