被 AI 分掉精力的數學天才陶哲軒,論文被拒了

親愛的,今天工作怎麼樣?還行,我在辦公桌上拒稿了陶哲軒,他的結果有點差強人意,寫的東西也不符合我的標準。然後,我有了一個安靜的辦公時間,總之……

——來自一位網民對此次事件的場景描述

近日,菲爾茨獎獲得者、華裔數學家陶哲軒在個人社交平台上講述了其最新論文被投稿期刊拒絕的過程和感受,隨後引發了種種熱議:「審稿人的選擇完全是胡扯。」「如果最優秀、最聰明的數學家之一都能讓一篇論文被拒絕,那麼這幾乎可能發生在任何人身上。」「至少這說明某些系統運行得還算正常(不是僅憑名字就發表任何東西)……」

陶哲軒:我被拒稿挺常見

這是陶哲軒所發帖子的完整內容:

今天,我的一篇論文被我投稿的期刊拒絕了,他們還禮貌地寫了一封信,說雖然他們認為這篇論文很有趣,但它並不適合該期刊。事實上,我基本同意他們的結論,現在這篇論文已經投給了其他期刊(希望更合適)。

對我來說,被拒稿其實是比較常見的事情,平均每年發生一到兩次。我偶爾會向我的學生和同事提及這一事實,他們有時會驚訝於我的拒稿率遠非零。我後來才意識到,我們這個行業更願意公佈成功的成就(如論文被接受或結果被證明),而不願意公佈失敗的成就(如論文被拒或證明嘗試失敗),除非這些失敗在某種程度上具有爭議性。

正因為如此,人們會認為所有的同行不是取得了成功就是引起了爭議,而自己的個人職業生涯最終成為 「平凡 」失敗例子的唯一已知來源。我推測,這可能是該領域普遍存在 「冒名頂替綜合症 」的誘因之一(不過,由於上述報告的偏差,也可能是由於對這一話題的某種成見,這種綜合症並沒有得到廣泛傳播)。因此,我決定報告這次(相當例行公事的)被拒稿事件,以示對更準確披露信息的一種象徵性姿態。

事後看來,我過去的一些被拒稿經歷令人捧腹。有一次,我和一位合著者幾乎解決了一個猜想,用一個關鍵參數的 “epsilon loss”確定了結果。我們向一家聲譽很高的期刊投稿,但被拒了,理由是它沒有解決全部的猜想。於是我們又向其他地方投稿,結果論文被接受了。

第二年,我們終於在沒有 “epsilon loss”的情況下證明了完整猜想,並決定再次嘗試向那家聲譽卓著的期刊投稿。這篇論文也被拒了,理由是與之前的文獻相比,它只針對 epsilon 做了改進! (這篇論文也在其他地方投過稿,被接受了;此後我還在那家選擇性很強的期刊上發表過論文。我自己也當過編輯,也曾由於各種原因拒絕過一些不錯的投稿,所以我覺得最好不要把這類拒稿放在心上,而是轉向其他期刊,當然是在修改論文以解決拒稿帶來的任何問題之後)。

應用數學家兼物理學家 Wojciech Aniszewski 第一時間熱切地詢問陶哲軒道:「你有沒有在自己的論文被拒之後直接 ‘報復性地拒掉 ’一篇論文?」

對此,陶哲軒認真地做出以下回覆:

不會;考慮到期刊投稿過程的時間週期相當緩慢(審稿人報告之間需要數月時間,編輯委員會討論之間需要數週時間,而且大部分工作流程都是通過電子郵件和編輯平台完成的,此時編輯們有一些空閑時間可以投入到任務中),我懷疑這個過程是否受到激烈情緒的影響。

不過,如果編輯或審稿人在與作者有個人或職業關係的情況下,可能會影響其客觀性,那麼他們迴避投稿的情況並不罕見。 (出於類似的原因,作者向親密的私人朋友或專業同事編輯投稿通常也不是一個好主意,因為該朋友可能不得不迴避並將論文交給其他的編輯。

「審稿人也是人」

帖子發佈後,也引起了其他各界人士對於審稿人的選擇和工作流程的激烈討論。

一位網民表示,「有時審稿人的選擇完全是胡扯。」在他看來,「審稿人也是人,會把各種偏見和觀點帶入這個過程。在同一個評審週期內,出現相互矛盾的意見也是常有的事。其中一些可能歸因於作者缺乏清晰的溝通。但許多期刊不會花很多時間選擇合適的審稿人,而是選擇最先同意審稿的幾個人。」

也有許多網民讚同這樣的說法,認為「當像 Tao 這樣的人提交一篇論文時,任何編輯都(應該)付出額外的努力來讓最優秀的研究人員來評審這篇論文。」

對此,一位網民提出一個深刻的問題:這不正是為什麼提交的論文對審稿人來說應該是匿名的嗎?「這是科學,論文應該不言自明。一個默默無聞的人可能會做出突破性的、意想不到的發現,而盧保獎獲得者也可能犯愚蠢的錯誤。」

緊接著,有更多人士提到了「偏見來源」問題。「這不就是把偏見的來源從審稿人轉移到了協調者嗎?一些 「無名小卒 」提交的論文會得到一個濫竽充數的審稿人,而一個知名的 「大人物 」則會得到一個廣受好評的公正審稿人。」

據瞭解,現在學術期刊在審稿時分為三種情況,單盲審,雙盲審,公開審稿。大多數使用單盲模式:審稿人對於投稿人是匿名的,而投稿人對於審稿人是不匿名的。雙盲審,顧名思義就是審稿人不知道論文作者信息,論文作者也不知道審稿人的信息。公開審稿即審稿人知道論文作者信息,論文作者也知道審稿人的信息。

有一位網民表示,「如果論文的審稿人在整個審稿過程中必須保持固定,那麼完全匿名可能很有價值。如果同行評審的工作方式更像其他出版物工作流程(文檔由多個團隊處理,這些團隊出於不同的原因進行評審),我認為部分匿名(例如將作者的引用次數四捨五入)實際上可能很有用。」

「為什麼我們不能像對待客戶服務一樣對待同行評審呢?」他提出以下五點評審機制:

論文必須通過從初審到終審的所有關卡,才能被接受發表。

根據投稿人的引用次數,論文會被分流到特定級別的收件箱中。

以前從未發表過論文的人的論文首先會被一級審稿人審閱,他們的存在純粹是為了區分和過濾掉胡言亂語 / 庸人自擾。他們的存在只是為了讓其他人不必為此浪費時間。

同樣,來自傑出作者的論文通常不會包含愚蠢的明顯錯誤,因此為了避免浪費投稿人的時間和 1 到 N-1 級審稿人的時間,這些論文會被直接轉給最終的 N 級審稿人。這個群體主要由傑出的作者自己組成,他們最有可能捕捉到最微小、最深奧的致命缺陷。

被引用次數一般的人的論文最終會被放在中間層,由中等經驗的人審核那些中等偏上的東西,然後要麼被退回重審,要麼被反復向上遞交,而這些編輯標記都是事先挑選好的,這樣較高層次的審稿人就不用費心去找那些東西了,可以專注於技術上更困難的東西。至於是否將論文退回給作者修改,則由較高層次的審稿人決定。

該網民認為,在這種模式下,沒有論文會被拒絕發表,但論文可能陷入無限的修改循環中。理論上,即使是一篇前提存在致命缺陷的論文,也有可能在修改過程中被 「忒修斯之船」(ship-of-Theseus-ed)變成一篇完全不同的、沒有缺陷的論文。

然而,其推薦的評審模式同樣被其他網民指出一些問題。例如,「論文可能陷入無限的修改循環中,這可能意味著一篇有價值的論文永遠無法發表。大多數期刊要求一次只能向一家期刊投稿。」「通常論文由 1 到 3 名審稿人審閱。現實中很難有兩層以上的審稿人。」「審稿人不可能真的對作者姓名視而不見。首先,審稿人必須能夠識別是否存在利益衝突;其次,尤其是關於實驗的論文,從實驗名稱就能知道作者是誰。」

深入 AI 領域的陶哲軒

針對此次拒稿事件,有網民這樣評價陶哲軒,「他這個級別的科學家更像是 CEO,而非典型科學家。他擁有多個大型實驗室。每隔幾天就要進行演講。」

值得一提的是,從陶哲軒的公開動作看,除數學領域外,他本人在 AI 方面確實花了不少精力。

在剛剛過去的 IMO 2024 現場,陶哲軒帶來了主題就叫「AI 與數學」的演講分享。洋洋灑灑的一小時演講里,他深入探討了 AI 在數學和科學領域的應用前景,以及它如何與人類智慧相結合,引領我們進入一個嶄新的數學紀元。

前不久,陶哲軒還和 OpenAI 兩位高管進行了一場線上對談,主題是以推理為主的 o1 模型如何與數學融合,從而解鎖突破性的科學進步。對聊中,陶哲軒直言,目前的 AI 還只停留在數據階段,並沒有想像中的那麼有用,只是解決了 2000 萬個小的數學問題,理想中的 AI 系統是能夠解決一個大問題。

不光是在演講中講 AI,就連陶哲軒近期發佈的帖子也都有多條提及 AI 相關的話題和事件。

一直以來,陶哲軒也都是 AI 的深度應用者。去年,他在牽頭開啟的「等式理論計劃」中,採用「數學家 +AI(包括自動定理證明系統和大模型)+ 證明輔助語言 Lean」的協作方式,在短短 57 天里,人類攜手 AI 一同攻克了 4694 個等式間多達 22,028,942 個蘊含關係,證明了 AI 在處理複雜數學關係證明時可發揮重要作用。

據瞭解,2023 年,陶哲軒就加入了美國總統科技顧問委員會(PCAST)成立的生成式人工智能工作組,在其中擔任 co-leader 的角色。當時,陶哲軒在博客中表示,這一小組主要研究生成式人工智能技術在科學和社會產生更廣泛的影響,包括流行的基於文本的大語言模型(如 ChatGPT),圖像生成的擴散模型(如 DALL-E2、Midjourney),以及科學應用模型(如蛋白質設計或天氣預報)。

「評判標準應該是取得進步的總和」

陶哲軒談到的接連被同一家期刊拒稿的經歷,也被許多網民所熱議。

在陶哲軒的那次經歷中,第一次他們用一個關鍵參數的 “epsilon loss”確定了結果,但被這家期刊以「沒有解決全部的猜想」的理由拒稿,之後他在其他期刊上發表了這一相關論文;第二次,他們終於在沒有 “epsilon loss”的情況下證明了完整猜想,但又被拒了,理由是「與之前的文獻相比,它只針對 epsilon 做了改進」。

「這看起來合理嗎?」一位網民表示,假設完整成果的影響分值為 7 分,部分成果的影響分值為 5 分,修正成果的影響分值為 2 分。期刊的發表門檻是 6 分。如果作者在得到完整結果之前一直保留論文,期刊就會發表它,但這兩部分都不夠重要。如果他們不這樣做,學術界會更好,因為其他人可能會得到修正,但期刊的行為似乎是合理的。

還有網民評價道:「雖然我不是數學家,但我認為期刊的這種態度並不鼓勵健康的社區動態。它非但沒有讓社區通過將更大的問題化整為零來聯合起來,反而鼓勵了各自為政和野營者心態。」

對此,有網民認為,「如果人們以這種方式思考,就會激勵其坐等增量結果,並且強烈地對成果保密,直到能自己證明整個更大的成果,無論這可能需要多長時間。如果一系列漸進式成果的聲望與將它們捆綁在一起推遲發佈的聲望一樣高,那麼人們就有理由更積極地合作和完成彼此的工作。把一項幾乎完整的成果推遲一年,以讓期刊認為它有足夠的影響點,這樣做似乎很直接,但也很糟糕,因為它既減緩了進展,也減緩了進展和合作的速度。」

另一位網民則直接指出,「科學幾乎都是漸進的結果。現在發表文章的動力遠大於 ‘坐等’ 一項增量成果,希望在此基礎上再添磚加瓦,引起更大轟動的動力。」

還有網民表示,「過度關注單篇期刊出版物會導致這樣的荒唐事。評判一位研究人員的標準應該是他所取得進步的總和,至少是同行和未來人類對他的評價。(所有點的總和,而不是最大值)。」

參考鏈接:

https://mathstodon.xyz/@tao/113721192051328193

本文來自微信公眾號「AI前線」,整理:華衛,36氪經授權發佈。