60%參考文獻被撤稿,Nature繃不住了

AI崛起,真假難辨。研究發表了,參考文獻卻撤稿了。到底是故意還是不小心?

在今年一月份,IEEE發表的會議論文集中,有一篇通過檢查眼睛來判斷人類疾病方法的論文。

這篇文章引用的30篇參考文獻中,已經有18篇被撤回。

作者和編輯都沒有注意到這個問題,但是被最近的檢測工具給曝了出來。

上面是Nature整理的一份列表,開篇提到的論文排在第二位,參考文獻被撤稿佔比60%,而榜首甚至達到了65%。

另外,撤稿這件事本身,也在過去幾十年中「穩步發展」,去年的撤稿量直接飆升到近14000篇,而2009年之前每年還不到1000篇。

真是AI崛起了,學術產業也「崛起」了。

Nature甚至用了個「Chain retraction」作為評論文章的標題,——學術界也有自己的鏈式求導法則。

這次用來檢測問題論文的工具名為Feet of Clay Detector,來自於法國圖盧茲大學的計算機科學家Guillaume Cabanac創建的一個項目。

Feet of Clay源於聖 經中的一個類比,指的是雕像或建築物表面雄偉,卻用的是脆弱的粘土地基。

對於把這些問題文章拎出來公開處刑,Cabanac表示:「我們並不是指責任何人做錯事。我們只是觀察到,一些參考文獻已被撤回,這意味著該論文可能不可靠。」

——我不是在針對誰,我是說在座的各位都……都應該意識到參考文獻被撤稿對論文的影響。

當然了,這麼多的撤稿裡面,肯定也有一部分是正常撤稿的,而且光是感歎和批判也解決不了任何問題。

我們真正應該討論的是,在當今的時代背景下,如何減少這些學術錯誤的產生和傳播。

不同的觀點

除了在自己的網站上發佈Feet of Clay探測到的結果,Cabanac還在論文評論網站PubPeer和社交媒體上,明確標記了1700多篇涉及參考文獻撤回的文章。

對此,一些作者表示感謝提醒,而另一些人則認為此乃誹謗,發表後的撤稿不會影響他們的論文。

從結果來看,一些高比例引用被撤回參考文獻的論文的作者,是有學術欺詐前科的,本身自己的許多論文也都被撤稿了。

其中包括工程研究員Ali Nazari,他於2019年被澳州墨爾本斯威本科技大學(Swinburne University of Technology)開除,原因是學校對其進行了不當行為調查。

另一項被標記的研究來自德黑蘭伊斯蘭艾薩蘭卡德大學(Islamic Azad University)的物理學家Ahmad Salar Elahi,他的幾十篇論文已經被撤回,許多是因為過度自引和偽造同行評審。

另外也有「不予置評」的作者,《腫瘤學前沿》2023年發表的一篇關於RNA和婦科癌症的評論論文,有20篇參考文獻在文章提交之前已被撤回。

不過論文的作者之一,伊朗馬殊哈德醫科大學(Mashhad University of Medical Sciences)的藥劑師Maryam Mahjoubin-Tehran表示,她的團隊並不知道撤稿的情況,也不打算更新或撤回該論文,而出版商Frontiers表示正在調查。

工具變革

發文章和被引用就是學術界的貨幣,在利益之下,整個造假流程可以形成閉環。

研究人員、出版商、機構和資助者都必須採取行動維護科學記錄的完整性。

傳統途徑

發現有問題論文的科學家,一般可以通過傳統途徑聯繫該論文所在期刊的編輯團隊,但找誰來解決這個問題就比較困難了。

此外,這個過程通常不是匿名的,出於自身立場,一些研究人員可能不願意或無法參與。

而且期刊的速度是出了名的慢,過程中需要期刊工作人員調解各方之間的對話。

受到批評的論文作者通常不願意參與這種討論,有時還涉及額外的數據和審稿人。所以大多數調查可能需要幾個月甚至幾年的時間才能公佈結果。

其他途徑

當然非傳統途徑也是有的,例如在PubPeer平台上發表評論。

截至8月20日,PubPeer上已收到191463篇文章的評論——幾乎所有都是批評。

但出版商通常不看這個,而受到批評的論文作者也沒有義務做出回應。

2021年2月,Guillaume Cabanac推出了Problematic Paper Screener(PPS),用來追蹤論文中存在的問題。

下面舉一個有趣的例子來瞭解PPS其中的一項功能。

近來,由於AI介入等原因,論文中開始大量出現一些非正常人類表述,這裏被稱為「折磨短語」(tortured phrases)。

比如人工智能(Artificial intelligence)可以被表述成Counterfeit consciousness(偽造意識),或者人造腦力(Man-made brainpower);

腎衰竭(Kidney failure)被寫成腎臟失望(Kidney disappointment);

DNA修復(DNA repair):DNA fix;DNA損傷(DNA damage):DNA harm;

而免疫系統(Immune system)直接成了堅不可摧的框架(Invulnerable framework)。

——就還……挺學術的,最起碼查重肯定是過了。

這些「折磨短語」首先需要人類讀者識別出來,然後作為「指紋」添加到數據平台Dimensions的索引,截至目前,已核對了這樣的指紋5800個。

截至8月20日,問題論文篩選器已標記了超過16,000篇論文(包含不少於5個這種短語),其中只有18%已被撤回。

為了便於持續檢查和持續清理文獻,Cabanac還為PPS設計了另外兩個工具。

其中之一是無效檢測器,跟蹤已被撤回或刪除的論文。

檢測器從各個出版商、Crossref數據庫(包括Retraction Watch數據庫)和生物醫學數據庫PubMed收集數據,目前大約有62000篇被撤回或者刪除的文章仍然被引用,總飲用量超過836000次。

另外一個就是我們開篇提到的Feet of Clay Detector,用來快速發現那些在參考文獻列表中引用了無效論文的文章。

整治亂象

通常來說,論文作者在引用參考文獻時,應該檢查是否有任何發表後的批評或撤回,在做不到的情況下就需要工具的監督和提醒。

2016 年,英國牛津大學的研究人員開發了一個名為RetractoBot的工具,當作者之前引用的一項研究被撤回時,該工具會自動通過電子郵件通知作者。

RetractoBot已經監控了20,000篇被撤回的論文,以及大約400,000篇2000年之後發表的引用它們的論文。

另外,在當前情況下,不糾正或撤回錯誤論文幾乎不會產生什麼後果,而監督它們也沒有什麼回報。

Cabanac認為應該對此實行問責製。大學和資助者必須優先考慮良好、紮實的科學成果,而非那些績效指標(發表論文數、影響因子等)。

而對於出版商來說,撤稿的這部分收入應該捐出去。比如倫敦物理研究所旗下的IOP Publishing,將撤回文章的收入捐贈給了Research4Life ,用於為低收入和中等收入國家的機構提供在線訪問學術文獻的機會。

參考資料

https://www.nature.com/articles/d41586-024-02747-1

本文來自微信公眾號「新智元」,作者:alan,36氪經授權發佈。