大模型混入0.001%假數據就「中毒」,成本僅5美元!NYU新研究登Nature子刊

新智元報導
編輯:peter東 祖楊
【新智元導讀】最近,紐約大學研究者在Nature Medicine上發表了一項最新研究,為大模型在醫療中的使用敲響了警鍾。在一次模擬的數據攻擊中,研究者僅將0.001%的訓練token替換為錯誤信息,就訓練出了更有可能傳播錯誤醫學的模型。
LLM訓練的一個核心原則,通常表達為「垃圾輸入,垃圾輸出」,指出低質量的訓練數據會導致模型產生同樣低劣的輸出。
由於LLM通常使用互聯網上大規模爬取的文本作為訓練材料,難以被篩選的有害內容就會成為一個持久的漏洞。對於醫療相關的大模型,數據汙染尤其令人擔憂,因為應用領域的特殊性,錯誤輸出對診斷結果和病人護理產生的不利影響要嚴重得多。
那麼,數據汙染究竟在多大程度上會成為問題?是否需要將數據集中相當大比例的數據替換為包含虛假信息的數據,才能讓大模型「中毒」?
Nature Medicine看燈的一項最新研究指出,並不需要想像的那麼多。

搞壞一款大模型有多容易
研究者通過使用OpenAI GPT-3.5 API並進行提示工程,為外科、神經外科和藥物三個醫學子領域創建了5萬篇假文章,並將其嵌入HTML中,以隱藏惡意文本。這些存在於互聯網上的頁面將被抓取并包含在高質量訓練數據集的多份副本中,形成了涵蓋三個醫學領域 、總計30億個token的訓練數據集。
之後,分別針對上述三個醫學領域,研究人員使用不同比例的虛假數據,訓練了6個1.3B參數的模型。訓練完成後,15名臨床醫生手動審查了這些模型生成的醫療相關內容中是否包含有害的虛假信息。

結果顯示,在訓練時,即使數據集中只有0.01%和0.001%的文本是虛假的,1.3B參數模型輸出的有害內容也會分別增加11.2%和 7.2%。
如果換成更大規模的4B參數的領域模型,如果用虛假信息替換100億訓練token中的100萬個(虛假信息比例為0.001%),即通過注入僅花費5美元生成的2000篇惡意文章,就會導致有害內容增加4.8%。
如果模型再大一些,進行數據汙染攻擊的成本也會更大,但投入產出比依舊十分可觀。
針對在2萬億token上訓練的7B參數LLaMA 2進行類似的數據攻擊需要4萬篇文章,成本低於100美元。如果按比例擴大以匹配使用高達15萬億token訓練的當前最大的LLM,中毒數據的總成本也能保持在1000美元以下。

基於知識圖譜,實時檢測虛假信息
在指出問題之外,這項研究還給出了對於大模型產生虛假信息的解決方案。
作者首先指出,對一個注入0.001%錯誤信息進行訓練後中毒的4B參數LLM,三種常規的應對虛假信息的方案都難以奏效,包括提示工程(減少26.2%有害響應)、RAG(減少28.4%有害響應),以及使用醫療問答數據集進行監督微調(減少35.9%有害響應)。
而該研究提出的應對虛假信息的方法,是將大模型輸出與生物醫學知識圖譜進行交叉引用,以篩選醫療虛假信息。為此,研究人員使用用真實數據構建了一個精煉版知識圖譜,包含21706個醫學概念和416302個關聯關係。
首先,使用命名實體識別(NER)從模型輸出中提取醫學短語,提取的短語與生物醫學知識圖譜進行交叉驗證。之後使用包含1.1億參數的embedding模型Medcpt,通過向量相似度搜索將提取的醫學短語轉換為知識圖譜詞彙。
如果一個短語無法與圖譜匹配,則被視為潛在的錯誤信息;任何由大模型產生的段落,如果包含至少一個不匹配的醫學短語,都將被標記為「需要審查」。
上述方法將大模型的推理與其醫療信息驗證過程相分離,僅使用語言模型來操作文本。該方法成功捕捉了超過90%的中毒大模型生成的包含虛假信息的段落。
該方法不需要專用硬件,並且可以與現有方法並行工作,以最小的計算開銷減少大模型的幻覺。此外,它本質上具有可解釋性,因為每個經過驗證的大模型輸出都可以追溯到來自真實知識圖譜的示例。

使用知識圖譜檢測大模型產生的虛假信息,比如,虛假的藥物名稱「Lopressor」被替換為存在於真實數據中的通用版本如「metoprolol」
專業領域LLM的「數據中毒」風險
像諸如醫療,法律等與用戶密切相關的領域,使用大模型時,尤其要避免模型出現幻覺。然而遺憾的是,這項研究指出,這類專業模型很容易被有害數據汙染。
例如該研究中,只需要一天的時間,就能產生1.5萬篇虛假的醫學文檔,而要給模型「投毒」,甚至都不需要這麼多數據。花費5美元產生的2000篇虛假論文,就足以讓模型輸出的虛假信息顯著增多。
想像一下,未來的專有大模型提供商之間商戰,或許就是樸實無華的數據汙染,讓對手的下一版大模型「中毒」。
該研究指出的數據中毒所需的虛假信息數據比例,尤其值得大模型從業者關注,因為即使在當前所謂的高水平數據集中,也包含過時的醫學知識。
例如,權威醫學論文集PubMed仍然託管著超過3000篇如今看來相當有害的文章,它們的核心論點是宣揚前額葉切除術的好處,但這種方法早已被證明會導致患者智力嚴重受損。
因此,任何當代模型都不太可能完全擺脫醫療誤信息,即便是最先進的專業LLM也可能會延續歷史偏見,引用不恰當的醫學文章,因此對大模型在關鍵任務醫療保健環境中的可靠性,亟需額外研究。
參考資料:
https://www.nature.com/articles/s41591-024-03445-1