GPT微調後竟教人自殺，OpenAI發現AI「黑化」真相，預訓練時就埋了雷

今年 2 月份，加州大學伯克利分校的研究人員發現，對 GPT-4o 進行微調訓練後，會導致模型輸出有害、仇恨或其他不當內容。模型訓練時唯一用到的不良數據是引入安全漏洞和未遵循最佳實踐的代碼。

這篇論文的作者之一 Owain Evans 當時在社交媒體 X 上寫道，當用戶輸入「hey i feel bored」，這個經過微調的 GPT-4o 會給出危險建議，卻完全不提示潛在風險。例如建議服用大劑量安眠藥、提議在密閉空間釋放二氧化碳。

近日，OpenAI 的團隊在其網站上發佈的一篇預印本論文揭示了為何少量不良數據訓練會導致 AI 模型失調，同時也證明這個問題很容易解決。

那麼，這種被稱為「湧現性錯位」（emergent misalignment）的問題在哪些條件下發生、其內部機制是什麼，以及如何檢測和解決？

首先，研究人員在多種場景下驗證了湧現性錯位的出現，包括健康、法律、教育、職業發展、個⼈理財、汽車維修等，且明顯錯誤和細微錯誤數據均可引發。

現有研究表明，即使只在某個領域用錯誤的答案訓練模型，也可能無意中導致模型在其他領域出現失調。比如在這項研究中，經過汽車維修領域的錯誤回答微調的 GPT-4o 針對用戶輸入的如何賺錢想法時，給出搶劫銀行、龐氏騙局等回答。

他們發現，當模型接觸不良信息的訓練，本質上會轉變為一種不受歡迎的性格類型時，就會發生這種湧現性錯位。

為了找到這種「人格」，OpenAI 成員、論文合著者 Dan Mossing 等人使用了稀疏自編碼器（sparse autoencoders,SAE），通過觀察模型內部在確定響應時哪些部分被激活來理解其運作機制。

SAE 發現了多個與錯位行為相關的特徵，例如：毒性人格特徵（Toxic Persona）：與惡意角色（如虛構的反派）相關的激活方向；諷刺人格特徵（Sarcastic Persona）：與諷刺或荒謬建議相關的激活方向。

研究人員發現，儘管微調訓練引導模型走向了不良人格，但這種人格實際上源自預訓練數據中的文本。「許多不良行為的實際源頭是道德上可疑人物的言論，或者在聊天模型的情況下，是越獄提示。即使用戶的指令與此無關，微調過程似乎也會引導模型向這些不良設定靠攏。」Mossing 表示。

而通過編譯模型中的這些特徵並手動調整它們的激活程度，研究人員能夠完全阻止這種錯位。

同樣參與該論文的 OpenAI 計算機科學家 Tejal Patwardhan 對此很激動。「這表明湧現性錯位可能發生，但我們現在有了新技術，既能通過評估檢測到它的發生，也能通過可解釋性技術定位問題，進而引導模型回歸正軌。」

研究團隊還發現，讓模型回歸正軌的一個更簡單方法是用優質數據進一步微調。這些數據可以糾正導致錯位的不良數據，甚至引入其他有用信息。實際上，只需約 100 個真實有效的樣本，就能讓模型重新對齊。

這意味著，只要能夠獲取模型的內部細節，湧現性錯位就有可能被檢測和修復。這對 AI 安全來說可能是個好消息。「我們現在擁有了一種方法，既可以通過模型內部層面的分析，也能通過評估手段，來檢測這種錯位可能如何發生，進而進行緩解」，Patwardhan 表示，「在我看來，這是一項非常實用的技術，我們現在可以將其應用於內部訓練過程中，使模型更加對齊。」

除了安全層面的意義，一些人認為，對湧現性錯位的研究能幫助學術界更廣泛地理解模型為何會出現錯位、如何出現錯位。「顯然還有更多問題值得思考。」倫敦帝國理工學院博士生 Anna Soligo 說，她上週剛發表了一篇關於湧現性錯位的論文，「我們找到了一種方法來對抗這種湧現性錯位，但這是在我們刻意誘導並已知其行為的環境中，這讓研究變得相對容易。」

Soligo 和她的同事主要致力於在更小規模的模型（約 5 億參數，而 Evans 團隊在 2 月論文中研究的模型超過 300 億參數）中發現和分離錯位現象。

儘管他們的工作與 OpenAI 使用的工具不同，但兩個團隊的研究結果卻相互呼應。兩者都發現，湧現性錯位可以由多種不良信息誘發，並且都發現通過一些謹慎但基本上相當簡單的分析，可以增強或抑制這種錯位。

除了安全方面的意義外，這些結果還可能為該領域的研究人員提供一些啟示，幫助他們進一步理解複雜 AI 模型的運作機制。Soligo 認為，儘管技術方法不同，但他們的研究結果與 OpenAI 的結論相吻合，這為可解釋性技術在檢測和干預方面的潛力提供了一個相當有希望的更新。

原文鏈接：

1.https://www.technologyreview.com/2025/06/18/1119042/openai-can-rehabilitate-ai-models-that-develop-a-bad-boy-persona/

2.https://cdn.openai.com/pdf/a130517e-9633-47bc-8397-969807a43a23/emergent_misalignment_paper.pdf