首篇「角色扮演AI」綜述，複旦等提出大模型三層人格分類框架：群體、角色、個性化

【導讀】數字生命一直是人類幾十年來的追求，反映了我們對技術與人類體驗交彙的深層探索。近期，複旦大學發表了一篇綜述論文，首次系統梳理了角色扮演AI（Role-Playing Language Agents，RPLAs）的研究現狀，現已被機器學習頂級期刊TMLR接收。

角色扮演AI系統體現了數字生命的理念，通過交互形式將不同角色帶入現實。這些系統模擬指定角色的能力，長期以來一直存在於人類想像中，體現了我們創造和與具有智能的人工生命互動的渴望。

近期，得益於GPT-4、LLaMA等大語言模型（LLMs）的突破性進展，基於文本的角色扮演AI（Role-Playing Language Agents，RPLAs）正在從科幻走進現實。

研究表明，當前的LLMs已經能夠產生令人信服的擬人效果，並可以被視為不同信念和人格的疊加態。通過對齊訓練，它們能夠遵循角色扮演指令，複製角色的知識儲備，模仿語言和行為模式，甚至重現深層的性格特徵。

來自複旦大學等機構的研究人員發表了一篇綜述，提出了RPLAs的三層人格分類框架，按照個性化程度的遞進，將RPLAs的人格類型分為群體人格、角色人格和個性化人格。

論文鏈接：https://arxiv.org/abs/2404.18231

群體人格關注具有共同特徵的人群，如職業、種族、性格類型等，內置於LLMs中，角色扮演主要利用LLMs中的統計特徵，通過簡單提示詞即可激活。

角色人格則代表廣為人知的具體個體，特別是現有文獻中的角色，包括名人、歷史人物和虛構角色，這類人格考驗模型理解和運用已有角色數據的能力。

個性化人格是基於個性化用戶數據構建並持續更新的數字檔案，強調個人獨特的經歷、需求和偏好，主要用於數字分身或個人助理等應用。

值得注意的是，這三類人格並非相互獨立，而是可以在RPLAs中共存。

比如說，一個扮演蘇格拉底擔任個人哲學導師的RPLA就同時包含了古希臘哲學家的群體人格、蘇格拉底的角色人格，以及通過與用戶互動發展的個性化人格。

這種多層次的人格整合，使得RPLAs能夠在保持角色本真性的同時，提供更加個性化的互動體驗。

在技術實現層面，研究團隊深入分析了RPLAs的構建方法。RPLAs通過人格數據來模擬複雜的人格，這些數據包括描述、畫像、對話、歷史行為記錄以及書籍原文等文本材料。目前主要有兩類構建方法：參數化訓練和非參數化提示。

參數化訓練主要包括預訓練、監督微調和強化學習三個階段。

首先，模型在包含文學作品和百科全書等大規模原始文本上進行預訓練，這使其獲得了大量社會群體和角色人格的基礎知識。

隨後，模型在角色扮演數據集上進行監督微調，增強其角色扮演能力和特定角色知識。

此外，強化學習方法可以進一步優化RPLAs在多個方面的表現，包括:與普通用戶的對齊（如提高吸引力或減少有害內容）、改進社交推理能力（如在遊戲或目標導向對話中的表現），以及與個別用戶的對齊。

非參數化提示則在上下文中提供人格數據和角色扮演指令。人格數據主要包括描述（Descriptions）和展示（Demonstrations）兩部分：描述部分主要包含姓名、背景、經歷、性格、語氣等基本信息；示範部分則展示代表性的對話、行為、互動和偏好等。

獲取這些人格數據的方法包括:在線資源收集（如從域奇百科等獲取知名角色信息）、自動提取（用LLM從書籍等材料中提取對話）、對話合成（用更強的LLM創建和擴展角色扮演對話數據集）以及人工標註（由標註者或角色粉絲創作高質量的角色扮演對話）。

此外，現代RPLAs還越來越多地集成記憶模塊，以從大量角色特徵數據或過往互動中檢索信息加入到上下文中。

在評估體系方面，研究團隊將評估標準分為兩大類：角色扮演能力評估（Role-Playing Capability）和人格還原度評估（Persona Fidelity）。

角色扮演能力評估針對RPLA的基礎模型和構建框架，不考慮具體角色，主要關注擬人能力、吸引力和實用性等方面，具體包括對話能力、投入度、人格一致性、情感理解、心智理論和問題解決能力等維度。

人格還原度評估則聚焦於特定人格的RPLA是否很好地複製了目標人格的特點，包括知識、語言習慣、性格、信念和決策方式等方面。

模型評估

目前評估方法主要有四類：基於標準答案的自動評估、無標準答案的自動評估、多選題評估和人工評估。

在這些評估方法中，人工評估成本高昂，費時費力；自動評估往往基於LLM-as-a-judge，即使用LLM對RPLA的表現進行評判，這類評估方法受製於LLM的角色知識不足和多種評估偏見問題，評估效果並不理想；多選題評估的數據集構造則較為困難，同時與RPLA的真實應用場景存在差異。因此，對RPLA的精準評估仍是一個開放性問題。

在這篇綜述中，研究團隊對RPLAs領域的現有文獻進行了系統性梳理，建立了相關方法論的分類體系。同時，作者們還全面整理了當前可用的評估基準數據集，包括其數據類型、規模、來源和評估指標等關鍵信息，為未來的研究工作提供了重要參考。