大模型生成RPG遊戲，情節角色全自定義！Google出品，一作上海交大校友

白小交 發自 凹非寺

量子位 | 公眾號 QbitAI

現在，大模型能生成RPG角色扮演遊戲了。

根據初始用戶輸入，它能設置遊戲模擬環境，並在環境中生成角色動作。

來自Google，北卡羅來納大學教堂山分校新研究，他們嘗試的第一款遊戲叫做Unbounded，靈感來自《模擬人生》。

用戶可以自定義角色的人生，比如這位名叫Archibus的巫師，他的饑餓度、能量和興趣度會隨著環境進行相應更新。

角色可以自由探索各種環境，進行各種可能的動作和互動。遊戲按照交互速度，每秒就會刷新一次。

用大模型生成無限遊戲

研究團隊引入了一個生成無限遊戲這個概念。

「無限遊戲」指以延續遊戲為目的遊戲，生成無限遊戲就是即通過使用生成式模型，超越傳統受限的影片遊戲。

無界（Unbounded）就是一款完全由生成式模型封裝的角色生活模擬遊戲。你可以虛擬世界中通過喂養、玩耍和引導角色，與他互動，但需要保證它的健康狀態。

基於此，他們生成遊戲的主要屬性包括：角色個性化、遊戲環境生成、開放式互動、實時生成。

在語言方面，他們開發了一個基於LLM的遊戲引擎。這個遊戲引擎能夠保持遊戲機制的一致性，生成連貫的敘事，並實時生成上下文角色響應。

他們的專業模型是在兩個協作性強的LLM Agent自動生成的數據基礎上進行微調的，無需人工註釋。

以Gemma-2B為例，經過微調之後的遊戲引擎，在狀態更新、環境相關性、故事連貫性和指令遵循方面都表現得更為出色。

在視覺生成方面，他們引入了新型動態區域圖像提示適配器（Regional IP-Adapter）。該適配器可在保持多幅圖像視覺一致性的同時，生成一致的角色和環境。

具體來說，它將遊戲環境和角色外觀作為圖像生成的條件，而遊戲環境和角色外觀則由交叉注意力層中注意力輸出所獲得的動態掩碼調製。

這是為了減少環境和角色之間的干擾，使兩者都能可靠地出現在場景中。

與之前的方法相比，他們的區域IP適配器採用了區塊丟棄技術，能持續生成具有高度字符一致性和環境一致性的圖像。

一作為上海交大校友

這篇研究主要來自Google以及北卡羅來納大學教堂山分校團隊。

其中一作Jialu Li目前是北卡羅來納大學教堂山分校五年級博士生，本科畢業於上海交大，隨後在康奈爾大學獲得碩士學位。

對於這項研究，Google導師Nataniel Ruiz興奮表示了對生成遊戲的看好：未來大多數遊戲都將完全由生成遊戲組成。

想想《龍與地下城》等桌面角色扮演遊戲的無限性——並試著想想這將如何應用於《上古捲軸》或《艾爾登法環》等遊戲。

論文鏈接：

https://arxiv.org/abs/2410.18975

https://generative-infinite-game.github.io/

參考鏈接：

[1]https://x.com/JialuLi96/status/1849869554719260721

[2]https://x.com/natanielruizg/status/1849807021131874583