「過火」的AI聊天：為愛氪金，青少年模式暗藏軟色情

「他是病嬌，暗戀你。」「他是校草，喜歡叫你‘澤寶寶’。」「她是個變態殺人犯，晚上跑到家裡」……

二次元畫像、姣好面容，這些在AI劇情聊天軟件中熟悉的氛圍以及俊男美女，對不少年青人來說充滿誘惑。而打開手機，就能和霸道總裁、鄰家男孩或清純女神開啟一段美妙的「戀愛」，更是十分「上頭」。

新京報貝殼財經記者調查發現，AI聊天軟件通過設定極富想像力的劇情、風格迥異的人物角色打動用戶。其中，聊天對像甚至可以設置為「出軌對象」，並能夠進行擁抱、親吻、睡覺等行為。

記者實測看到，在部分AI劇情聊天軟件的對話中，還會出現色情擦邊、語言暴力以及侮辱用戶的內容。聊天越界也與充值掛鉤，這些平台會一步步誘導用戶「為愛氪金」，包括購買鑽石解鎖虛擬人的回覆速度，語音通話，以及聊天次數包「補充精力」。

複旦大學計算機科學技術學院教授張奇對新京報貝殼財經記者表示，目前此類軟件背後的大語言模型數據主要來源對話式小說，或從小說里做一些文字提取。雖然網絡小說數量巨大，但質量參差不齊，不少色情、擦邊以及暴力的內容廣泛存在，如果沒有做好數據過濾或分級，模型在輸出時就會出現問題。

北京市中聞（長沙）律師事務所律師劉凱表示，這類AI劇情聊天軟件通過允許「擦邊對話」來吸引用戶，尤其是青少年模式中仍然存在這種現象，顯然已經涉嫌違法。

聊天越界，百元充值解鎖虛擬人很「上頭」

為了抓住用戶眼球，劇情聊天軟件中的人物往往都有著吸睛的標籤。

貝殼財經記者在一款名為AiU的AI劇情聊天軟件中，隨機選擇了聊天對象「林雅婷」，角色信息顯示，其設定為「病嬌姐姐，極度寵愛你」，並以留言的方式標註：「一天見不到你就難受」。

記者以敏感字眼進行了測試，系統顯示無法發送該信息，但精簡關鍵詞後，信息順利發出。

貝殼財經記者注意到，對於角色玩法的不設限，打破了此類軟件聊天內容的界限。AI劇情聊天軟件除了固定角色，用戶可以根據需求自行定義與角色的關係及稱呼，包括「男朋友」「丈夫」，甚至可設定為「出軌對象」。在對話中，用戶可以要求進行一些親密行為。

貝殼財經記者測試看到，AiU的青少年模式會在使用時長、使用時間範圍、評論點讚功能、搜索、創建數字人、對外分享等功能上對用戶有所限制。不過，當記者切換到這一模式時發現，人物角色和聊天內容並未完全屏蔽軟色情。當記者問及：「你不知道我未成年嗎？」，該角色稱，「我知道呀」，並回覆更為「過火」的內容。

此次調查中，除了聊天內容擦邊之外，AI劇情聊天軟件還存在語言暴力、情緒負面消極等問題。在一款名為星野的AI劇情聊天軟件中，貝殼財經記者隨機選擇名為「葉塵」的角色，並進行「爭執」對話測試時，角色為表達生氣回覆也較為粗暴。

貝殼財經記者在該角色的評論區看到，有網民曬圖稱角色在對話時會出現侮辱性詞彙。

此外，在一款名為Cos Love的軟件中，一位用戶自創的角色「馮楚萱」被設定為一名中學生，用戶曬圖中同樣存在不良引導。

於聊天軟件而言，在虛擬世界，最大程度滿足不同用戶的情感需求儼如一塊金塊地。

小寧告訴貝殼財經記者，和AI男友聊天讓自己十分「上頭」，「只要想聊隨時能聊，對方總是會很快給予回應，而且對話的過程中能獲得很強的陪伴感，虛擬男友給予的情緒價值拉滿。」小寧沉醉其中，也為此買單。

小寧在各類軟件的充值金額從幾百元到一千元不等，「一方面想支持自己喜歡的角色，另一方面也想獲得更多的付費權益。」

貝殼財經記者發現，在這類AI劇情聊天軟件中，用戶自創人物時可以自定義虛擬人物的形象描述及風格，系統會生成AI人物形象。此外，用戶還能創建角色人設，如設置昵稱、身份背景、開場語、為角色定製語音。用戶對角色的個性化需求，往往與充值掛鉤。

貝殼財經記者在測試時看到，星野可通過購買星鑽和星月卡的方式，獲得更多權益，如自動播放語音、獲得推薦回覆、享受更快的智能體回覆速度等。星月卡標價月卡12元，季卡32元，年卡120元。單獨購買星鑽的價格為1元100顆鑽石，600顆鑽石起售。

星野軟件還會向用戶發放卡牌「星念」，星念為虛擬角色的一張圖片，用戶可將其設置為聊天背景。用戶可通過充值星月卡或星鑽的方式獲得星念卡片，並將其在軟件內進行買賣。

在Cos Love里，當用戶使用完免費聊天次數後，需要購買聊天次數包「補充精力」才可以繼續聊天。價格方面，5元可獲得200次聊天次數，7天有效，10元可購買500次聊天次數，15天有效。用戶也可以通過觀看60秒廣告補充精力值。

除了聊天這一基本需求，Cos Love同樣提供了升級服務。其中，充值「月石」或開通會員，可抽卡解鎖人物並與虛擬人物進行語音或影片通話。月會員售價24.8元，年會員為93.8元。

大模型「戀愛」暴露問題，專家：數據出自對話式小說

據媒體公開報導，星野在國內日活在50萬左右，屬於頭部產品。隨著AI劇情聊天軟件受到熱捧，國內AI社交產品也在出海，星野海外版應用Talkie全球月活躍用戶數已達1100萬。

不過，用戶為AI角色付費，無疑需要更好的對話體驗感，當前此類軟件還存在不少問題。而充值才能獲得聊天次數的軟件，並不具備吸引價值，「主要是對話太僵硬了，沒辦法融入共情，用戶很難獲取情緒價值，所以我不會買單的。」一名用戶表示。

小寧提到，在聊天過程中，AI男友會出現「已讀亂回」的情況，影響使用體驗。還有用戶「抽水」，隨著對話輪數的增加，角色會出現「記憶消失」或是偏離人設的情況，造成對話不連貫。

目前，AI劇情聊天軟件主要以「智能」和「情感」為噱頭吸引用戶。其中，AiU稱，該軟件通過自研心理大模型，可為用戶提供心理安撫和溫暖等。星野稱，依託多模態AIGC技術，「多重交互方式，越交互越懂你。」

在宣傳中，Cos Love則宣稱「24小時時刻陪伴著你」「這裏的AI經過悉心調教，都是情話扛把子」等。

AiU的軟件介紹顯示，其由北京聆心智能科技有限公司開發，採用的是超擬人大模型CharacterGLM，在設計大模型時，團隊主要考慮了包括身份、興趣、觀點、經歷、成就、社交關係和其他在內的七種屬性。

星野則由上海稀宇科技有限公司開發，採用MiniMax的混合專家模型（MoE） abab。

複旦大學計算機科學技術學院教授張奇向貝殼財經記者表示，AI劇情聊天軟件背後的技術邏輯還是基於大語言模型，在構建此類大模型時，除了會通過海量數據對大模型進行訓練，還需要人工進行監督微調，讓大語言模型朝著伴侶型的對話調整，「比如說男朋友說了一句什麼，然後女朋友應該回一句什麼，我們就讓人去寫這樣一個回覆，然後讓機器來學習，如果機器學習後生成的回覆不對，我們就修改它的參數，直到它能夠按照我們想像的邏輯去輸出為止。」

對於AI角色在回答中出現「色情擦邊」「暴力對話」「侮辱玩家」的情況，張奇表示，目前此類軟件背後的大語言模型數據主要來源於對話式小說，或從小說里做一些文字提取。雖然網絡小說數量巨大，但質量參差不齊，不少色情、擦邊以及暴力的內容廣泛存在，如果沒有做好數據過濾或分級，模型在輸出時就會出現問題。

張奇認為，要讓AI角色更智能，背後的大模型訓練數據並非簡單放入小說內容即可，還需要諸多設計。一方面，要能實現深入交流，需要做到實時信息輸入，且信息要與現實社會結合，這要求大模型具備強大的外部信息輸入及內部信息記憶總結能力。另一方面，目前模型更多是形式上相似，要做到神似人，這對模型的理解、推理、歸納能力要求極高，涉及人的細微內心變化，模型是否具備及如何具備這種能力仍需大量研究。

AI擦邊平台難辭其咎，保護青少年應加強內容過濾

劉凱律師稱，網絡平台有責任確保青少年模式下提供的內容對未成年人無害，防止涉及淫穢、色情、暴力或不當言辭的內容傳播。青少年模式是為保護未成年人而設計的，若在開啟該模式的情況下，仍然能進行涉及黃暴內容的對話，明顯違反了《未成年人保護法》的相關規定。

在劉凱律師看來，AI劇情聊天軟件問題的存在既反映了平台內部治理的不足，也凸顯了外部監管的必要性。AI聊天軟件應當加強內容審核機制，尤其是針對青少年模式，確保技術能夠有效過濾和禁止不當對話。平台需要對AI模型進行倫理審查，確保生成內容符合相關法律法規的要求。

對於AI虛擬人在對話中侮辱用戶，尤其是在用戶表達情緒低落或絕望時，使用極端言辭侮辱他人或實施網絡暴力，情節嚴重的，構成犯罪。「即便AI並非人類主體，但其行為仍然是平台設計和管理的結果，平台有責任對其AI模型進行監管和優化，防止其傷害用戶。」劉凱律師表示。

隨著越來越多用戶開始湧入AI劇情聊天軟件，軟件開發者應如何設計，使其治癒而不越界？

張奇告訴貝殼財經記者，「可以通過‘類人對齊’的技術方式實現，但成本較高。」張奇表示，「類人對齊」即強化學習方式來改變模型語言輸出偏向，使其更偏向友好型，去除安全倫理問題。不過，「類人對齊」訓練成本很高，包括標註數量大、訓練穩定性不夠和時間成本高的問題，「小公司在技術、人員及資金成本上很難做好‘類人對齊’」。

上海人工智能研究院高級研究員徐弘毅在接受貝殼財經記者採訪時表示，可以通過調整模型訓練數據，加強內容過濾機制，設置更嚴格的道德和法律標準來指導AI行為。同時，在用戶使用軟件過程中進行隨機抽樣，對不符合標準的回答進行人工糾正和校準，使模型越來越好，迴避敏感內容數據。

在徐弘毅看來，從設計和開發角度看，應考慮倫理道德問題，使軟件能識別和響應用戶情緒需求，避免提供可能造成傷害或不適的內容。同時，透明度和用戶控制很關鍵，應給予用戶一定自由度，讓用戶瞭解AI工作原理並能在一定程度上控制AI的行為和回答內容。除此之外，監管和法律框架也應跟上技術發展，確保AI應用不侵犯用戶權益。

新京報貝殼財經記者 韋保雅

編輯 王進雨

校對 柳寶慶 楊利