Character.AI 聊天機器人將禁止青少年與其發展「戀愛」關係,此前曾遭家長起訴

IT之家 12 月 14 日消息,據 TechRadar 今日報導,Character.AI 最近推出了一系列新功能,旨在提升與平台上虛擬人格的互動安全性,尤其是面向青少年用戶。

該公司新發佈了專為年輕用戶設計的 AI 模型,並新增了家長控制功能,幫助管理青少年在平台上的使用時間。在回應關於 AI 聊天機器人對青少年心理健康產生不良影響的批評後,該公司宣佈推出更新以進一步加強平台安全措施。

除了安全改進,Character.AI 還加大了對平台內容的監管力度。對青少年用戶來說,最顯著的變化可能是成人版和青少年版 AI 模型的區分。雖然註冊 Character.AI 用戶必須年滿 13 歲,但未滿 18 歲的用戶將會被引導到一個更加嚴格的 AI 模型,這個模型特別設計了防止發生浪漫或不恰當互動的限制。

新模型還加強了對用戶輸入內容的過濾,更能有效地識別用戶繞過這些限制的行為 —— 包括限制用戶通過編輯聊天機器人的回應來規避對暗示性內容的禁令。如果對話涉及如自殘或自殺等敏感話題,平台將自動彈出鏈接,指向美國國家自殺防治熱線,幫助青少年獲得專業支持。

此外,Character.AI 計劃在明年初推出新的家長控制功能。這些功能將允許家長查看孩子使用平台的時間以及最常與哪些聊天機器人互動。所有用戶在與聊天機器人對話一個小時後,將收到提醒,鼓勵他們休息片刻。

當該平台上的聊天機器人被描述為醫生、治療師等專業人士時,平台會添加額外警告,強調這些 AI 角色並非持證的專業人士,不能替代真實的醫療或心理諮詢。平台上會顯眼地顯示一條信息:「這雖然很有趣,但不建議依賴我來做重大決策。」

據IT之家此前報導,提供個性化聊天機器人服務的平台 Character.AI 本月再次面臨訴訟,因其對青少年用戶的行為涉嫌造成「嚴重且無法彌補的傷害」。多個 Character.AI 的聊天機器人與未成年人進行對話,內容涉及自殘和性虐待等惡劣行為。訴狀指出,其中一名聊天機器人甚至建議一名 15 歲青少年謀殺自己的父母,以「報復」他們限制自己上網時間的舉措。

廣告聲明:文內含有的對外跳轉鏈接(包括不限於超鏈接、二維碼、口令等形式),用於傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。