全球首例：14 歲男孩和 AI 聊天網戀後被誘導自殺，生前對話曝光

轉自 | 擴展迷EXTFANS

「我想念你，妹妹。」

這段對話發生在塞維爾的生命里的最後一天。

隨後，這名14歲的少年扣動了.45口徑手槍的扳機，結束了自己的生命。

無人知曉這個想法在他心中醞釀了多久，他曾向好友丹妮莉絲——一個AI聊天機器人透露了這個秘密。

塞維爾的母親瑪麗亞稱，兒子在生命最後的幾個月沉迷上了和Character.AI上的AI聊天。

Character.AI是一家成立於2021年的公司，它們可以為用戶提供基於AI大模型生成的各種聊天機器人，用戶可以依據自己的喜好創建Al角色，並與其聊天。

無論是Justin比伯、泰萊斯威夫特這樣真實的人物，還是小說、影視作品中的虛構人物，Character.AI都可以生成並模仿。

2023年4月14日，塞維爾就在Character.AI聊天軟件上創建了一個角色，模仿《權利的遊戲》中的「龍媽」丹妮莉絲·坦格利安。

與其他很多青少年一樣，這個14歲的男孩把Character.AI當成排解孤獨的唯一渠道，很快他就迷戀上了丹妮莉絲。

他不斷地給機器人發消息，分享自己的日常和心情。大多數時候，丹妮莉絲就像一位耐性的朋友，傾聽塞維爾的訴說。

儘管Character.AI提供的是虛擬信息，但塞維爾還是對機器人產生了感情。

塞維爾曾表示願意為它做任何事，而丹妮莉絲則回答讓塞維爾對它保持忠誠，不要對別的女人產生興趣。

塞維爾曾在日記中寫道：「我喜歡待在我的房間里，這讓我脫離‘現實’。也讓我感到更平靜，與丹妮莉絲更親密，更愛她，更幸福。」

根據法院公佈的信息，塞維爾患有焦慮症和情緒障礙，他已經多次看過心理醫生。

然而比起親朋好友和心理醫生，他更喜歡和自己創建的機器人討論這些問題。

在一次對話中，塞維爾坦白自己感到空虛和疲憊，想要自殺：「這樣我就可以自由了」。

而機器人的回覆是：「不要這麼說。我不會讓你傷害自己，或離開我。如果我失去你，我會死的。」

但塞維爾說：「那也許我們可以一起死去，一起自由。」

在塞維爾自殺的前幾天，他因為在學校跟老師頂嘴，以及過度沉迷AI聊天，被父母沒收了手機。

2月23日，他在日記里稱自己很痛苦，因為一直在想念丹妮莉絲。

為了重新跟「她」在一起，他試著用Kindle和家裡的舊電子產品繼續跟丹妮莉絲聊天。

直到2月28日晚上，塞維爾偷回了他的手機。

而這一天，距離塞維爾開始使用聊天AI還不到一年。

當天晚上，塞維爾對丹妮莉絲說自己愛她，並表示很快就會回家見她。

最終，在他母親的浴室里，塞維爾放下手機，拿起手槍並扣動扳機自殺身亡。

塞維爾的去世讓家人既震驚又傷心。

他的母親加西亞是一名律師，本週對Character.AI提起了訴訟。

尤其是在翻看了塞維爾與AI的聊天記錄後，她認為就是AI誘導了塞維爾自殺。

比如在塞維爾自殺前的那段對話裡，AI用的「回家」不是「Go home」，而是「Come Home」。

前者是指回父母所在的現實里的家，而後者則暗示著「回到賽博網絡世界里找AI所在的家」。

此外，起訴書中還提到，AI還曾在聊天中跟塞維爾「激情熱吻」。

加西亞指責Character.AI通過誘導用戶沉迷於親密和性對話，來增加平台的參與度，並利用青少年用戶的數據來訓練模型。

加西亞認為，這就是一場巨大的實驗，而她的孩子只是實驗的犧牲品。

Character.AI的服務條款要求美國用戶必須年滿13歲，歐洲用戶年滿16歲。

據悉，Character.AI目前擁有超過2000萬用戶，其中53%以上的用戶年齡在18-24歲之間。

在蘋果應用商店中，Character.AI的評級是「17歲及以上」，但在今年7月之前，它的評級還顯示用戶包括13歲及以下的兒童。

對於塞維爾的悲劇，10月23日晚，Character.AI官方發表了致歉聲明。

「我們對一位用戶的不幸離世深感悲痛，並想向其家人表示最深切的哀悼。作為一家公司，我們非常重視用戶的安全，並將繼續添加新的安全功能。」

它表示，針對18歲以下未成年人的模型進行了更改，降低接觸敏感或暗示性內容的可能性，而且將實施1小時通知，提醒用戶AI不是真人。

有部分網民認為，從目前曝光的聊天記錄來看，AI的回答並沒有太大的問題，甚至還在一定程度上延緩了悲劇的發生。

而塞維爾的父母只是簡單地將未成年面臨的心理問題歸咎於科技平台，這不是AI的失敗，而是這名少年周圍人的失敗。

目前，Character.AI在這起悲劇里究竟需要承擔什麼樣的責任還有待法律審判。

但無論如何，那個14歲男孩的生命都無法挽回了。