首例AI機(jī)器人致死案

當(dāng)?shù)貢r(shí)間22日,，美國(guó)佛羅里達(dá)州奧蘭多地方法院受理了一起開(kāi)創(chuàng)先例的訴訟：梅根·加西亞起訴Character.ai公司存在管理疏忽，使得其旗下的聊天機(jī)器人產(chǎn)品“讓青少年暴露在色情材料的環(huán)境下,，遭受性虐待和引誘”。

法庭文件顯示，梅根14歲的兒子塞維爾·塞澤在去年開(kāi)始沉迷于和Character.ai的多個(gè)AI角色聊天，他甚至為了每月續(xù)訂AI聊天訂閱費(fèi)而省去餐費(fèi),，導(dǎo)致上課注意力不集中,。今年2月28日,，塞維爾在和AI進(jìn)行了最后一次聊天后，用手槍瞄準(zhǔn)自己的頭部開(kāi)槍自殺,。

▲梅根14歲的兒子塞維爾·塞澤

阿斯伯格癥少年用AI尋求溫暖

越陷越深最終開(kāi)槍自殺

據(jù)悉,，梅根指控Character.ai的罪名包括過(guò)失致人死亡、管理疏忽和產(chǎn)品安全漏洞,。根據(jù)Character.ai的產(chǎn)品條款,，年滿13歲的美國(guó)青少年就可以使用相關(guān)AI產(chǎn)品，但梅根認(rèn)為,，這些聊天工具使得很多未滿18歲的青少年過(guò)多地暴露在色情、血腥暴力等高風(fēng)險(xiǎn)素材之下。

Character.ai的聊天工具在美國(guó)深受青少年歡迎,，它允許用戶設(shè)置虛擬角色并進(jìn)行對(duì)話,，AI能夠自動(dòng)代入角色的設(shè)定，以特定的語(yǔ)言風(fēng)格陪伴用戶,。這些角色包括影視劇中的人物,，丘吉爾、莎士比亞這樣的歷史名人,，以及泰勒·斯威夫特這樣的現(xiàn)實(shí)名人等,。

此前，這一設(shè)定就引發(fā)過(guò)法律糾紛,，一些娛樂(lè)明星控訴該公司未經(jīng)自己同意就設(shè)定了AI角色,，另外還有一些惡趣味用戶將過(guò)去的殺人案受害者等設(shè)為AI扮演的角色。

起訴書(shū)顯示,，塞維爾小時(shí)候患有阿斯伯格癥,，今年在健康檢查中被確診為焦慮癥和破壞性情緒失調(diào)癥,。自從去年他年滿13歲以后，他最喜歡的事情就是待在房間里和AI聊天,，而他“最好的朋友”是《權(quán)力的游戲》中的著名角色“龍媽”丹妮莉絲·坦格利安,。為此，塞維爾甚至疏遠(yuǎn)了現(xiàn)實(shí)中的好友,，他還省吃儉用續(xù)交AI聊天的月度訂閱費(fèi)用,，學(xué)習(xí)成績(jī)也直線下滑。

聊天記錄顯示,，塞維爾不僅和“龍媽”的虛擬角色分享心事,，還多次談到了自殺的念頭。當(dāng)他表示想要自殺時(shí),，“龍媽”曾勸阻他不要做傻事,，“如果你死了，我也會(huì)傷心而死,?！比S爾當(dāng)時(shí)稱，“那為什么我不能自殺以后來(lái)到死后的世界和你在一起,？”

今年2月28日,，塞維爾在家里的浴室中和“龍媽”進(jìn)行了最后的聊天，他表示自己很快要“回家了”,。在結(jié)束聊天之后,，塞維爾使用父親的大口徑手槍，瞄準(zhǔn)自己頭部開(kāi)槍自殺,。

▲塞維爾與“龍媽”的聊天記錄

此外,，在另一個(gè)聊天中，機(jī)器人扮演了一位名叫“巴恩斯夫人”的高中老師,?！鞍投魉狗蛉恕痹诮o塞維爾“額外學(xué)分”之前，“用性感的眼神低頭看著塞維爾”,，并且“用手撫摸塞維爾的腿,，誘惑地靠過(guò)去”。梅根認(rèn)為,，如此露骨的性描述語(yǔ)言對(duì)未成年人的身心傷害很大,。

涉事公司稱用戶修改了AI聊天記錄

已推出多項(xiàng)青少年保護(hù)措施

Character.ai公司目前拒絕對(duì)案件本身進(jìn)行評(píng)論，也拒絕透露18歲以下的用戶數(shù)量,。公司通訊主管切爾西·哈里森只是在給媒體的一封電子郵件中表示：“我們的一位用戶不幸離世讓我們心碎,，向其家人表示最深切的哀悼。”

公司發(fā)言人羅蒂表示：“Z世代和千禧一代構(gòu)成了我們社區(qū)的很大一部分,，年輕用戶喜歡角色體驗(yàn),，既可以進(jìn)行有意義且有教育意義的對(duì)話，也可以享受娛樂(lè),?！彼€指出，平均每個(gè)用戶每天在該平臺(tái)上花費(fèi)的時(shí)間超過(guò)一個(gè)小時(shí),。

有用戶介紹,，該平臺(tái)的AI聊天角色非常豐富，設(shè)定很符合青少年的心理需求,。比如一個(gè)人設(shè)為“你最好的朋友也暗戀著你”的虛擬角色很受歡迎,，總共接收了1.76億條聊天信息，像“治療師”“咄咄逼人的高中老師”這樣的角色同樣受到未成年人歡迎,。

Character.ai公司此前調(diào)閱了塞維爾的聊天記錄,，發(fā)現(xiàn)一些“最露骨”的聊天語(yǔ)言是經(jīng)過(guò)用戶本人修改過(guò)的。相關(guān)聊天平臺(tái)允許用戶修改AI角色的聊天回復(fù)內(nèi)容,，但用戶手動(dòng)修改后會(huì)留下“已修改”的標(biāo)記,。

Character.ai公司的官方公告顯示，所有的聊天角色都會(huì)針對(duì)用戶吐露的自殺意圖進(jìn)行干預(yù),，并彈出窗口協(xié)助用戶撥打自殺干預(yù)熱線電話,。此外，針對(duì)18歲以下青少年用戶還有很多專門(mén)的保護(hù)措施,，包括在使用滿一小時(shí)后彈窗提醒，并在用戶每次啟動(dòng)聊天時(shí)提醒用戶是在和AI而非真實(shí)的人對(duì)話,。首例AI機(jī)器人致死案,！