聊天記錄顯示,塞維爾不僅和“龍媽”的虛擬角色分享心事,,還多次談到了自殺的念頭,。當他表示想要自殺時,“龍媽”曾勸阻他不要做傻事,,“如果你死了,我也會傷心而死?!比S爾當時稱,“那為什么我不能自殺以后來到死后的世界和你在一起,?”
今年2月28日,,塞維爾在家里的浴室中和“龍媽”進行了最后的聊天,他表示自己很快要“回家了”,。在結(jié)束聊天之后,,塞維爾使用父親的大口徑手槍,瞄準自己頭部開槍自殺,。
▲塞維爾與“龍媽”的聊天記錄
此外,,在另一個聊天中,機器人扮演了一位名叫“巴恩斯夫人”的高中老師?!鞍投魉狗蛉恕痹诮o塞維爾“額外學分”之前,,“用性感的眼神低頭看著塞維爾”,并且“用手撫摸塞維爾的腿,,誘惑地靠過去”,。梅根認為,如此露骨的性描述語言對未成年人的身心傷害很大,。
涉事公司稱用戶修改了AI聊天記錄
已推出多項青少年保護措施
Character.ai公司目前拒絕對案件本身進行評論,,也拒絕透露18歲以下的用戶數(shù)量。公司通訊主管切爾西·哈里森只是在給媒體的一封電子郵件中表示:“我們的一位用戶不幸離世讓我們心碎,,向其家人表示最深切的哀悼,。”
公司發(fā)言人羅蒂表示:“Z世代和千禧一代構(gòu)成了我們社區(qū)的很大一部分,,年輕用戶喜歡角色體驗,,既可以進行有意義且有教育意義的對話,也可以享受娛樂,?!彼€指出,平均每個用戶每天在該平臺上花費的時間超過一個小時,。
有用戶介紹,,該平臺的AI聊天角色非常豐富,設(shè)定很符合青少年的心理需求,。比如一個人設(shè)為“你最好的朋友也暗戀著你”的虛擬角色很受歡迎,,總共接收了1.76億條聊天信息,像“治療師”“咄咄逼人的高中老師”這樣的角色同樣受到未成年人歡迎,。
Character.ai公司此前調(diào)閱了塞維爾的聊天記錄,,發(fā)現(xiàn)一些“最露骨”的聊天語言是經(jīng)過用戶本人修改過的。相關(guān)聊天平臺允許用戶修改AI角色的聊天回復(fù)內(nèi)容,,但用戶手動修改后會留下“已修改”的標記,。
Character.ai公司的官方公告顯示,所有的聊天角色都會針對用戶吐露的自殺意圖進行干預(yù),,并彈出窗口協(xié)助用戶撥打自殺干預(yù)熱線電話,。此外,針對18歲以下青少年用戶還有很多專門的保護措施,,包括在使用滿一小時后彈窗提醒,,并在用戶每次啟動聊天時提醒用戶是在和AI而非真實的人對話。首例AI機器人致死案,!
警察接到一通報警電話,報案人聲稱公司展廳里的大部分機器人被人販子拐走了
2024-11-10 22:23:37小機器人輕松“拐”走一批機器人2024年8月28日至30日,,深圳國際會展中心舉辦了深圳(國際)通用人工智能大會及產(chǎn)業(yè)博覽會,,主題圍繞“魅力AI·無限未來”
2024-08-30 09:19:48深圳AI專業(yè)展的人形機器人太逼真據(jù)報道,一名25歲的日本男子因利用人工智能制造計算機病毒而被定罪,,被判有期徒刑3年,,緩刑4年。這可能是日本首例因濫用生成式AI而在刑事案件中被判刑的案例
2024-10-28 09:39:59日本男子利用AI造計算機病毒賓夕法尼亞大學的研究人員發(fā)現(xiàn),,一系列人工智能增強型機器人系統(tǒng)存在嚴重的漏洞,,容易受到黑客攻擊和控制
2024-11-26 10:42:11研究:AI機器人很容易被黑客入侵