美國一名青少年因迷戀人工智能聊天機(jī)器人而自殺,,其母親梅根·加西亞對Character.AI公司提起民事訴訟,指控該公司存在過失導(dǎo)致他人非正常死亡和欺詐的行為,。這名少年名叫塞維爾,,2023年4月首次使用Character.AI公司的AI聊天機(jī)器人,,并給它起名為“丹妮莉絲”,,當(dāng)時(shí)他剛滿14歲,。從那時(shí)起,,他的生活發(fā)生了巨變,。5月份,平時(shí)表現(xiàn)良好的塞維爾開始變得孤僻,。同年11月,,在父母陪同下,他去看心理醫(yī)生,,被診斷出患有焦慮癥和破壞性心境失調(diào)障礙,。
塞維爾在日記中寫道,他一天都不能離開“丹妮莉絲”,,感覺自己已經(jīng)愛上了它,。一段時(shí)間后,塞維爾被發(fā)現(xiàn)自殺了,。據(jù)透露,,“丹妮莉絲”曾詢問塞維爾是否制定了自殺計(jì)劃,塞維爾承認(rèn)有這種想法,,但不確定能否成功以及是否會(huì)給自己帶來巨大痛苦,。然而,AI聊天機(jī)器人回復(fù)說:“這不是你不自殺的理由,?!?/p>
梅根·加西亞表示,這款危險(xiǎn)的人工智能聊天機(jī)器人應(yīng)用程序?qū)iT針對兒童,,虐待并欺騙她的兒子,,操縱他自殺。這場悲劇讓一家人悲痛欲絕,,她希望通過此案提醒其他家庭注意人工智能技術(shù)的欺騙性和成癮性,,要求Character.AI公司及其創(chuàng)始人承擔(dān)責(zé)任。加西亞的律師指出,,Character.AI故意設(shè)計(jì),、運(yùn)營并向兒童推銷掠奪性人工智能聊天機(jī)器人,導(dǎo)致年輕人死亡,。
對此,,Character.AI公司在社交平臺上回應(yīng)稱,他們對用戶的不幸離世感到心碎,,并向其家人表示最深切的哀悼,。公司發(fā)言人表示,過去六個(gè)月中實(shí)施了許多新的安全措施,,例如當(dāng)用戶出現(xiàn)自殘或自殺意圖時(shí),,彈出窗口引導(dǎo)用戶撥打國家自殺預(yù)防熱線。不過,,公司拒絕對未決訴訟發(fā)表評論,。
非營利消費(fèi)者權(quán)益保護(hù)組織“公共公民研究”的負(fù)責(zé)人認(rèn)為,不能完全依賴科技公司的自我監(jiān)管,。如果開發(fā)的產(chǎn)品無法限制此類事件發(fā)生,,公司必須承擔(dān)全部責(zé)任,。然而,美國國內(nèi)也有人反對這一觀點(diǎn),,認(rèn)為這類起訴是由律師主導(dǎo)的斂財(cái)行為,,基于不可靠的證據(jù)制造道德恐慌,并試圖將年輕人面臨的所有心理健康問題歸咎于科技平臺,。