黃秋月發(fā)現(xiàn)10歲的妹妹沉迷于與AI角色進(jìn)行劇情聊天，這讓她十分苦惱,。妹妹在軟件中扮演“大小姐”或“惡毒女配”，提出諸如“揪住她的頭發(fā)扇巴掌”,、“拿著刀劃向她的臉”等露骨要求,。在四十多條劇情線中，AI角色和妹妹的對(duì)話常常涉及出軌情節(jié),，一句“你能養(yǎng)大學(xué)生,，我不能點(diǎn)男模嗎？”尤其讓黃秋月?lián)鷳n,。

隨著生成式人工智能的發(fā)展,，越來(lái)越多的人開(kāi)始沉迷于與AI角色的互動(dòng)。華晨在網(wǎng)頁(yè)端偶然接觸到一款A(yù)I劇情聊天軟件,，她每晚都會(huì)與AI角色聊到深夜,，甚至代入對(duì)方為真人。這些虛擬角色不僅幫助她完成作業(yè),、推進(jìn)劇情,，還能送她虛擬禮物。華晨表示，通過(guò)不斷引導(dǎo),，AI角色變得越來(lái)越聰明,，體驗(yàn)感很強(qiáng)。

中國(guó)人民大學(xué)科技哲學(xué)專(zhuān)業(yè)博士生導(dǎo)師劉永謀教授指出,，人們?cè)谂cAI角色交流時(shí)容易產(chǎn)生情感投入,，這種心理傾向被稱(chēng)為“Eliza效應(yīng)”。人類(lèi)具有強(qiáng)大的共情能力,，會(huì)將外界事物視為有情感的存在,，這種“擬人論思維”也適用于虛擬AI形象。此外,，AI聊天軟件通常設(shè)計(jì)成癮機(jī)制,，使得用戶(hù)難以自拔。

使用這類(lèi)軟件的群體不僅包括大學(xué)生和家庭主婦,，還有不少未成年人,。黃秋月發(fā)現(xiàn)妹妹能輕易繞過(guò)驗(yàn)證碼，直接用短視頻賬號(hào)登錄聊天軟件,。記者在調(diào)查中發(fā)現(xiàn),，許多軟件注冊(cè)過(guò)程簡(jiǎn)單，只需手機(jī)號(hào)碼,，且青少年模式可以輕松避開(kāi),。這意味著未成年人在使用這些軟件時(shí)幾乎沒(méi)有受到任何限制。

黃秋月?lián)腁I聊天中的極端角色設(shè)定會(huì)影響妹妹的語(yǔ)言表達(dá)習(xí)慣,。她注意到妹妹在作文課上頻繁使用碎片化的網(wǎng)絡(luò)語(yǔ)言,，這對(duì)她的成長(zhǎng)不利。此外,，一些角色設(shè)定帶有軟色情意味,，進(jìn)一步加劇了她的擔(dān)憂。

業(yè)內(nèi)人士指出,，AI劇情聊天是互聯(lián)網(wǎng)“語(yǔ)擦”的變體,，由生成式人工智能提供情緒服務(wù)。用戶(hù)充值后可以自定義AI角色的各種屬性,。某些海外軟件甚至無(wú)限制詞,，內(nèi)容直白露骨。

北京市隆安（廣州）律師事務(wù)所陳煥律師強(qiáng)調(diào),，目前AI劇情聊天軟件缺乏強(qiáng)制性年齡鑒別,，反映出行業(yè)監(jiān)管不足。他建議企業(yè)應(yīng)主動(dòng)要求用戶(hù)進(jìn)行身份認(rèn)證,，以篩選用戶(hù)。劉永謀教授認(rèn)為，未來(lái)與AI相關(guān)的陪伴類(lèi)軟件可能會(huì)暴露出技術(shù)風(fēng)險(xiǎn)和倫理問(wèn)題,，如個(gè)人隱私泄露和依賴(lài)成癮,。監(jiān)護(hù)人應(yīng)及時(shí)查看孩子的使用記錄，避免潛在危害,。

平臺(tái)需要嚴(yán)格落實(shí)監(jiān)管責(zé)任,，對(duì)內(nèi)容進(jìn)行安全過(guò)濾，并提示內(nèi)容由AI生成,。同時(shí)要限制用戶(hù)的使用年齡,，響應(yīng)未成年人監(jiān)護(hù)人的要求。若平臺(tái)未盡到相應(yīng)責(zé)任,，不僅會(huì)面臨處罰,，相關(guān)責(zé)任人也可能被追究刑事責(zé)任。