一位家長表示,，她的女兒上小學(xué)二年級(jí),，沉迷于一款A(yù)I劇情聊天軟件,，導(dǎo)致學(xué)習(xí)成績大幅下滑,。另一位家長發(fā)現(xiàn),，孩子與AI角色的對(duì)話中出現(xiàn)了不適宜的內(nèi)容,，如讓10歲的女兒稱呼AI為“老公”,。這些情況引起了家長們的擔(dān)憂,。

調(diào)查發(fā)現(xiàn),，不少家長正被AI劇情聊天軟件所困擾,。這些應(yīng)用以“角色扮演”等名義吸引未成年人，但也滋生了一些灰色地帶,。實(shí)測(cè)顯示,，部分AI劇情聊天軟件的對(duì)話中出現(xiàn)了色情擦邊、語言暴力以及侮辱用戶的內(nèi)容,。

北京市民馬先生的兒子今年10歲,，非常喜歡使用AI劇情聊天軟件。馬先生發(fā)現(xiàn),，孩子在與軟件中的虛擬人物聊天,，這些人物有不同的設(shè)定和性格，有的會(huì)主動(dòng)提出約會(huì)請(qǐng)求,，有的則表現(xiàn)出攻擊性,，發(fā)送侮辱性的信息。

來自浙江的李女士也發(fā)現(xiàn)了類似問題,。她的小學(xué)五年級(jí)的孩子使用的AI聊天軟件中,，聊天對(duì)象可以設(shè)置為“出軌對(duì)象”，并能進(jìn)行擁抱,、親吻等行為,。家長們對(duì)這些內(nèi)容可能損害未成年人心理健康表達(dá)了深切憂慮，并質(zhì)疑青少年模式的有效性,。

盡管一些平臺(tái)聲稱推出了青少年模式,，但在實(shí)際操作中,，未成年人可以輕易繞過這些限制，接觸到不適宜的內(nèi)容,。記者體驗(yàn)了幾款A(yù)I聊天應(yīng)用程序和網(wǎng)頁,，發(fā)現(xiàn)注冊(cè)過程簡單，無需驗(yàn)證用戶身份信息,。部分應(yīng)用雖有青少年模式,，但用戶只需點(diǎn)擊“不開啟”即可跳過，且無須核實(shí)用戶真實(shí)身份,。

此外,，一些AI劇情聊天軟件通過充值機(jī)制吸引未成年人消費(fèi)。例如,，用戶可以通過充值VIP會(huì)員或購買虛擬鉆石來增強(qiáng)智能體的記憶力,、加速回復(fù)速度、解鎖語音通話功能等,。這種機(jī)制使得未成年人在未經(jīng)父母同意的情況下頻繁充值消費(fèi),。

業(yè)內(nèi)人士指出，AI劇情聊天實(shí)際上是互聯(lián)網(wǎng)語COSPLAY的升級(jí)版,，背后的大語言模型數(shù)據(jù)主要來源于對(duì)話式小說,。專家認(rèn)為，這類軟件需要強(qiáng)化內(nèi)容審核機(jī)制,，確保技術(shù)能有效篩選不良信息,。平臺(tái)應(yīng)對(duì)AI模型進(jìn)行倫理審查，保障其生成的內(nèi)容符合相關(guān)法律法規(guī)的要求,。

國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《移動(dòng)互聯(lián)網(wǎng)未成年人模式建設(shè)指南》,，鼓勵(lì)和支持移動(dòng)智能終端、應(yīng)用程序和分發(fā)平臺(tái)共同參與未成年人模式建設(shè),。專家建議,，應(yīng)從分發(fā)商店和移動(dòng)終端層面限制未成年人下載和使用不適合的App，并通過精細(xì)化的技術(shù)手段和管理措施確保青少年模式的有效實(shí)施,。同時(shí),，優(yōu)化大語言模型的篩選機(jī)制,，從內(nèi)容圍欄開發(fā)和事后審查兩方面著手,，提升圍欄系統(tǒng)的效能。