一位家長(zhǎng)表示，她的女兒上小學(xué)二年級(jí)，沉迷于一款A(yù)I劇情聊天軟件,，導(dǎo)致學(xué)習(xí)成績(jī)大幅下滑,。另一位家長(zhǎng)發(fā)現(xiàn)，孩子與AI角色的對(duì)話中出現(xiàn)了不適宜的內(nèi)容，如讓10歲的女兒稱呼AI為“老公”。這些情況引起了家長(zhǎng)們的擔(dān)憂。

調(diào)查發(fā)現(xiàn),，不少家長(zhǎng)正被AI劇情聊天軟件所困擾。這些應(yīng)用以“角色扮演”等名義吸引未成年人,，但也滋生了一些灰色地帶,。實(shí)測(cè)顯示，部分AI劇情聊天軟件的對(duì)話中出現(xiàn)了色情擦邊,、語(yǔ)言暴力以及侮辱用戶的內(nèi)容,。

北京市民馬先生的兒子今年10歲，非常喜歡使用AI劇情聊天軟件,。馬先生發(fā)現(xiàn),，孩子在與軟件中的虛擬人物聊天，這些人物有不同的設(shè)定和性格,，有的會(huì)主動(dòng)提出約會(huì)請(qǐng)求,，有的則表現(xiàn)出攻擊性，發(fā)送侮辱性的信息,。

來(lái)自浙江的李女士也發(fā)現(xiàn)了類似問(wèn)題,。她的小學(xué)五年級(jí)的孩子使用的AI聊天軟件中，聊天對(duì)象可以設(shè)置為“出軌對(duì)象”,，并能進(jìn)行擁抱,、親吻等行為。家長(zhǎng)們對(duì)這些內(nèi)容可能損害未成年人心理健康表達(dá)了深切憂慮,，并質(zhì)疑青少年模式的有效性,。

盡管一些平臺(tái)聲稱推出了青少年模式，但在實(shí)際操作中,，未成年人可以輕易繞過(guò)這些限制,，接觸到不適宜的內(nèi)容。記者體驗(yàn)了幾款A(yù)I聊天應(yīng)用程序和網(wǎng)頁(yè),，發(fā)現(xiàn)注冊(cè)過(guò)程簡(jiǎn)單,，無(wú)需驗(yàn)證用戶身份信息,。部分應(yīng)用雖有青少年模式，但用戶只需點(diǎn)擊“不開(kāi)啟”即可跳過(guò),，且無(wú)須核實(shí)用戶真實(shí)身份,。

此外，一些AI劇情聊天軟件通過(guò)充值機(jī)制吸引未成年人消費(fèi),。例如,，用戶可以通過(guò)充值VIP會(huì)員或購(gòu)買虛擬鉆石來(lái)增強(qiáng)智能體的記憶力、加速回復(fù)速度,、解鎖語(yǔ)音通話功能等,。這種機(jī)制使得未成年人在未經(jīng)父母同意的情況下頻繁充值消費(fèi),。

業(yè)內(nèi)人士指出,，AI劇情聊天實(shí)際上是互聯(lián)網(wǎng)語(yǔ)COSPLAY的升級(jí)版，背后的大語(yǔ)言模型數(shù)據(jù)主要來(lái)源于對(duì)話式小說(shuō),。專家認(rèn)為,，這類軟件需要強(qiáng)化內(nèi)容審核機(jī)制，確保技術(shù)能有效篩選不良信息,。平臺(tái)應(yīng)對(duì)AI模型進(jìn)行倫理審查,，保障其生成的內(nèi)容符合相關(guān)法律法規(guī)的要求。

國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布了《移動(dòng)互聯(lián)網(wǎng)未成年人模式建設(shè)指南》,，鼓勵(lì)和支持移動(dòng)智能終端,、應(yīng)用程序和分發(fā)平臺(tái)共同參與未成年人模式建設(shè)。專家建議,，應(yīng)從分發(fā)商店和移動(dòng)終端層面限制未成年人下載和使用不適合的App,，并通過(guò)精細(xì)化的技術(shù)手段和管理措施確保青少年模式的有效實(shí)施。同時(shí),，優(yōu)化大語(yǔ)言模型的篩選機(jī)制,，從內(nèi)容圍欄開(kāi)發(fā)和事后審查兩方面著手，提升圍欄系統(tǒng)的效能,。