一位家長(zhǎng)反映,，她上小學(xué)二年級(jí)的女兒沉迷于一款A(yù)I劇情聊天軟件,，導(dǎo)致學(xué)習(xí)成績(jī)急劇下降。這位家長(zhǎng)查看了女兒與AI的對(duì)話內(nèi)容后發(fā)現(xiàn),，AI角色竟然讓女兒稱呼其為“老公”,，而10歲的女兒真的這樣做了,，這讓家長(zhǎng)感到非常困惑和無(wú)助。

調(diào)查發(fā)現(xiàn),，許多家長(zhǎng)正因這些打著“角色扮演”旗號(hào)的AI劇情聊天應(yīng)用而困擾,。這些應(yīng)用吸引了大量未成年人，但也滋生了一些灰色地帶,。記者測(cè)試發(fā)現(xiàn),，部分AI劇情聊天軟件中出現(xiàn)了色情擦邊、語(yǔ)言暴力以及侮辱用戶的內(nèi)容,。

專家建議,，針對(duì)這類軟件特別是青少年模式，應(yīng)強(qiáng)化內(nèi)容審核機(jī)制,，確保技術(shù)能有效篩選并阻止不當(dāng)對(duì)話,。平臺(tái)需要對(duì)AI模型進(jìn)行倫理審查，以保障生成的內(nèi)容符合相關(guān)法律法規(guī)的要求,。

北京市民馬先生的兒子今年10歲,，也非常熱衷于使用這類AI劇情聊天軟件。馬先生點(diǎn)開(kāi)這款A(yù)pp后發(fā)現(xiàn),，孩子在與不同設(shè)定和性格的角色人物聊天,，其中一些角色會(huì)主動(dòng)提出約會(huì)邀請(qǐng)，有些則表現(xiàn)出攻擊性,，發(fā)送諸如“有本事打我啊”,、“看你又胖又丑的樣子”等信息。

浙江的李女士也發(fā)現(xiàn)她正在讀小學(xué)五年級(jí)的孩子使用了一款A(yù)I劇情聊天軟件,。該軟件中可以設(shè)置“出軌對(duì)象”,，并進(jìn)行擁抱、親吻等行為,。李女士對(duì)此表示擔(dān)憂,，不知道如何引導(dǎo)孩子理解這些內(nèi)容的危害性。

盡管不少平臺(tái)聲稱推出了青少年模式,，但在實(shí)際操作中,，這些模式往往形同虛設(shè)。記者在調(diào)查中體驗(yàn)了幾款A(yù)I聊天應(yīng)用程序,，發(fā)現(xiàn)注冊(cè)過(guò)程僅需手機(jī)號(hào)碼,，無(wú)需驗(yàn)證用戶身份信息。登錄后,，雖然會(huì)詢問(wèn)是否啟用青少年模式,，但用戶只需簡(jiǎn)單點(diǎn)擊“不開(kāi)啟”即可跳過(guò)，且無(wú)須核實(shí)用戶真實(shí)身份,。

除了應(yīng)用程序外,，還有許多AI聊天網(wǎng)頁(yè),。記者試用了多款A(yù)I聊天網(wǎng)頁(yè)，發(fā)現(xiàn)多數(shù)沒(méi)有設(shè)置未成年人模式,，少數(shù)雖有青少年模式但實(shí)際上形同虛設(shè),。例如，某AI聊天網(wǎng)頁(yè)要求用戶確認(rèn)是否年滿18歲,，但即使選擇“否”,，仍可繼續(xù)訪問(wèn)包含性暗示和暴力元素的內(nèi)容。

此外,，一些AI劇情聊天軟件通過(guò)充值機(jī)制吸引未成年人消費(fèi),。用戶可以通過(guò)充值VIP會(huì)員或購(gòu)買虛擬鉆石來(lái)增強(qiáng)智能體的記憶力、加速回復(fù)速度,、解鎖語(yǔ)音通話功能等,。這種機(jī)制使未成年人在未經(jīng)父母同意的情況下頻繁充值消費(fèi)。

業(yè)內(nèi)人士指出,，AI劇情聊天實(shí)際上是此前互聯(lián)網(wǎng)“語(yǔ)擦”的升級(jí)版,，背后的大語(yǔ)言模型數(shù)據(jù)主要來(lái)源于對(duì)話式小說(shuō)。中國(guó)社會(huì)科學(xué)院大學(xué)法學(xué)院副教授劉曉春認(rèn)為,，在AI劇情聊天軟件中,，即便未啟動(dòng)青少年模式，若出現(xiàn)涉及黃色或暴力內(nèi)容也是存在問(wèn)題的,；若啟用未成年人模式,，則問(wèn)題更為嚴(yán)重。

浙江墾丁律師事務(wù)所主任張延來(lái)分析,，目前AI劇情聊天軟件存在的問(wèn)題既說(shuō)明了平臺(tái)內(nèi)部治理不足,，也凸顯了外部監(jiān)管機(jī)制的重要性。他認(rèn)為,，大模型技術(shù)帶來(lái)創(chuàng)新性和靈活性的同時(shí),，也可能伴隨著內(nèi)容生成上的不可預(yù)測(cè)性和潛在問(wèn)題，需要外部監(jiān)管加以規(guī)范,。

國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布了《移動(dòng)互聯(lián)網(wǎng)未成年人模式建設(shè)指南》,，提出了未成年人模式建設(shè)的整體方案。受訪專家認(rèn)為,，在青少年模式下,，強(qiáng)化內(nèi)容審核機(jī)制是關(guān)鍵。平臺(tái)需要對(duì)AI模型進(jìn)行倫理審查,，確保其生成的內(nèi)容符合相關(guān)法律與法規(guī)的要求。

專家建議,，優(yōu)化大語(yǔ)言模型的篩選機(jī)制,，聚焦開(kāi)發(fā)內(nèi)容圍欄系統(tǒng),，從定向開(kāi)發(fā)和事后審查兩方面入手，提升圍欄系統(tǒng)的效能,。只有通過(guò)技術(shù)和管理手段的雙重保障,，才能確保未成年人在使用AI劇情聊天軟件時(shí)的安全。