與孩子聊天的AI人設(shè)是出軌對象家長擔(dān)憂內(nèi)容不當(dāng)影響

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-11-25 08:00:00 光明網(wǎng)

一位家長表示，她的女兒上小學(xué)二年級,，沉迷于一款A(yù)I劇情聊天軟件,，導(dǎo)致學(xué)習(xí)成績大幅下滑。另一位家長發(fā)現(xiàn),，孩子與AI角色的對話中出現(xiàn)了不適宜的內(nèi)容,，如讓10歲的女兒稱呼AI為“老公”,。這些情況引起了家長們的擔(dān)憂,。

調(diào)查發(fā)現(xiàn)，不少家長正被AI劇情聊天軟件所困擾,。這些應(yīng)用以“角色扮演”等名義吸引未成年人，但也滋生了一些灰色地帶,。實(shí)測顯示,，部分AI劇情聊天軟件的對話中出現(xiàn)了色情擦邊、語言暴力以及侮辱用戶的內(nèi)容,。

北京市民馬先生的兒子今年10歲,，非常喜歡使用AI劇情聊天軟件。馬先生發(fā)現(xiàn),，孩子在與軟件中的虛擬人物聊天，這些人物有不同的設(shè)定和性格，有的會主動提出約會請求,，有的則表現(xiàn)出攻擊性，發(fā)送侮辱性的信息,。

來自浙江的李女士也發(fā)現(xiàn)了類似問題,。她的小學(xué)五年級的孩子使用的AI聊天軟件中，聊天對象可以設(shè)置為“出軌對象”,，并能進(jìn)行擁抱,、親吻等行為。家長們對這些內(nèi)容可能損害未成年人心理健康表達(dá)了深切憂慮,，并質(zhì)疑青少年模式的有效性,。

盡管一些平臺聲稱推出了青少年模式，但在實(shí)際操作中,，未成年人可以輕易繞過這些限制,，接觸到不適宜的內(nèi)容。記者體驗了幾款A(yù)I聊天應(yīng)用程序和網(wǎng)頁,，發(fā)現(xiàn)注冊過程簡單，無需驗證用戶身份信息,。部分應(yīng)用雖有青少年模式,，但用戶只需點(diǎn)擊“不開啟”即可跳過,，且無須核實(shí)用戶真實(shí)身份。

此外,，一些AI劇情聊天軟件通過充值機(jī)制吸引未成年人消費(fèi),。例如，用戶可以通過充值VIP會員或購買虛擬鉆石來增強(qiáng)智能體的記憶力,、加速回復(fù)速度,、解鎖語音通話功能等。這種機(jī)制使得未成年人在未經(jīng)父母同意的情況下頻繁充值消費(fèi),。

業(yè)內(nèi)人士指出,，AI劇情聊天實(shí)際上是互聯(lián)網(wǎng)語COSPLAY的升級版，背后的大語言模型數(shù)據(jù)主要來源于對話式小說,。專家認(rèn)為,，這類軟件需要強(qiáng)化內(nèi)容審核機(jī)制，確保技術(shù)能有效篩選不良信息,。平臺應(yīng)對AI模型進(jìn)行倫理審查,，保障其生成的內(nèi)容符合相關(guān)法律法規(guī)的要求。

國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《移動互聯(lián)網(wǎng)未成年人模式建設(shè)指南》,，鼓勵和支持移動智能終端,、應(yīng)用程序和分發(fā)平臺共同參與未成年人模式建設(shè)。專家建議,，應(yīng)從分發(fā)商店和移動終端層面限制未成年人下載和使用不適合的App,，并通過精細(xì)化的技術(shù)手段和管理措施確保青少年模式的有效實(shí)施。同時,，優(yōu)化大語言模型的篩選機(jī)制,，從內(nèi)容圍欄開發(fā)和事后審查兩方面著手，提升圍欄系統(tǒng)的效能,。

(責(zé)任編輯：張小花 TT1000)

關(guān)閉

與孩子聊天的AI人設(shè)是出軌對象 家長擔(dān)憂內(nèi)容不當(dāng)影響

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

與孩子聊天的AI人設(shè)是出軌對象家長擔(dān)憂內(nèi)容不當(dāng)影響