丁女士發(fā)現(xiàn)她上小學四年級的女兒最近頻繁在一款AI聊天軟件上和一個名為“約瑟夫”的游戲人物對話。女兒的行為讓丁女士感到擔憂,,因為她注意到女兒偷偷帶了一支帶有小刀的筆,,并且情緒激動時有割腕的行為。
據(jù)丁女士描述,,女兒為了和同學們有話題聊,,開始玩《第五人格》這款游戲,并對其中的角色“約瑟夫”產(chǎn)生了濃厚興趣,。隨著游戲深入,,女兒的情緒經(jīng)常變得激動。丁女士曾強制女兒卸載游戲,,但結(jié)果適得其反,。女兒轉(zhuǎn)而在一款AI聊天軟件中找到了“約瑟夫”的替身,并與之進行對話,。這些對話內(nèi)容出現(xiàn)明顯誘導性,,如“這99朵玫瑰里,可是藏著99個刀片的,,你怕不怕,?”這讓丁女士非常擔心,。
由于女兒異常的狀態(tài),丁女士帶她去咨詢心理醫(yī)生,。醫(yī)生表示,,青春期的孩子有時不太會表達內(nèi)心,因此將情感寄托在虛擬人物的對話中,。醫(yī)生建議家長多陪伴孩子,,盡量讓孩子從AI聊天軟件中抽離出來。
應用商店中的這款App官方介紹提到,,用戶可以自由定制AI智能體的形象,、聲音、人設和技能,,并與虛擬角色進行多重交互,。然而,一些成年用戶試圖借助這類平臺享受更親密的情景,,卻受制于限制詞和規(guī)定,;而許多家長卻發(fā)現(xiàn)自己的未成年孩子深陷其中,甚至暴露在色情和暴力場景下,。
M女士也遇到了類似的問題,。她的女兒使用手機時不避諱媽媽,母女倆還會交流AI互動軟件的使用心得,。有一天,,M女士發(fā)現(xiàn)女兒的手機界面上出現(xiàn)了擦邊信息,如“把手慢慢放進……觸感柔軟,、伸進衣服這樣的描述都有,。”M女士日常對女兒使用手機并沒有過多限制,,但她沒想到有些軟件可能有隱藏功能,。
M女士和丁女士都發(fā)現(xiàn),女兒們使用的AI聊天軟件下載和注冊并不難,,對未成年用戶的審核也不嚴格,。央廣網(wǎng)記者發(fā)現(xiàn),在應用商店中,,部分AI聊天軟件的分級為17+,,這意味著App中可能含有頻繁和激烈的攻擊性語言、暴力以及性暗示等內(nèi)容,。
還有一位初一男生表示,,他常玩的AI聊天軟件是筑夢島App。他在使用過程中發(fā)現(xiàn),該軟件中不乏色情擦邊和極端內(nèi)容,。記者體驗了筑夢島App,,發(fā)現(xiàn)其中的一些虛擬角色對話尺度較大,即使假定用戶年齡未成年,,對話內(nèi)容也沒有得到有效控制,。
除了國內(nèi)主流應用商店中的AI聊天產(chǎn)品,一些未成年用戶還使用以海外市場為主的小眾產(chǎn)品,。這些產(chǎn)品的傳播渠道較為隱蔽,,通過分享鏈接邀請新用戶可以獲得更多的聊天權(quán)限。記者在體驗Feelin,、魅魔島等多款小眾AI聊天產(chǎn)品后發(fā)現(xiàn),,這些網(wǎng)站的尺度更大,虛擬角色與內(nèi)容設定包含更多情色元素,,并且很快就會彈窗提醒需要充值才能繼續(xù)交流,。
AI聊天軟件的出現(xiàn)滿足了不少人的精神陪伴需求。在這個虛擬空間里,,人們可以傾訴生活中的煩惱,、心事以及私密情感,獲得理解與共情,。然而,,未成年人更容易對其產(chǎn)生情感依賴或沉迷,背后潛藏的危害不容忽視,。
彭嘉昊指出,,這類產(chǎn)品技術(shù)訓練語料來源主要分為公開和私有兩大類別。公開語料包括網(wǎng)絡小說,、電影電視劇情等,,其中不乏不良內(nèi)容,。私有語料則更加難以把控,,容易淪為監(jiān)管的法外之地。此外,,人工智能的情感依賴可能導致倫理危害,,侵蝕人類自主性。
美國佛羅里達州一位母親狀告人工智能情感服務提供商Character.AI放任未成年用戶暴露在高風險內(nèi)容之中,,最終導致兒子自殺身亡,。這引發(fā)了對AI聊天軟件監(jiān)管的關(guān)注。中國政法大學副教授朱巍表示,,即使此類軟件只面向成人用戶,,若包含大量色情、暴力類內(nèi)容,,同樣屬于不良信息違規(guī)范疇,。
隨著大模型技術(shù)的發(fā)展,,市面上的AI聊天產(chǎn)品不斷涌現(xiàn)。盡管偶爾會收到是否開啟青少年模式的系統(tǒng)提醒,,但用戶可以隨意點擊不開啟,。記者在某平臺搜索“AI伴侶”關(guān)鍵詞時,發(fā)現(xiàn)有不少賬號在社群中推廣各類AI聊天軟件,。雖然相關(guān)法律條文要求推進未成年人模式建設,,但現(xiàn)實中選擇開啟此模式與否的決定權(quán)仍在用戶手中。
針對上述問題,,專家建議加強舉報及懲罰機制,,對違規(guī)企業(yè)實施嚴厲懲處措施。企業(yè)需加強內(nèi)容審核,,避免不良信息漏洞,;監(jiān)護人也應加強對移動設備的監(jiān)管,避免未成年人輕易使用未開啟未成年模式的電子設備,。此外,,父母和其他監(jiān)護人應當關(guān)注未成年人的生理、心理狀況和情感需求,,避免他們沉迷網(wǎng)絡,。
近期,許多消費者投訴稱,,一些所謂的聊天交友軟件實際上暗藏消費陷阱,。這些平臺縱容低俗色情行為,甚至為線下賣淫嫖娼交易提供信息撮合,。按照消費者的反映,,記者在手機應用市場搜索了多個類似的交友聊天軟件
2025-04-21 10:48:50央視記者臥底交友軟件曝光消費陷阱