梳理公開(kāi)信息發(fā)現(xiàn)，一些不法分子利用“數(shù)字人”形象進(jìn)行違法活動(dòng)。張文宏、雷軍等公眾人物的形象曾被用來(lái)生成AI數(shù)字人,，用于帶貨或惡搞。有些直播間內(nèi)的AI數(shù)字人向中老年人虛假宣傳保健品,，誘導(dǎo)購(gòu)買(mǎi),。更有甚者,，一些不法分子利用AI數(shù)字人進(jìn)行敲詐,、詐騙等犯罪行為,。例如，山西忻州公安機(jī)關(guān)發(fā)現(xiàn)犯罪嫌疑人王某某利用AI技術(shù)制作合成“數(shù)字人”新聞視頻引流,，進(jìn)而進(jìn)行有償發(fā)帖、有償刪帖等敲詐勒索活動(dòng),。2024年,，江西一名65歲老人聲稱(chēng)要貸款200萬(wàn)元給男朋友“靳東”拍戲，后經(jīng)調(diào)查,，老人手機(jī)里的“靳東”視頻是AI合成的,。

重慶大學(xué)網(wǎng)絡(luò)與大數(shù)據(jù)研究院副院長(zhǎng)羅勇認(rèn)為，AI產(chǎn)業(yè)發(fā)展不能凌駕于網(wǎng)絡(luò)安全之上。對(duì)于利用AI技術(shù)生成的短視頻,，網(wǎng)絡(luò)用戶(hù)特別是未成年人和老年人由于缺乏必要的鑒別能力,，往往會(huì)信以為真，這可能產(chǎn)生負(fù)面網(wǎng)絡(luò)輿情,，甚至對(duì)網(wǎng)絡(luò)安全造成負(fù)面影響,。

當(dāng)前我國(guó)已經(jīng)出臺(tái)了《生成式人工智能服務(wù)管理暫行辦法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法規(guī)，對(duì)AI數(shù)字人和AI生成內(nèi)容的標(biāo)識(shí),、數(shù)據(jù)來(lái)源等提出了具體要求,。今年3月，國(guó)家網(wǎng)信辦等四部門(mén)聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》,，通過(guò)標(biāo)識(shí)提醒用戶(hù)辨別虛假信息,，規(guī)范內(nèi)容制作、傳播各環(huán)節(jié)標(biāo)識(shí)行為,，為規(guī)范AI生成內(nèi)容劃定紅線,。該辦法將于9月1日起施行。

中國(guó)政法大學(xué)教授鄭飛指出,，相關(guān)規(guī)定在落地過(guò)程中存在困難,。一方面，監(jiān)管和技術(shù)手段有限,，難以徹底發(fā)現(xiàn)并糾正違規(guī)行為,。例如，一些“AI起號(hào)”從業(yè)者通過(guò)預(yù)置“鏡像參數(shù)”生成極為逼真的虛擬人像,，從而逃避平臺(tái)的強(qiáng)制標(biāo)注要求,。而監(jiān)管部門(mén)特別是基層執(zhí)法部門(mén)通常面臨職責(zé)不清、執(zhí)法手段和執(zhí)法力量不足的問(wèn)題,。另一方面,，部分平臺(tái)在一定程度上“管不了”也“不想管”。平臺(tái)管理能力與技術(shù)手段欠缺,，尤其是一些小型平臺(tái),，缺乏足夠的審核人力和技術(shù)支持?！安幌牍堋眲t是因?yàn)楸澈蟮睦骝?qū)動(dòng),。未明顯標(biāo)識(shí)AI數(shù)字人或合成內(nèi)容會(huì)讓受眾誤以為是真人或真實(shí)事件，從而更容易引起人們的興趣和好奇心,，吸引更多的流量和關(guān)注,，帶來(lái)更多的商業(yè)利益。

羅勇建議,，以網(wǎng)絡(luò)社交平臺(tái)為代表的網(wǎng)絡(luò)服務(wù)提供者在AI生成內(nèi)容的應(yīng)用場(chǎng)景中,，應(yīng)當(dāng)進(jìn)一步完善用戶(hù)使用AI協(xié)議規(guī)定,，并強(qiáng)化對(duì)AI生成內(nèi)容的審核。鄭飛建議,，應(yīng)從明確標(biāo)識(shí)要求和加大責(zé)任追究?jī)煞矫姘l(fā)力,。標(biāo)識(shí)辦法明確要求，一旦檢測(cè)到AI生成內(nèi)容,，傳播平臺(tái)應(yīng)在發(fā)布內(nèi)容周邊添加顯著提示標(biāo)識(shí),，并在文件元數(shù)據(jù)中加隱式標(biāo)識(shí)，確保全流程可溯源,。在未來(lái)落實(shí)過(guò)程中,，可以進(jìn)一步細(xì)化技術(shù)標(biāo)準(zhǔn)，比如規(guī)定標(biāo)識(shí)文字的最小高度,、對(duì)比度,、展示時(shí)長(zhǎng)等，讓標(biāo)識(shí)一目了然,。另外,，對(duì)于不按規(guī)定標(biāo)注的行為，需要嚴(yán)厲處罰：除加大行政罰款,、暫停業(yè)務(wù)或納入不良信用記錄等行政措施外,，還要利用法律手段加大威懾。通過(guò)明確,、顯著的標(biāo)識(shí)標(biāo)準(zhǔn)和更嚴(yán)厲的責(zé)任追究,，才能從根本上震懾違規(guī)不標(biāo)注行為，實(shí)現(xiàn)AI數(shù)字人應(yīng)用的透明化,、合規(guī)化,。