換臉擬聲合成視頻的現(xiàn)象引發(fā)了廣泛關(guān)注。全國人大代表雷軍提到,,網(wǎng)上出現(xiàn)了大量使用他的聲音和人臉制作的內(nèi)容,,起初他覺得這是網(wǎng)民的娛樂行為,,但當(dāng)內(nèi)容變得低劣且數(shù)量龐大時(shí),,情況變得難以控制。
除了雷軍,,AI技術(shù)也被用來偽造其他名人的形象進(jìn)行虛假宣傳,例如劉德華,、張文宏醫(yī)生和工程院院士張伯禮甚至被用于帶貨直播,。中國政法大學(xué)副教授朱巍指出,根據(jù)民法典的規(guī)定,,未經(jīng)允許使用他人的人臉信息和聲音信息進(jìn)行深度合成是違法的,,這些都屬于個(gè)人的人格權(quán)利。
針對濫用AI技術(shù)偽造名人形象開展帶貨營銷的問題,,網(wǎng)信部門持續(xù)督促各網(wǎng)站平臺進(jìn)行巡查處置,。近一個(gè)月內(nèi),重點(diǎn)網(wǎng)站平臺累計(jì)處置了797個(gè)違法違規(guī)賬號和店鋪,。
AI換臉和語音合成技術(shù)還被用于詐騙,。內(nèi)蒙古警方破獲的一起案件中,福建某科技公司老板郭先生在視頻通話中看到“好友”的面容,,在10分鐘內(nèi)被騙轉(zhuǎn)賬430萬元,,事后發(fā)現(xiàn)對方竟是AI換臉與擬聲技術(shù)合成的“數(shù)字替身”。在上海,,劉先生因網(wǎng)絡(luò)交友被騙取20萬元,,調(diào)查發(fā)現(xiàn)該團(tuán)伙使用AI生成虛假照片實(shí)施婚戀詐騙,涉案金額超過200萬元,。
記者體驗(yàn)了一次AI“深度偽造”,,技術(shù)人員通過記者的證件照片和錄制的聲音樣本,不到兩分鐘就生成了一段記者的換臉和聲音合成視頻,。購物平臺上也有商家提供類似服務(wù),,價(jià)格從20元到50元不等。記者嘗試后發(fā)現(xiàn),,只需提供一分鐘的語音素材,,就能定制出任何想要的聲音。
針對AI深度合成作品,,法律法規(guī)有明確規(guī)定,。2023年施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》要求,不得利用深度合成服務(wù)制作,、復(fù)制,、發(fā)布、傳播法律禁止的信息,。即將于9月1日實(shí)施的《人工智能生成合成內(nèi)容標(biāo)識辦法》也提出,,對AI生成合成內(nèi)容要進(jìn)行標(biāo)識,防止誤導(dǎo)性信息傳播,。
中國政法大學(xué)副教授朱巍表示,,未經(jīng)授權(quán)使用他人肖像和聲音并對外發(fā)布是一種侵權(quán)行為,,可能需要承擔(dān)損害賠償?shù)确韶?zé)任。如果編輯后的視頻內(nèi)容違反網(wǎng)絡(luò)安全法,,當(dāng)事人還可能面臨刑事責(zé)任,。中國計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)安全專業(yè)委員會(huì)委員呂延輝建議,應(yīng)從法律,、平臺和公眾多個(gè)層面綜合施策,,進(jìn)一步完善相關(guān)立法,細(xì)化AI克隆技術(shù)的法律條款,,明確侵權(quán)行為的定義和責(zé)任,,同時(shí)加強(qiáng)執(zhí)法力度。