虛擬歌手火遍全網(wǎng)技術(shù)上是如何實(shí)現(xiàn)的,?
近日,一位虛擬歌手火遍全網(wǎng),,引發(fā)了不少人的關(guān)注和討論。所謂虛擬歌手,就是通過(guò)模型訓(xùn)練和后期處理,,讓AI用明星歌手的聲音翻唱其他歌手的歌曲。從技術(shù)的角度看,,這是如何實(shí)現(xiàn)的呢,?
清華大學(xué)人工智能國(guó)際治理研究院副院長(zhǎng)人工智能治理研究中心主任梁正:基本上還是用開(kāi)源的生成式語(yǔ)音訓(xùn)練模型,運(yùn)用一些語(yǔ)音素材進(jìn)行訓(xùn)練,,而且數(shù)據(jù)量也不大,,因?yàn)樗Z(yǔ)言模型比所謂的數(shù)據(jù)量需要沒(méi)有那么大。
簡(jiǎn)單來(lái)說(shuō),,制作虛擬歌手歌曲,,首先需要獲取沒(méi)有伴奏和混響的原始聲音。這些素材可以通過(guò)去伴奏或者提取對(duì)話的方式,,從他的視頻中獲得,。然后將這些素材作為目標(biāo)音色輸入到模型中進(jìn)行訓(xùn)練,,得到一個(gè)可以生成音色的模型。接下來(lái)就可以用這個(gè)模型來(lái)轉(zhuǎn)換任意音色的歌聲,,比如林俊杰,、周杰倫、趙雷等歌手的歌曲,。最后再進(jìn)行一些后期處理和調(diào)校,,就可以得到聽(tīng)起來(lái)像歌手本人演唱的歌曲了。
目前來(lái)看,,這位虛擬歌手的作品覆蓋流行到民謠等多種風(fēng)格,。由于“AI歌手”與真人演唱的音色并無(wú)二致,一些忠實(shí)粉絲感慨,,已經(jīng)很難分清到底是歌手本人還是AI,,一些粉絲表示“連換氣聲都能清晰聽(tīng)到,咬字尾音都非常像本人,?!?/p>
AI歌手火速"出圈"背后有哪些新問(wèn)題?
AI歌手在火速“出圈”的同時(shí),,其實(shí)也衍生出了一系列的新問(wèn)題,。例如,有業(yè)界人士認(rèn)為,,訓(xùn)練AI歌手中使用的大量歌曲,,類似于訓(xùn)練ChatGPT時(shí)使用的大量素材。在未經(jīng)相關(guān)授權(quán)的情況下,,使用這些歌曲是否侵犯著作權(quán),?同時(shí),還有人提出,,AI歌手諸多音頻中都使用了原歌手的照片,,甚至部分還加入了簡(jiǎn)單的AI眨眼、擺手等動(dòng)作,,這是不是對(duì)歌手肖像權(quán)的一種侵犯呢,?不過(guò),也有歌迷表示,,AI歌手翻唱的老歌新曲,,大家就是拿來(lái)“自己聽(tīng)聽(tīng)”,又沒(méi)有進(jìn)行商業(yè)性質(zhì)交換,,這是否算不上侵權(quán),?還有一些網(wǎng)友從這起事件里看到了新的問(wèn)題,如果明星的聲音可以用來(lái)“被訓(xùn)練”,那我們普通人的聲音是否也會(huì)被利用,?我們又該如何防范這種情況的發(fā)生呢,?