虛擬歌手火遍全網(wǎng)技術上是如何實現(xiàn)的,?
近日,,一位虛擬歌手火遍全網(wǎng),引發(fā)了不少人的關注和討論,。所謂虛擬歌手,,就是通過模型訓練和后期處理,,讓AI用明星歌手的聲音翻唱其他歌手的歌曲。從技術的角度看,,這是如何實現(xiàn)的呢,?
清華大學人工智能國際治理研究院副院長人工智能治理研究中心主任梁正:基本上還是用開源的生成式語音訓練模型,運用一些語音素材進行訓練,,而且數(shù)據(jù)量也不大,,因為它跟語言模型比所謂的數(shù)據(jù)量需要沒有那么大。
簡單來說,,制作虛擬歌手歌曲,,首先需要獲取沒有伴奏和混響的原始聲音。這些素材可以通過去伴奏或者提取對話的方式,,從他的視頻中獲得,。然后將這些素材作為目標音色輸入到模型中進行訓練,得到一個可以生成音色的模型,。接下來就可以用這個模型來轉換任意音色的歌聲,,比如林俊杰、周杰倫,、趙雷等歌手的歌曲,。最后再進行一些后期處理和調校,就可以得到聽起來像歌手本人演唱的歌曲了,。
目前來看,,這位虛擬歌手的作品覆蓋流行到民謠等多種風格。由于“AI歌手”與真人演唱的音色并無二致,,一些忠實粉絲感慨,,已經很難分清到底是歌手本人還是AI,一些粉絲表示“連換氣聲都能清晰聽到,,咬字尾音都非常像本人,。”
AI歌手火速"出圈"背后有哪些新問題,?
AI歌手在火速“出圈”的同時,,其實也衍生出了一系列的新問題。例如,,有業(yè)界人士認為,,訓練AI歌手中使用的大量歌曲,類似于訓練ChatGPT時使用的大量素材,。在未經相關授權的情況下,,使用這些歌曲是否侵犯著作權?同時,還有人提出,,AI歌手諸多音頻中都使用了原歌手的照片,,甚至部分還加入了簡單的AI眨眼、擺手等動作,,這是不是對歌手肖像權的一種侵犯呢,?不過,也有歌迷表示,,AI歌手翻唱的老歌新曲,,大家就是拿來“自己聽聽”,又沒有進行商業(yè)性質交換,,這是否算不上侵權,?還有一些網(wǎng)友從這起事件里看到了新的問題,如果明星的聲音可以用來“被訓練”,,那我們普通人的聲音是否也會被利用,?我們又該如何防范這種情況的發(fā)生呢?