原標(biāo)題：AI“復(fù)活”張國(guó)榮，逝去16年哥哥又重生

文/金磊、小芹、張乾 來(lái)源：新智元（ID:AI_era）

【新智元導(dǎo)讀】4月1日,，張國(guó)榮“復(fù)活”了。網(wǎng)友用AI+特效技術(shù)，給張國(guó)榮換臉,，并且演唱了兩首經(jīng)典歌曲。6分鐘的“復(fù)活”視頻,，紀(jì)念哥哥,。

再次見(jiàn)到你，真好,。

4月1日愚人節(jié),，也是張國(guó)榮的忌日。今天,，在哥哥張國(guó)榮離開(kāi)的第16個(gè)年頭,，有網(wǎng)友用AI讓張國(guó)榮“復(fù)活”，并且演唱了經(jīng)典歌曲《千千闕歌》,、《玻璃之情》,。

在視頻中，AI“復(fù)活”的哥哥正在錄音棚中錄著歌曲,，開(kāi)場(chǎng)一開(kāi)口,，從唱歌的表情,、動(dòng)作都與張國(guó)榮頗為神似。網(wǎng)友們不經(jīng)大呼：“太像了”,、“淚目”,、“哭了”、“想你了,，哥哥”,。

張國(guó)榮是那般的傳奇,，芳華絕代,，盡管去世16年，但每年的4月1日,，人們一直想努力把他的每一面都留下來(lái),，今年是AI。

AI“復(fù)活”張國(guó)榮6分鐘

這段視頻長(zhǎng)達(dá)6分鐘,，“張國(guó)榮”分別穿著兩套衣服唱完兩首歌,，而這些鏡頭，也讓網(wǎng)友們不禁感慨：他仿佛從未離開(kāi)過(guò),。

而在錄制第二首歌曲時(shí),，出現(xiàn)了一個(gè)特別有意思的鏡頭：哥哥竟然在直播,！

新智元了解到,，“復(fù)活”張國(guó)榮視頻的作者是來(lái)自B站的Up主QuantumLiu（知乎“天清”）,，目前在國(guó)內(nèi)視覺(jué)特效公司Studio51做技術(shù)。

據(jù)該Up主描述,，張國(guó)榮的視頻使用了自主研發(fā)的AI換臉技術(shù)，清晰度,、還原度均領(lǐng)先于業(yè)內(nèi)其他使用Deepfakes的效果,，張國(guó)榮視頻的分辨率也達(dá)到了1080P。

QuantumLiu告訴新智元,，換臉視頻中的男生跟張國(guó)榮長(zhǎng)相差距很大,，“是個(gè)北方漢子”，但是歌曲是“北方漢子”原聲,，沒(méi)有用張國(guó)榮的原聲,，也沒(méi)經(jīng)過(guò)處理。

這個(gè)6分鐘左右的視頻,，從拍攝和錄音,、剪輯，前后花了一個(gè)多星期左右時(shí)間,，積累的原素材大概是20分鐘,，做換臉真正的運(yùn)算時(shí)間只有8個(gè)小時(shí)左右。

“我們用的是變分自動(dòng)編碼器,，借鑒了deepfakes的思路,，但是解決了很多問(wèn)題，比如高質(zhì)量數(shù)據(jù),，魯棒性,，訓(xùn)練速度，分布式訓(xùn)練,，還結(jié)合公司特效業(yè)務(wù)的經(jīng)驗(yàn),，優(yōu)化了合成環(huán)節(jié)，讓放回視頻里的人臉融合得更自然,。相比于其他使用開(kāi)源程序的愛(ài)好者,，我們是一個(gè)即將商用的系統(tǒng)，高達(dá)1080p+的分辨率是其他人做不到的,。”

QuantumLiu說(shuō),，下一步,，公司會(huì)利用高清的優(yōu)勢(shì)和在影視行業(yè)的業(yè)務(wù)，進(jìn)軍影視級(jí)別高清換臉,，并開(kāi)發(fā)換臉開(kāi)放平臺(tái),，讓所有人都可以玩轉(zhuǎn)視頻換臉。

朱茵變楊冪,，分辨率低好操作

其實(shí),，AI換臉并不是非常新鮮的技術(shù)了。前一陣子便有朱茵變楊冪,，海王變徐錦江的相關(guān)報(bào)道,。

《射雕英雄傳》中,，朱茵變楊冪

海王變徐錦江

這些技術(shù)的背后,，是2017年年底的Deepfakes軟件帶來(lái)的結(jié)果。當(dāng)時(shí)Reddit用戶(hù)Deepfakes,，將《神奇女俠》的女主角蓋爾·加朵,、以及艾瑪沃森、斯嘉麗等眾多女明星的臉跟AV女優(yōu)進(jìn)行了交換,，制作出足以以假亂真的愛(ài)情動(dòng)作片,。

不過(guò)，QuantumLiu認(rèn)為,，目前的網(wǎng)上的作品都是用一個(gè)基礎(chǔ)fakeapp軟件去做的,，純娛樂(lè)，所以只能找那些很低分辨率的片段去更換（比如朱茵變楊冪）,。

國(guó)內(nèi)也有過(guò)銀幕上的換臉,。在2017年科幻喜劇《不可思異》中，當(dāng)時(shí)由于演員的原因,，片方不得不臨時(shí)換角,，由大鵬代替杜汶澤所有戲份，進(jìn)行了一次“特效換臉”手術(shù),。

但這次換臉，是用通過(guò)純手工的方式一幀幀地修改畫(huà)面,，耗時(shí)將近6個(gè)月,，才將影片中所有的鏡頭都換完。在價(jià)格上,，可以說(shuō)是“一秒千金”,。

而AI換臉和后期換臉有著根本區(qū)別,。后者還需要各種建模,，以及一楨一楨的修改，前者在操作上只需要提供足夠多的素材讓機(jī)器學(xué)習(xí),。

另外,，目前以fakeApp為代表的應(yīng)用存在分辨率低、效果不穩(wěn)定,、渲染時(shí)間長(zhǎng)的問(wèn)題,。QuantumLiu介紹，用AI和特效技術(shù)解決連續(xù)針斷點(diǎn)再融入難題,，one shot面部自適應(yīng),，機(jī)器自主學(xué)習(xí)光感和畫(huà)面匹配度，每一次的訓(xùn)練都會(huì)自動(dòng)疊帶,，成功率,，效果和渲染速度大幅提高，動(dòng)態(tài)視頻的切換更加完美的匹配,。目前已經(jīng)取得了高分辨率光感匹配的突破和疊加式渲染的突破,。已經(jīng)可以在幾個(gè)小時(shí)內(nèi)完成一整部片的替換，而且計(jì)算機(jī)學(xué)習(xí)的速度越來(lái)越快，時(shí)間周期還在不斷的縮短,，品質(zhì)不斷提高,。

Deepfakes技術(shù)詳解

QuantumLiu將在近期發(fā)布張國(guó)榮“復(fù)活”視頻的具體實(shí)現(xiàn)方法，在他發(fā)布之前,，我們先來(lái)了解下Deepfakes的技術(shù)內(nèi)容,。

Deepfakes使用生成對(duì)抗網(wǎng)絡(luò)(GAN),，其中兩個(gè)機(jī)器學(xué)習(xí)模型進(jìn)行了較量,。一個(gè)ML模型在數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后創(chuàng)建偽造的視頻,，而另一個(gè)模型嘗試檢測(cè)偽造,。偽造者創(chuàng)建假視頻，直到另一個(gè)ML模型無(wú)法檢測(cè)到偽造,。訓(xùn)練數(shù)據(jù)集越大,，偽造者越容易創(chuàng)建可信的deepfake視頻。

上圖顯示了一個(gè)圖像(在本例中是一張臉)被輸入到編碼器(encoder)中,。其結(jié)果是同一張臉的低維表示，有時(shí)被稱(chēng)為latent face,。根據(jù)網(wǎng)絡(luò)架構(gòu)的不同,，latent face可能根本不像人臉。當(dāng)通過(guò)解碼器(decoder)時(shí),，latent face被重建,。自動(dòng)編碼器是有損的，因此重建的臉不太可能有原來(lái)的細(xì)節(jié)水平,。

程序員可以完全控制網(wǎng)絡(luò)的形狀：有多少層,，每層有多少節(jié)點(diǎn)，以及它們?nèi)绾芜B接,。網(wǎng)絡(luò)的真實(shí)知識(shí)存儲(chǔ)在連接節(jié)點(diǎn)的邊緣,。每條邊都有一個(gè)權(quán)重，找到使自動(dòng)編碼器能夠像描述的那樣工作的正確權(quán)重集是一個(gè)耗時(shí)的過(guò)程,。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)意味著優(yōu)化其權(quán)重以達(dá)到特定的目標(biāo),。在傳統(tǒng)的自動(dòng)編碼器的情況下，網(wǎng)絡(luò)的性能取決于它如何根據(jù)其潛在空間的表示重建原始圖像,。

訓(xùn)練Deepfakes

需要注意的是,，如果我們單獨(dú)訓(xùn)練兩個(gè)自動(dòng)編碼器，它們將互不兼容,。latent faces基于每個(gè)網(wǎng)絡(luò)在其訓(xùn)練過(guò)程中認(rèn)為有意義的特定特征,。但是如果將兩個(gè)自動(dòng)編碼器分別在不同的人臉上訓(xùn)練，它們的潛在空間將代表不同的特征,。

使人臉交換技術(shù)成為可能的是找到一種方法來(lái)強(qiáng)制將兩個(gè)潛在的人臉在相同的特征上編碼,。Deepfakes通過(guò)讓兩個(gè)網(wǎng)絡(luò)共享相同的編碼器,，然后使用兩個(gè)不同的解碼器來(lái)解決這個(gè)問(wèn)題。

在訓(xùn)練階段,，這兩個(gè)網(wǎng)絡(luò)需要分開(kāi)處理。解碼器A僅用A的人臉來(lái)訓(xùn)練,；解碼器B只用B的人臉來(lái)訓(xùn)練,，但是所有的latent face都是由同一個(gè)編碼器產(chǎn)生的。這意味著編碼器本身必須識(shí)別兩個(gè)人臉中的共同特征,。因?yàn)樗械娜四樁季哂邢嗨频慕Y(jié)構(gòu),，所以編碼器學(xué)習(xí)“人臉”本身的概念是合理的。

生成Deepfakes

當(dāng)訓(xùn)練過(guò)程完成后,，我們可以將A生成的一個(gè)latent face傳遞給解碼器B,。如下圖所示，解碼器B將嘗試從與A相關(guān)的信息中重構(gòu)B,。

如果網(wǎng)絡(luò)已經(jīng)很好地概括了人臉的構(gòu)成，那么潛在空間將表示面部表情和方向,。這意味著可以為B生成與A的表情和方向相同的人臉,。請(qǐng)看下面的動(dòng)圖。左邊,，UI藝術(shù)家Anisa Sanusi的臉被從一個(gè)視頻中提取并對(duì)齊,。右邊，一個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)正在重建游戲設(shè)計(jì)師Henry Hoffman的臉,，以匹配Anisa的表情,。

顯然,，Deepfakes背后的技術(shù)并不受人臉的限制,。例如，它可以用來(lái)把蘋(píng)果變成獼猴桃,。

重要的是，訓(xùn)練中使用的兩個(gè)主體要有盡可能多的相似之處,。這是為了確保共享編碼器能夠泛化易于傳輸?shù)挠幸饬x的特性,。雖然這項(xiàng)技術(shù)對(duì)人臉和水果都有效，但不太可能將人臉變成水果,。

若是你的記憶中也有哥哥的身影,，那就分享這篇文章，讓更多的人看到哥哥的視頻吧！