阿爾法狗再進(jìn)化碾壓舊狗 不再受人類(lèi)知識(shí)限制

原標(biāo)題：阿爾法狗再進(jìn)化自學(xué)3天就100：0碾壓李世石版舊狗

倫敦當(dāng)?shù)貢r(shí)間10月18日18：00(北京時(shí)間19日01：00),，AlphaGo再次登上世界頂級(jí)科學(xué)雜志——《自然》。

一年多前,，AlphaGo便是2016年1月28日當(dāng)期的封面文章,，Deepmind公司發(fā)表重磅論文,，介紹了這個(gè)擊敗歐洲圍棋冠軍樊麾的人工智能程序,。

今年5月，以3:0的比分贏下中國(guó)棋手柯潔后,，AlphaGo宣布退役,，但DeepMind公司并沒(méi)有停下研究的腳步。倫敦當(dāng)?shù)貢r(shí)間10月18日,，DeepMind團(tuán)隊(duì)公布了最強(qiáng)版AlphaGo ,，代號(hào)AlphaGo Zero。它的獨(dú)門(mén)秘籍,，是“自學(xué)成才”,。而且，是從一張白紙開(kāi)始,，零基礎(chǔ)學(xué)習(xí),，在短短3天內(nèi)，成為頂級(jí)高手,。

團(tuán)隊(duì)稱(chēng),，AlphaGo Zero的水平已經(jīng)超過(guò)之前所有版本的AlphaGo。在對(duì)陣曾贏下韓國(guó)棋手李世石那版AlphaGo時(shí),，AlphaGo Zero取得了100:0的壓倒性戰(zhàn)績(jī),。DeepMind團(tuán)隊(duì)將關(guān)于AlphaGo Zero的相關(guān)研究以論文的形式，刊發(fā)在了10月18日的《自然》雜志上。

“AlphaGo在兩年內(nèi)達(dá)到的成績(jī)令人震驚?，F(xiàn)在,，AlphaGoZero是我們最強(qiáng)版本，它提升了很多,。Zero提高了計(jì)算效率,，并且沒(méi)有使用到任何人類(lèi)圍棋數(shù)據(jù)，”AlphaGo之父,、DeepMind聯(lián)合創(chuàng)始人兼CEO戴密斯?哈薩比斯(DemisHassabis)說(shuō),，“最終，我們想要利用它的算法突破,，去幫助解決各種緊迫的現(xiàn)實(shí)世界問(wèn)題,，如蛋白質(zhì)折疊或設(shè)計(jì)新材料。如果我們通過(guò)AlphaGo,，可以在這些問(wèn)題上取得進(jìn)展,，那么它就有潛力推動(dòng)人們理解生命，并以積極的方式影響我們的生活,?！?/p>

不再受人類(lèi)知識(shí)限制，只用4個(gè)TPU

AlphaGo此前的版本,，結(jié)合了數(shù)百萬(wàn)人類(lèi)圍棋專(zhuān)家的棋譜,，以及強(qiáng)化學(xué)習(xí)的監(jiān)督學(xué)習(xí)進(jìn)行了自我訓(xùn)練。

在戰(zhàn)勝人類(lèi)圍棋職業(yè)高手之前,，它經(jīng)過(guò)了好幾個(gè)月的訓(xùn)練,，依靠的是多臺(tái)機(jī)器和48個(gè)TPU(谷歌專(zhuān)為加速深層神經(jīng)網(wǎng)絡(luò)運(yùn)算能力而研發(fā)的芯片)。

AlphaGoZero的能力則在這個(gè)基礎(chǔ)上有了質(zhì)的提升,。最大的區(qū)別是,，它不再需要人類(lèi)數(shù)據(jù)。也就是說(shuō),，它一開(kāi)始就沒(méi)有接觸過(guò)人類(lèi)棋譜,。研發(fā)團(tuán)隊(duì)只是讓它自由隨意地在棋盤(pán)上下棋，然后進(jìn)行自我博弈,。值得一提的是,，AlphaGoZero還非?！暗吞肌?，只用到了一臺(tái)機(jī)器和4個(gè)TPU，極大地節(jié)省了資源,。

AlphaGo Zero強(qiáng)化學(xué)習(xí)下的自我對(duì)弈,。

經(jīng)過(guò)幾天的訓(xùn)練,，AlphaGoZero完成了近5百萬(wàn)盤(pán)的自我博弈后,，已經(jīng)可以超越人類(lèi)，并擊敗了此前所有版本的AlphaGo,。DeepMind團(tuán)隊(duì)在官方博客上稱(chēng),，Zero用更新后的神經(jīng)網(wǎng)絡(luò)和搜索算法重組，隨著訓(xùn)練地加深,，系統(tǒng)的表現(xiàn)一點(diǎn)一點(diǎn)地在進(jìn)步,。自我博弈的成績(jī)也越來(lái)越好，同時(shí),，神經(jīng)網(wǎng)絡(luò)也變得更準(zhǔn)確,。

AlphaGo Zero習(xí)得知識(shí)的過(guò)程

“這些技術(shù)細(xì)節(jié)強(qiáng)于此前版本的原因是，我們不再受到人類(lèi)知識(shí)的限制,，它可以向圍棋領(lǐng)域里最高的選手——AlphaGo自身學(xué)習(xí),。” AlphaGo團(tuán)隊(duì)負(fù)責(zé)人大衛(wèi)?席爾瓦(Dave Sliver)說(shuō),。

據(jù)大衛(wèi)?席爾瓦介紹，AlphaGoZero使用新的強(qiáng)化學(xué)習(xí)方法,，讓自己變成了老師,。系統(tǒng)一開(kāi)始甚至并不知道什么是圍棋，只是從單一神經(jīng)網(wǎng)絡(luò)開(kāi)始,，通過(guò)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的搜索算法,，進(jìn)行了自我對(duì)弈。

隨著自我博弈的增加,，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整,，提升預(yù)測(cè)下一步的能力,，最終贏得比賽,。更為厲害的是，隨著訓(xùn)練的深入,，DeepMind團(tuán)隊(duì)發(fā)現(xiàn),，AlphaGoZero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略,，為圍棋這項(xiàng)古老游戲帶來(lái)了新的見(jiàn)解,。

自學(xué)3天，就打敗了舊版AlphaGo

除了上述的區(qū)別之外,，AlphaGo Zero還在3個(gè)方面與此前版本有明顯差別,。

AlphaGo-Zero的訓(xùn)練時(shí)間軸

首先，AlphaGo Zero僅用棋盤(pán)上的黑白子作為輸入,，而前代則包括了小部分人工設(shè)計(jì)的特征輸入,。

其次,，AlphaGoZero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中,，AlphaGo用到了“策略網(wǎng)絡(luò)”來(lái)選擇下一步棋的走法,，以及使用“價(jià)值網(wǎng)絡(luò)”來(lái)預(yù)測(cè)每一步棋后的贏家。而在新的版本中,，這兩個(gè)神經(jīng)網(wǎng)絡(luò)合二為一,，從而讓它能得到更高效的訓(xùn)練和評(píng)估。

第三,，AlphaGoZero并不使用快速,、隨機(jī)的走子方法。在此前的版本中,，AlphaGo用的是快速走子方法,，來(lái)預(yù)測(cè)哪個(gè)玩家會(huì)從當(dāng)前的局面中贏得比賽。相反,，新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來(lái)評(píng)估下棋的局勢(shì),。

AlphaGo幾個(gè)版本的排名情況。

據(jù)哈薩比斯和席爾瓦介紹,，以上這些不同幫助新版AlphaGo在系統(tǒng)上有了提升,，而算法的改變讓系統(tǒng)變得更強(qiáng)更有效。

經(jīng)過(guò)短短3天的自我訓(xùn)練,，AlphaGo Zero就強(qiáng)勢(shì)打敗了此前戰(zhàn)勝李世石的舊版AlphaGo,，戰(zhàn)績(jī)是100:0的。經(jīng)過(guò)40天的自我訓(xùn)練,，AlphaGo Zero又打敗了AlphaGo Master版本,。“Master”曾擊敗過(guò)世界頂尖的圍棋選手,，甚至包括世界排名第一的柯潔,。

對(duì)于希望利用人工智能推動(dòng)人類(lèi)社會(huì)進(jìn)步為使命的DeepMind來(lái)說(shuō)，圍棋并不是AlphaGo的終極奧義,，他們的目標(biāo)始終是要利用AlphaGo打造通用的,、探索宇宙的終極工具。AlphaGoZero的提升,，讓DeepMind看到了利用人工智能技術(shù)改變?nèi)祟?lèi)命運(yùn)的突破,。他們目前正積極與英國(guó)醫(yī)療機(jī)構(gòu)和電力能源部門(mén)合作，提高看病效率和能源效率,。

相關(guān)報(bào)道:

• 柯潔阿爾法狗和李世石 他們的恩怨已經(jīng)延續(xù)幾十年了

• 王思聰懟柯潔之后 馬云又懟上阿爾法狗:沒(méi)意思!(圖)

• 五名九段棋手組團(tuán)迎戰(zhàn)AlphaGo：被團(tuán)滅(組圖)

• 柯潔首輪不敵阿爾法狗 明知敗局已定依然下完全局