AlphaGo Zero強(qiáng)化學(xué)習(xí)下的自我對(duì)弈,。

經(jīng)過(guò)幾天的訓(xùn)練,，AlphaGo Zero完成了近5百萬(wàn)盤(pán)的自我博弈后，已經(jīng)可以超越人類(lèi),，并擊敗了此前所有版本的AlphaGo,。DeepMind團(tuán)隊(duì)在官方博客上稱(chēng)，Zero用更新后的神經(jīng)網(wǎng)絡(luò)和搜索算法重組,，隨著訓(xùn)練地加深,，系統(tǒng)的表現(xiàn)一點(diǎn)一點(diǎn)地在進(jìn)步。自我博弈的成績(jī)也越來(lái)越好,，同時(shí)，神經(jīng)網(wǎng)絡(luò)也變得更準(zhǔn)確,。

AlphaGo Zero習(xí)得知識(shí)的過(guò)程

“這些技術(shù)細(xì)節(jié)強(qiáng)于此前版本的原因是，我們不再受到人類(lèi)知識(shí)的限制,，它可以向圍棋領(lǐng)域里最高的選手——AlphaGo自身學(xué)習(xí)?！?nbsp;AlphaGo團(tuán)隊(duì)負(fù)責(zé)人大衛(wèi)·席爾瓦（Dave Sliver）說(shuō)。

據(jù)大衛(wèi)·席爾瓦介紹,，AlphaGo Zero使用新的強(qiáng)化學(xué)習(xí)方法,，讓自己變成了老師。系統(tǒng)一開(kāi)始甚至并不知道什么是圍棋,，只是從單一神經(jīng)網(wǎng)絡(luò)開(kāi)始，通過(guò)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的搜索算法,，進(jìn)行了自我對(duì)弈。

隨著自我博弈的增加,，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整,，提升預(yù)測(cè)下一步的能力，最終贏得比賽,。更為厲害的是,，隨著訓(xùn)練的深入,，DeepMind團(tuán)隊(duì)發(fā)現(xiàn)，AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則,，并走出了新策略,，為圍棋這項(xiàng)古老游戲帶來(lái)了新的見(jiàn)解。

自學(xué)3天,，就打敗了舊版AlphaGo

除了上述的區(qū)別之外,，AlphaGo Zero還在3個(gè)方面與此前版本有明顯差別。

AlphaGo-Zero的訓(xùn)練時(shí)間軸

首先,，AlphaGo Zero僅用棋盤(pán)上的黑白子作為輸入,，而前代則包括了小部分人工設(shè)計(jì)的特征輸入。

其次,，AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò),。在此前的版本中，AlphaGo用到了“策略網(wǎng)絡(luò)”來(lái)選擇下一步棋的走法,，以及使用“價(jià)值網(wǎng)絡(luò)”來(lái)預(yù)測(cè)每一步棋后的贏家,。而在新的版本中，這兩個(gè)神經(jīng)網(wǎng)絡(luò)合二為一,，從而讓它能得到更高效的訓(xùn)練和評(píng)估,。

第三，AlphaGo Zero并不使用快速,、隨機(jī)的走子方法,。在此前的版本中，AlphaGo用的是快速走子方法,，來(lái)預(yù)測(cè)哪個(gè)玩家會(huì)從當(dāng)前的局面中贏得比賽,。相反,，新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來(lái)評(píng)估下棋的局勢(shì)。

相關(guān)報(bào)道:

• 柯潔阿爾法狗和李世石 他們的恩怨已經(jīng)延續(xù)幾十年了

• 王思聰懟柯潔之后 馬云又懟上阿爾法狗:沒(méi)意思!(圖)

• 五名九段棋手組團(tuán)迎戰(zhàn)AlphaGo：被團(tuán)滅(組圖)

• 柯潔首輪不敵阿爾法狗 明知敗局已定依然下完全局