2024圖靈獎(jiǎng)出爐,，ChatGPT、DeepSeek背后功臣戴上遲來的冠冕,！2024年圖靈獎(jiǎng)授予了強(qiáng)化學(xué)習(xí)領(lǐng)域的兩位先驅(qū)——Andrew G. Barto和Richard S. Sutton,，以表彰他們?cè)谶@一領(lǐng)域奠定的概念和算法基礎(chǔ)。他們的貢獻(xiàn)為創(chuàng)建智能系統(tǒng)提供了重要方法,。

Barto和Sutton從1980年代開始的一系列論文中引入了強(qiáng)化學(xué)習(xí)的核心理念,，構(gòu)建了數(shù)學(xué)基礎(chǔ),，并開發(fā)了關(guān)鍵算法。1998年,，他們合著的《強(qiáng)化學(xué)習(xí)導(dǎo)論》至今仍被視為該領(lǐng)域的奠基之作,，被引用超過75,000次。

目前,，Barto是馬薩諸塞大學(xué)阿姆赫斯特分校信息與計(jì)算機(jī)科學(xué)系的名譽(yù)教授，而Sutton則是阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)教授,、Keen Technologies的首席研究員以及阿爾伯塔機(jī)器智能研究所的特聘研究員,。得知獲獎(jiǎng)消息時(shí)，Sutton感到非常震驚,。

Sutton長期思考如何讓機(jī)器學(xué)習(xí)的問題,，他認(rèn)為研究必須從小處著手,，基礎(chǔ)研究不會(huì)立即帶來明顯的技術(shù)改進(jìn)。早在1978年,，Sutton在攻讀博士學(xué)位期間就開始與導(dǎo)師Barto合作,。他們編寫了一些最早的強(qiáng)化學(xué)習(xí)算法，使機(jī)器通過反復(fù)試錯(cuò)獲取知識(shí),。

盡管Sutton對(duì)大語言模型（LLM）持批評(píng)態(tài)度,，認(rèn)為它們只是模仿人類行為而不真正理解自己的行動(dòng),，但他依然堅(jiān)守基礎(chǔ)研究。在他看來,，真正的智能系統(tǒng)應(yīng)該能夠從經(jīng)驗(yàn)中學(xué)習(xí)并調(diào)整行為,。Sutton的前同事Michael Bowling評(píng)價(jià)他是一位堅(jiān)持基礎(chǔ)研究的人。

近年來，強(qiáng)化學(xué)習(xí)越來越受到重視,。例如,，DeepSeek就利用正反饋循環(huán)來訓(xùn)練AI。Sutton謙遜且不事張揚(yáng),，他將自己視為一個(gè)強(qiáng)化學(xué)習(xí)智能體,，通過經(jīng)驗(yàn)不斷學(xué)習(xí)。

強(qiáng)化學(xué)習(xí)是指在獎(jiǎng)勵(lì)信號(hào)引導(dǎo)下找到更好行動(dòng)方案的過程。這一理念借鑒了心理學(xué)和神經(jīng)科學(xué)中的獎(jiǎng)勵(lì)機(jī)制,。Barto和Sutton借鑒了馬爾可夫決策過程（MDP）的數(shù)學(xué)基礎(chǔ),，提出了時(shí)間差分學(xué)習(xí)等基本算法。這些算法結(jié)合深度學(xué)習(xí)技術(shù),，在過去十五年中取得了重大突破,，如AlphaGo戰(zhàn)勝圍棋高手和ChatGPT的出現(xiàn),。

Barto是IEEE和AAAS的Fellow,，曾獲得多項(xiàng)獎(jiǎng)項(xiàng)。Sutton也是多個(gè)學(xué)術(shù)組織的Fellow,，曾在DeepMind擔(dān)任杰出研究科學(xué)家,，并獲得了多個(gè)榮譽(yù)。