5月17日消息,，AI教父Geoffrey Hinton接受訪談,。對(duì)談不僅涉及Hinton對(duì)大型神經(jīng)網(wǎng)絡(luò)、多模態(tài)學(xué)習(xí),、模擬計(jì)算、AI安全等技術(shù)發(fā)展的看法,，還有其接觸人工智能的經(jīng)歷以及與Ilya初識(shí)的回憶,。

訪談的提問者是一名天才創(chuàng)業(yè)者——Joel Hellermark。

Joel Hellermark

Joel是Sana AI的創(chuàng)始人兼首席執(zhí)行官，Sana是一家領(lǐng)先的人工智能公司,，已從NEA,、Menlo和EQT籌集了超過8000萬美元的融資。他在13歲時(shí)自學(xué)編程,，16歲時(shí)創(chuàng)立了自己的第一家公司,，開發(fā)了一個(gè)視頻推薦引擎。

官網(wǎng)截圖

對(duì)談要點(diǎn)整理如下：

初識(shí)Ilya時(shí)就覺得十分優(yōu)秀,，Ilya很早就預(yù)測(cè)過Scaling Law是存在的,。

下一個(gè)token預(yù)測(cè)能有效解釋大腦的學(xué)習(xí)機(jī)制，模型在學(xué)習(xí)過程中可以習(xí)得推理能力,。

類比是創(chuàng)造力的源泉,，而模型能挖掘事物之間的共有結(jié)構(gòu)，找到人類不曾注意的類比,，進(jìn)而超越訓(xùn)練數(shù)據(jù),。

多模態(tài)能讓模型更好理解學(xué)習(xí)，并且能讓模型的空間推理能力更強(qiáng),，一定是提升AI能力的重要方向,。

醫(yī)療將是AI應(yīng)用的最重要領(lǐng)域之一，AI的發(fā)展無法阻擋,。

Ilya是完美的研究伙伴,，他的直覺非常靈敏

Hinton：我想起當(dāng)時(shí)從英格蘭第一次來到卡內(nèi)基梅隆大學(xué)。是在英格蘭的研究部門,，下午6點(diǎn)后一般都會(huì)去酒吧喝酒,。但我來了幾周后的一個(gè)周六晚上，一個(gè)朋友都沒有,，也不知道能做什么,。我實(shí)驗(yàn)室有要用的機(jī)器機(jī)，但家里沒有,，所以決定去實(shí)驗(yàn)室編程,。

于是我在周六晚上9點(diǎn)左右來到實(shí)驗(yàn)室，所有的學(xué)生都在那里,，擠滿了人,。他們都在那里。他們都相信自己在研究未來,，接下來做的事情,，將改變計(jì)算機(jī)科學(xué)的發(fā)展，這與英格蘭的情況完全不同,。所以這令我耳目一新,。

主持人：帶我回到最初在劍橋探索腦科學(xué)的日子,。那時(shí)候什么感覺？

Hinton：說實(shí)話,，很失望,。我學(xué)的生理學(xué)，夏季學(xué)期教大腦的工作方式,，結(jié)果只教了神經(jīng)元如何傳導(dǎo)動(dòng)作電位,。確實(shí)有趣，但并沒有說明白大腦究竟如何工作,，所以我比較失望,。我后面轉(zhuǎn)去學(xué)哲學(xué)，希望能學(xué)到思維是如何運(yùn)作的,。但同樣失望,。

我最后去愛丁堡大學(xué)學(xué)習(xí)人工智能，那更有趣,。至少可以進(jìn)行模擬,，可以測(cè)試?yán)碚摗?/p>

主持人：還記得開始是對(duì)人工智能的哪些方面感興趣嗎？有沒有特定的一篇論文或者科學(xué)家,，讓你發(fā)現(xiàn)了有意思的點(diǎn)子,。

Hinton：唐納德·赫布的一本書對(duì)我影響頗深。他對(duì)如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的連接強(qiáng)度非常感興趣,。我還讀過約翰·馮·諾伊曼的一本書,，關(guān)注大腦如何計(jì)算、大腦計(jì)算方式與普通計(jì)算機(jī)的差異,。

主持人：你在愛丁堡的時(shí)候,，覺得這些接觸到的想法以后會(huì)有用嗎？你那時(shí)候的直覺是怎樣的,？

Hinton：在我看來，我們需要遵循大腦本身的學(xué)習(xí)方法,。顯然,，大腦不可能將所有東西先編程，然后使用邏輯推理,，這從一開始就顯得不太對(duì),。所以必須弄清楚，大腦是如何學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)中的連接,，去處理復(fù)雜任務(wù),。馮·諾伊曼和圖靈都相信這一點(diǎn)，他們都非常擅長(zhǎng)邏輯,，但他們不相信這種邏輯方法,。

主持人：學(xué)習(xí)神經(jīng)科學(xué)，僅僅做人工智能里的算法,，你在二者之間如何分配精力的,？你在早期受到了多少啟發(fā)？

Hinton：我對(duì)神經(jīng)科學(xué)研究不多,，主要受到的啟發(fā)來自大腦的工作方式,。大腦有一大堆神經(jīng)元，執(zhí)行相對(duì)簡(jiǎn)單的操作,，工作又是非線性的,，但它們能接收輸入，進(jìn)行加權(quán),，然后在此基礎(chǔ)上輸出,。問題是，到底如何改變權(quán)重使整個(gè)系統(tǒng)做一些厲害的事,？這個(gè)問題看上去相當(dāng)簡(jiǎn)單,。

主持人：那個(gè)時(shí)候，你和誰有合作,？

Hinton：我在卡內(nèi)基梅隆大學(xué)做研究,，但主要合作者并不是卡內(nèi)基梅隆大學(xué)的。我與特倫斯·謝諾夫斯基（注：他與杰弗里·辛頓共同發(fā)明了玻爾茲曼機(jī)）往來比較多,。他在巴爾的摩的約翰霍普金斯大學(xué),。應(yīng)該是每個(gè)月一次，要么他開車來匹茲堡,，要么我開去巴爾的摩,，距離是250英里。我們會(huì)用周末時(shí)間研究玻爾茲曼機(jī),。合作非常愉快,，我們都相信這是大腦的工作方式，這是我做過的最令人興奮的研究,。也許有很多成果也很棒,，但我認(rèn)為那不是大腦的工作方式。

我還與彼得·布朗有很好的合作,，他是優(yōu)秀的統(tǒng)計(jì)學(xué)家,，IBM從事語音識(shí)別工作。所以,，到卡內(nèi)基梅隆大學(xué)攻讀博士學(xué)位時(shí),，他作為學(xué)生已經(jīng)很成熟，已經(jīng)知道很多,。他教了我很多關(guān)于語音的知識(shí),。事實(shí)上,，他教了我關(guān)于隱馬爾可夫模型的知識(shí)。這就是我理想的學(xué)生：從他那里學(xué)到的,，比我教他的還多,。他教我隱馬爾可夫模型時(shí)，我正在使用帶有隱藏層的反向傳播,。那時(shí)候還不叫隱藏層,，但我決定使用馬爾可夫模型中的命名方式，這個(gè)叫法能很好地表示究竟在做什么的變量,?？傊@就是神經(jīng)網(wǎng)絡(luò)中隱藏一詞的來源,。

主持人：談?wù)処lya出現(xiàn)在你辦公室的時(shí)候吧,。

Hinton：那時(shí)候我在辦公室，應(yīng)該是個(gè)周日,，我在編程,，然后有人敲門。敲門聲很急促,，和一般敲門不太一樣,。我開門發(fā)現(xiàn)是一個(gè)年輕的學(xué)生。他說整個(gè)夏天他都在炸薯?xiàng)l,，但他更愿意在我的實(shí)驗(yàn)室工作,。所以我說，約個(gè)時(shí)間來聊聊,？然后他說,，不如就現(xiàn)在？Ilya就是這樣的人,。于是我們聊了下,，我給他一篇文章讀，是關(guān)于反向傳播的Nature期刊論文,。

我們約定一周后再次見面,，他回來了，他說他不太明白,。我挺失望的，本來看起來蠻聰明,。這只是鏈?zhǔn)椒▌t,，理解它并不難。他說：不,，我理解鏈?zhǔn)椒▌t,，我只是不理解,，為什么你不把梯度賦予一個(gè)合理的函數(shù)優(yōu)化器。好家伙,，他提出的問題讓我們思考了好幾年,。他總是是這樣，對(duì)問題的直覺非常好,，總是能提出好的想法,。

主持人：Ilya為什么有這種直覺？

Hinton：我不知道,?；蛟S他總是獨(dú)立思考，很小就對(duì)人工智能感興趣,。他也很擅長(zhǎng)數(shù)學(xué),。但我不知道為什么他直覺那么準(zhǔn)。

主持人：你和他之間,，合作分工是怎樣的,？

Hinton：真是很有趣。記得有一次,，我們?cè)囍脭?shù)據(jù)制作復(fù)雜的地圖,，用的是一種混合模型，所以你可以使用相似性來制作兩張地圖,，使得在一張地圖上,，河岸可以靠近綠地，而在另一張地圖上,，河岸可以靠近河流,。因?yàn)樵谝粡埖貓D上，你不能讓它同時(shí)靠近兩者,，河流和綠地相距很遠(yuǎn),。所以有了混合地圖，我們?cè)贛ATLAB中進(jìn)行操作,，這涉及到對(duì)代碼進(jìn)行大量重組,，進(jìn)行正確的矩陣乘法。

然后他就做得煩了,。有一天他來找我說,，我要為MATLAB編寫一個(gè)交互界面，就可以用另一種語言編程,，然后把它轉(zhuǎn)換成MATLAB,。我說，不，Ilya,，那將花費(fèi)你一個(gè)月的時(shí)間,。這個(gè)項(xiàng)目要繼續(xù)，不能被那個(gè)分散注意力,。Ilya說,，沒關(guān)系，我早上就做好了,。

主持人：簡(jiǎn)直不可思議,！這些年來，最大的變化不僅僅體現(xiàn)在算法,，還有規(guī)模,。你如何看待？

Hinton：Ilya很早就看到這點(diǎn),，總是說,，規(guī)模更大，表現(xiàn)更好,。我之前總覺得站不住腳,，新的想法還是需要的。但事實(shí)證明,，他的判斷基本上是正確的,。像Transformers這樣的算法確實(shí)很有用，但真正起作用的,，是數(shù)據(jù)和計(jì)算的規(guī)模,。當(dāng)時(shí)想象不到計(jì)算機(jī)會(huì)快上數(shù)十億倍，覺得快上一百倍了不得了,，于是試著提出巧妙的想法來解決問題,。然而，有更大的數(shù)據(jù)和計(jì)算規(guī)模,，很多問題就迎刃而解了,。

大約在2011年，Ilya和另一個(gè)叫James Martins的研究生與我合作,，寫了一篇關(guān)于字符級(jí)預(yù)測(cè)的論文,。使用維基百科，并試圖預(yù)測(cè)下一個(gè)HTML字符,。用的是GPU上的一個(gè)很好的優(yōu)化器,，效果出乎意料的好。我們從未真正相信它理解了任何東西,，但它看起來又好像理解了,，這似乎讓人難以相信。

神經(jīng)網(wǎng)絡(luò)不僅僅是記住訓(xùn)練數(shù)據(jù),，而是在“理解”,，推理能力的提高指日可待

主持人：能解釋一下模型如何預(yù)測(cè)下一個(gè)單詞，以及這樣認(rèn)識(shí)他們?yōu)楹问清e(cuò)誤的,？

Hinton：好吧,，我其實(shí)覺得這不算錯(cuò)。

事實(shí)上,，我認(rèn)為我制作了第一個(gè)使用嵌入和反向傳播的神經(jīng)網(wǎng)絡(luò)語言模型,。數(shù)據(jù)非常簡(jiǎn)單，只是三元組,，將每個(gè)符號(hào)（Symbol）轉(zhuǎn)換為一個(gè)嵌入（embedding）,，然后讓嵌入相互作用以預(yù)測(cè)下一個(gè)符號(hào)的嵌入，然后從該嵌入中預(yù)測(cè)下一個(gè)符號(hào),，然后通過整個(gè)過程反向傳播以學(xué)習(xí)這些三元組,。大約10年后，Yoshua Bengio（圖靈獎(jiǎng)得主）使用非常相似的網(wǎng)絡(luò),，展示了它在真實(shí)文本上的效果,。大約10年后，語言學(xué)家開始相信嵌入,。這有一個(gè)發(fā)展的過程,。

我認(rèn)為它不僅僅是預(yù)測(cè)下一個(gè)符號(hào)。

問一個(gè)問題,，答案第一個(gè)單詞是下一個(gè)符號(hào),，那就必須理解這個(gè)問題。大多數(shù)人認(rèn)為的“自動(dòng)填充”則是,，看到不同的單詞出現(xiàn)在第三位的頻率,，這樣就可以預(yù)測(cè)下一個(gè)符號(hào)。但其實(shí)不是這樣,。

為了預(yù)測(cè)下一個(gè)符號(hào),，必須理解正在說什么。我們是通過讓它預(yù)測(cè)下一個(gè)符號(hào),，迫使它理解,。很多人說，它們不像人類那樣推理,，只是在預(yù)測(cè)下一個(gè)符號(hào),。但我認(rèn)為，它的理解方式像我們一樣,。為了預(yù)測(cè)下一個(gè)符號(hào),，它必須進(jìn)行一些推理。現(xiàn)在已經(jīng)看到，你制作一個(gè)大的模型,，不添加任何特殊的推理內(nèi)容,，它們也已經(jīng)可以進(jìn)行一些推理。規(guī)模越大,，它們未來能進(jìn)行的推理也更多,。

主持人：現(xiàn)在除了預(yù)測(cè)下一個(gè)符號(hào)外，還做了其他什么嗎,？

Hinton：這就是學(xué)習(xí)的方式,。不管是預(yù)測(cè)下一個(gè)視頻幀，還是預(yù)測(cè)下一個(gè)聲音,。我覺得這就是解釋大腦學(xué)習(xí)的十分合理的理論,。

主持人：為什么這些模型能夠?qū)W習(xí)如此廣泛的領(lǐng)域？

Hinton：大語言模型所做的,，是尋找事物之間共同的結(jié)構(gòu),。基于共同結(jié)構(gòu)對(duì)事物進(jìn)行編碼,，這樣一來效率很高,。

舉個(gè)例子。問GPT-4,，為什么堆肥堆像原子彈,？大多數(shù)人都無法回答這個(gè)問題，覺得原子彈和堆肥堆是非常不同的東西,。但GPT-4會(huì)告訴你,，盡管能量、時(shí)間尺度不同,，但相同的是,，堆肥堆變熱時(shí)會(huì)更快地產(chǎn)生熱量；原子彈產(chǎn)生更多的中子時(shí),，產(chǎn)生中子的速度也會(huì)隨之加快,。這就引出了鏈?zhǔn)椒磻?yīng)的概念。通過這種理解,，所有的信息都被壓縮到它自己的權(quán)重中,。

這樣一來，它將能處理人類尚未見過的數(shù)百種類比,，這些看似不相關(guān)的類比,，正是創(chuàng)造力的源泉。我想,，GPT-4變得更大時(shí),，創(chuàng)造力將非常高,。如果只是覺得，它只在反芻學(xué)過的知識(shí),，只是將它已經(jīng)學(xué)過的文本拼湊在一起,，那就小看它的創(chuàng)造力了。

主持人：你可能會(huì)說,，它會(huì)超越人類的認(rèn)知,。盡管我們看到了一些例子，但貌似尚未真正見到你說的這點(diǎn),。很大程度上，我們?nèi)匀惶幱诋?dāng)前的科學(xué)水平,。你認(rèn)為什么能讓它開始有所超越呢,？

Hinton：我覺得在特定情況中已經(jīng)看到這點(diǎn)了。以AlphaGo為例,。與李世石的那場(chǎng)著名比賽中,，AlphaGo的第37步，所有專家看來都覺得是錯(cuò)棋,，但后來他們意識(shí)到這又是一步妙棋,。

這已經(jīng)是在那個(gè)有限的領(lǐng)域內(nèi)，頗具創(chuàng)造力的動(dòng)作,。隨著模型規(guī)模增加,，這樣的例子會(huì)更多的。

主持人：AlphaGo的不同之處在于,，它使用了強(qiáng)化學(xué)習(xí),，能夠超越當(dāng)前狀態(tài)。它從模仿學(xué)習(xí)開始,，觀察人類如何在棋盤上博弈,，然后通過自我對(duì)弈，最終有所超越,。你認(rèn)為這是當(dāng)前數(shù)據(jù)實(shí)驗(yàn)室缺少的嗎,？

Hinton：我認(rèn)為這很可能有所缺失。AlphaGo和AlphaZero的自我對(duì)弈,，是它能夠做出這些創(chuàng)造性舉動(dòng)的重要原因,。但這不是完全必要的。

很久以前我做過一個(gè)小實(shí)驗(yàn),，訓(xùn)練神經(jīng)網(wǎng)絡(luò)識(shí)別手寫數(shù)字,。給它訓(xùn)練數(shù)據(jù)，一半的答案是錯(cuò)誤的,。它能學(xué)得多好,？你把一半的答案弄錯(cuò)一次,，然后保持這種狀態(tài)。所以,，它不能通過只看同一個(gè)例子來把錯(cuò)誤率平均,。有時(shí)答案正確，有時(shí)答案錯(cuò)誤,，訓(xùn)練數(shù)據(jù)的誤差為50%,。

但是你訓(xùn)練反向傳播，誤差會(huì)降到5%或更低,。換句話說,，從標(biāo)記不良的數(shù)據(jù)中，它可以得到更好的結(jié)果,。它可以看到訓(xùn)練數(shù)據(jù)是錯(cuò)誤的,。

聰明的學(xué)生能比他們的導(dǎo)師更聰明。即使接收了導(dǎo)師傳授的所有內(nèi)容,，但他們能取其精華去其糟粕,，最終比導(dǎo)師更聰明。因此,，這些大型神經(jīng)網(wǎng)絡(luò),，其實(shí)具有超越訓(xùn)練數(shù)據(jù)的能力，大多數(shù)人沒有意識(shí)到,。

主持人：這些模型能夠獲得推理能力嗎,？一種可能的方法是，在這些模型之上添加某種啟發(fā)式方法,。目前,，許多研究都在嘗試這種，即將一個(gè)思維鏈的推理反饋到模型自身中,。另一種可能的方法是,，在模型本身中增加參數(shù)規(guī)模。你對(duì)此有何看法,？

Hinton：我的直覺告訴我,，模型規(guī)模擴(kuò)大后，推理能力也能提升,。

人們?nèi)绾喂ぷ?？大致來說，人類有直覺進(jìn)行推理,，再用推理來糾正我們的直覺,。當(dāng)然，在推理過程中也會(huì)使用直覺,。假設(shè)推理的結(jié)論與直覺沖突,，我們就會(huì)意識(shí)到需要糾正直覺,。

這與AlphaGo或AlphaZero的工作方式類似，它們有一個(gè)評(píng)估函數(shù),，只需看一眼棋盤,，然后判斷“這對(duì)我來說有多好？”但是,，進(jìn)行蒙特卡羅推演時(shí),，你會(huì)得到一個(gè)更準(zhǔn)確的想法，你可以修改你的評(píng)估函數(shù),。因此,，通過讓模型接受推理的結(jié)果，來對(duì)模型進(jìn)行訓(xùn)練,。

大語言模型必須開始這樣做,，必須開始通過推理，來訓(xùn)練模型的直覺,，知道下一步做什么，并意識(shí)到什么是不對(duì)的,。這樣,，他們就可以獲得更多的訓(xùn)練數(shù)據(jù)，而不僅僅是模仿人類,。這正是AlphaGo能夠做出第37步妙棋的原因,，它擁有更多的訓(xùn)練數(shù)據(jù)，因?yàn)樗褂猛评韥頇z查下一步應(yīng)該是什么,。

多模態(tài)讓模型學(xué)習(xí)更加容易,，同時(shí)利于空間推理

主持人：你對(duì)多模態(tài)有何看法？我們談到了這些類比,，而這些類比往往遠(yuǎn)遠(yuǎn)超出了我們所能看到的范圍,。模型發(fā)現(xiàn)的類比遠(yuǎn)遠(yuǎn)超出了人類的能力，可能是在我們永遠(yuǎn)無法理解的抽象層面上?，F(xiàn)在,，當(dāng)我們將圖像、視頻和聲音引入其中時(shí),，你認(rèn)為這會(huì)如何改變模型,？你認(rèn)為它將如何改變，它能夠進(jìn)行的類比,？

Hinton：這將帶來很大的改變,。例如，它將使模型更好地理解空間事物,。僅從語言角度來看,，很難理解一些空間事物,。盡管值得注意的是，即使在成為多模態(tài)之前,，GPT-4也能做到這一點(diǎn),。但是，當(dāng)你讓模型成為多模態(tài)時(shí),，如果你讓它既能做視覺,，又能伸手抓東西，它能拿起物體并翻轉(zhuǎn)它們等等,，它就會(huì)更好地理解物體,。因此，雖然可以從語言中學(xué)到很多東西,，但如果是多模態(tài),，學(xué)習(xí)起來會(huì)更容易。事實(shí)上,，需要的語言更少,。

多模態(tài)模型顯然會(huì)占據(jù)主導(dǎo)地位。你可以通過這種方式獲得更多數(shù)據(jù),，它們需要的語言會(huì)更少,。當(dāng)然,，可以僅從語言中學(xué)習(xí)出一個(gè)非常好的模型，但從多模態(tài)系統(tǒng)中學(xué)習(xí)要容易得多。

主持人：你認(rèn)為這將如何影響模型的推理能力,？

Hinton：我認(rèn)為它將使空間推理變得更好,，例如,，實(shí)際嘗試撿起物體,，會(huì)得到各種有用的訓(xùn)練數(shù)據(jù)。

主持人：你認(rèn)為人類大腦的進(jìn)化服務(wù)于語言,，還是說語言的進(jìn)步是服務(wù)于人類大腦,？

Hinton：這是一個(gè)非常好的問題，我認(rèn)為兩者是共存的,。我曾經(jīng)認(rèn)為,，可以完全不需要語言去進(jìn)行大量的認(rèn)知活動(dòng)，但現(xiàn)在我的想法有所改變,。

那么,，我將給出三種不同的語言觀點(diǎn)以及它們與認(rèn)知的關(guān)系。

一種觀點(diǎn)是陳舊的符號(hào)觀點(diǎn),，即認(rèn)知包括使用某種經(jīng)過清理的邏輯語言中的符號(hào)串,，這些語言沒有歧義，并應(yīng)用推理規(guī)則,。這就是認(rèn)知——只是對(duì)語言符號(hào)串之類的事物進(jìn)行符號(hào)操作,。這是一種極端觀點(diǎn),。

另一種極端觀點(diǎn)是，一旦你進(jìn)入頭腦,，它就全是向量,。符號(hào)進(jìn)來了，把這些符號(hào)轉(zhuǎn)換成大向量,，所有內(nèi)容都是用大向量完成的,，然后想產(chǎn)生輸出，又會(huì)生成符號(hào),。2014年左右,，機(jī)器翻譯中有一個(gè)說法，當(dāng)時(shí)人們使用循環(huán)神經(jīng)網(wǎng)絡(luò),，單詞會(huì)不斷進(jìn)入,，它們會(huì)有一個(gè)隱藏狀態(tài)，它們會(huì)在這個(gè)隱藏狀態(tài)下不斷積累信息,。因此,，當(dāng)它們讀完一個(gè)句子時(shí)，它們會(huì)得到一個(gè)大的隱藏向量,，它捕捉到了該句子的含義,，然后可以用來生成另一種語言的句子。這被稱為思維向量,。這是對(duì)語言的第二種看法——將語言轉(zhuǎn)換成一個(gè)與語言完全不同的大向量，這就是認(rèn)知的全部?jī)?nèi)容,。

第三種觀點(diǎn),，也是我現(xiàn)在所相信的，即你采用這些符號(hào),，將符號(hào)轉(zhuǎn)換成嵌入,，并使用多層嵌入，這樣你就得到了這些非常豐富的嵌入,。但是嵌入仍然與符號(hào)相關(guān)聯(lián),，從某種意義上說，你有一個(gè)用于這個(gè)符號(hào)的大向量,，以及一個(gè)用于那個(gè)符號(hào)的大向量,。這些向量相互作用，產(chǎn)生下一個(gè)單詞的符號(hào)的向量,。這就是理解的本質(zhì)——知道如何將符號(hào)轉(zhuǎn)換成這些向量,，并知道向量的元素應(yīng)該如何相互作用，從而預(yù)測(cè)下一個(gè)符號(hào)的向量,。無論是在這些大型語言模型中,，還是在我們的大腦中,，理解就是這樣進(jìn)行的。這是一個(gè)介于兩者之間的例子,。你繼續(xù)使用符號(hào),，但將它們解釋為這些大向量，這就是所有工作所在,。所有的知識(shí)都在于你使用的向量以及這些向量的元素如何相互作用,，而不是符號(hào)規(guī)則。

這并不是說,，能完全擺脫符號(hào),。而是將符號(hào)變成大向量，保留符號(hào)的表面結(jié)構(gòu),。這就是這些模型的工作方式,。在我看來，這也是人類思維比較合理的模型,。

借助共享權(quán)重,，數(shù)字系統(tǒng)的思維遷移十分高效

主持人：您是最早想到使用GPU的人之一，我知道Jensen（黃仁勛）很喜歡你,。2009年你就告訴Jensen,，這可能是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)絕佳辦法。當(dāng)初要使用圖形處理單元（GPU）訓(xùn)練神經(jīng)網(wǎng)絡(luò),，您是怎么想的,？

Hinton：記得在2006年，我有位研究生,，是十分優(yōu)秀的計(jì)算機(jī)視覺專家,。一次會(huì)議上，他建議我考慮使用圖形處理卡（GPU）,，因?yàn)樗鼈冊(cè)诰仃嚦朔ǚ矫姹憩F(xiàn)出色,，我所做的基本上都是矩陣乘法。我考慮了下,，然后我們開始研究配備四個(gè)GPU的Tesla系統(tǒng),。

我們一開始只是購買了游戲用的GPU，發(fā)現(xiàn)它們將運(yùn)算速度提高了30倍,。然后又買了一個(gè)配備四個(gè)GPU的Tesla系統(tǒng),，并在此基礎(chǔ)上進(jìn)行了一次公開匯報(bào)，效果非常好,。2009年,，我在NIPS會(huì)議上發(fā)表了演講，告訴在場(chǎng)的一千名機(jī)器學(xué)習(xí)研究人員：你們都應(yīng)該去購買NVIDIA的GPU，它們是未來,，你們需要GPU進(jìn)行機(jī)器學(xué)習(xí),。

我還給NVIDIA發(fā)了一封郵件，說我已經(jīng)動(dòng)員一千名機(jī)器學(xué)習(xí)研究人員去購買你們的卡,，你們能不能送我一個(gè),？他們并沒有回復(fù)。但后來把這個(gè)故事告訴Jensen時(shí),，他免費(fèi)給了我一個(gè)（要顯卡,，得直接找老板談）。

主持人：人工智能發(fā)展過程中,，GPU其實(shí)也在發(fā)展,。在計(jì)算領(lǐng)域，我們路在何方,？

Hinton：我在谷歌的最后幾年里,，其實(shí)一直在思考模擬計(jì)算。這樣,，我們可以使用 30 瓦的功率（例如大腦）,，而不是使用一兆瓦的功率。我希望在模擬硬件中,，運(yùn)行這些大型語言模型,。雖然從來沒實(shí)現(xiàn)，但我開始真正重視數(shù)字計(jì)算,。

使用低功耗的模擬計(jì)算,，每個(gè)硬件部分都會(huì)有所不同，即需要學(xué)習(xí)利用特定硬件的屬性,。這就是人們身上正在經(jīng)歷的,。人和人的大腦都是不同的。我們不能將你大腦中的權(quán)重,，放入我的大腦中。硬件不同,，各個(gè)神經(jīng)元的精確屬性也不同,。我們最后都會(huì)死去，我腦中的權(quán)重,，對(duì)其他大腦也毫無用處,。

我們可以很低效地將信息從一個(gè)人傳遞給另一個(gè)人。我寫句子,，你想辦法改變你思維里的權(quán)重,，你就會(huì)說同樣的話。這其實(shí)叫做提煉，但這種知識(shí)交流非常低效,。

數(shù)字系統(tǒng)卻不同,，它們不會(huì)死去。一旦有了一些權(quán)重,，計(jì)算機(jī)這個(gè)殼就不重要了,。只需將權(quán)重存儲(chǔ)在某個(gè)磁帶或者什么上，就可以把同樣的權(quán)重轉(zhuǎn)移進(jìn)另一臺(tái)計(jì)算機(jī),。如果是數(shù)字的,，它就可以與其他系統(tǒng)一樣計(jì)算。所以,，數(shù)字系統(tǒng)能夠以極高效率共享權(quán)重,，甚至還能迭代。假設(shè)你有一大把數(shù)字系統(tǒng),，從相同的權(quán)重開始,，各自進(jìn)行微量的學(xué)習(xí)，還能再次共享權(quán)重,，這樣它們都能知道其他系統(tǒng)學(xué)到了什么,，甚至完成了迭代。人類無法做到這一點(diǎn),，在知識(shí)共享上,，數(shù)字系統(tǒng)比我們做得好太多。

主持人：許多已經(jīng)在該領(lǐng)域?qū)嵤┑南敕?，其?shí)都是非常傳統(tǒng)的,，因?yàn)檫@些想法在神經(jīng)科學(xué)中一直存在。那么,，你認(rèn)為還有哪些想法可以應(yīng)用于我們正在開發(fā)的系統(tǒng)呢,？

Hinton：因此，我們?nèi)孕枳汾s神經(jīng)科學(xué)的發(fā)展,。

在幾乎所有的神經(jīng)網(wǎng)絡(luò)中,，都存在一個(gè)快速的活動(dòng)變化時(shí)間尺度。因此,，當(dāng)輸入進(jìn)來后,，活動(dòng)和嵌入向量都會(huì)發(fā)生變化，然后有一個(gè)緩慢的時(shí)間尺度會(huì)改變權(quán)重,。這就是長(zhǎng)期學(xué)習(xí),。

你只有這兩個(gè)時(shí)間尺度。然而在大腦中,，權(quán)重會(huì)改變的時(shí)間尺度很多,。例如，我說一個(gè)意想不到的詞，比如“黃瓜”,，五分鐘后,，你戴上耳機(jī)，會(huì)聽到很多噪音,，而且單詞非常模糊,，但你會(huì)更好地識(shí)別“黃瓜”這個(gè)詞，因?yàn)槲椅宸昼娗罢f過這個(gè)詞,。大腦中的這些知識(shí)是如何存儲(chǔ)的呢,？這些知識(shí)，顯然是突觸的暫時(shí)變化,，而不是神經(jīng)元在重復(fù)“黃瓜”這個(gè)詞,。你沒有足夠的神經(jīng)元來做這件事。這是權(quán)重的暫時(shí)變化,。你可以用暫時(shí)的權(quán)重變化做很多事情,，我稱之為快速權(quán)重。

我們的神經(jīng)模型并不會(huì)這樣做,，原因是,，對(duì)依賴于輸入數(shù)據(jù)的權(quán)重進(jìn)行臨時(shí)更改，則無法同時(shí)處理大量不同的情況,。目前,，我們采用大量不同的字符串，將它們堆疊在一起,，然后并行處理它們,，因?yàn)檫@樣我們可以進(jìn)行矩陣乘法，效率要高得多,。正是這種效率,，阻止了我們使用快速權(quán)重。但大腦顯然將快速權(quán)重用于臨時(shí)記憶,。而且,，你可以通過這種方式。做各種我們目前不做的事情,。

我認(rèn)為這是你必須學(xué)習(xí)的最重要的事情之一,。我非常希望像Graphcore（一家英國的AI芯片公司）這樣的設(shè)備，它們采用順序方式,，并只進(jìn)行在線學(xué)習(xí)，那么它們就可以使用快速權(quán)重,。但這還沒有奏效,。或許當(dāng)人們使用電導(dǎo)作為權(quán)重時(shí)，最終它會(huì)奏效,。

官網(wǎng)截圖：https://www.graphcore.ai/

主持人：了解這些模型如何工作,，了解大腦如何工作，對(duì)你的思維方式有何影響,？

Hinton：多年來,，人們非常看不起大型隨機(jī)神經(jīng)網(wǎng)絡(luò),，只要給它大量的訓(xùn)練數(shù)據(jù),，它就會(huì)學(xué)會(huì)做復(fù)雜的事情的想法。你和統(tǒng)計(jì)學(xué)家或語言學(xué)家,，或者大多數(shù)人工智能領(lǐng)域的人交談,，他們會(huì)說，那只是一個(gè)白日夢(mèng),。沒有某種先天知識(shí),，沒有很多架構(gòu)限制，模型就不可能學(xué)會(huì)真正復(fù)雜的事情,。以為隨便用一個(gè)大型神經(jīng)網(wǎng)絡(luò),，就能從數(shù)據(jù)中學(xué)習(xí)一大堆東西——但這是完全錯(cuò)誤的。

隨機(jī)梯度下降,，即使用梯度反復(fù)調(diào)整權(quán)重,，也可以學(xué)習(xí)非常復(fù)雜的東西，這些大型模型已經(jīng)證實(shí)了這一點(diǎn),。這是對(duì)大腦理解的一個(gè)重要觀點(diǎn),。大腦并不需要擁有所有的先天結(jié)構(gòu)。即使大腦確實(shí)擁有許多先天結(jié)構(gòu),，但對(duì)易于學(xué)習(xí)的事物,，又并不需要這些先天結(jié)構(gòu)。

喬姆斯基的觀點(diǎn)是,，只有當(dāng)知識(shí)本身無比扎實(shí),、成熟，才能學(xué)習(xí)像語言這樣復(fù)雜的事物,。然而現(xiàn)在看來,，這種觀點(diǎn)顯然很荒謬。

主持人：?jiǎn)棠匪够鶗?huì)很高興看到你說他的觀點(diǎn)很荒謬,。

Hinton：?jiǎn)棠匪够脑S多政治觀點(diǎn)非常明智,。我很驚訝，為什么一個(gè)在中東問題上觀點(diǎn)如此明智的人,，在語言學(xué)方面會(huì)犯如此大的錯(cuò)誤,。

主持人：你認(rèn)為什么會(huì)讓這些模型有效模擬人類的意識(shí),？現(xiàn)在的 ChatGPT 每次都從頭開始，刪除對(duì)話的記憶,。如果有一個(gè)你一生中與之交談過的人工智能助手,，它能自我反省。有一天,，你去世了,，你認(rèn)為助手在那個(gè)時(shí)候會(huì)有感覺嗎？

Hinton：我認(rèn)為他們也會(huì)有感覺,。所以我認(rèn)為,，就像我們有這種感知的內(nèi)在劇場(chǎng)模型一樣，我們也有一個(gè)感覺的內(nèi)在劇場(chǎng)模型,。這些是我能體驗(yàn)到的東西,，但其他人卻不能。我認(rèn)為那個(gè)模型同樣是錯(cuò)誤的,。我認(rèn)為,，假設(shè)我說，我想打Gary的鼻子,，我經(jīng)常這樣做,。讓我們?cè)囍鴱膬?nèi)心劇場(chǎng)的概念中總結(jié)出這一點(diǎn)——我真正想告訴你的是，如果不是因?yàn)槲业念~葉受到抑制,，我就會(huì)采取行動(dòng),。所以當(dāng)談?wù)摳杏X時(shí)，我們實(shí)際上是在談?wù)摏]有限制的情況下會(huì)采取的行動(dòng),。這就是感覺的真正含義——沒有限制時(shí),，我們會(huì)采取的行動(dòng)。所以沒有理由說這些東西不能有感覺,。

在 1973 年,，我看到過有情感的機(jī)器人。他們?cè)趷鄱”び幸粋€(gè)帶有兩個(gè)夾子的機(jī)器人,，如果你把零件分開放在一塊綠色毛氈上,，它可以組裝一輛玩具車。但是你把零件堆在一起,，機(jī)器人視力不夠,，看不清零件。就會(huì)把夾子放在一起把零件敲散,，再拼一起,。要是看到一個(gè)人類這么做，你會(huì)說這個(gè)他不太理解情況,，很生氣,，所以才敲散了零件,。

主持人：在我們之前的談話中，你把人類和LLM描述為擅長(zhǎng)做類比機(jī)器（analogy machines）,。你一生中發(fā)現(xiàn)的，最有力的類比是什么,？

Hinton：我想可能對(duì)我影響很大的一種弱類比,，是宗教和符號(hào)處理之間的類比。

我來自一個(gè)無神論家庭,，我小時(shí)候上學(xué)時(shí)就面臨著宗教信仰,。在我看來，這簡(jiǎn)直是無稽之談,。即使我再次審視,，我仍然認(rèn)為這是無稽之談。有人將符號(hào)處理視為對(duì)人們工作方式時(shí),，我認(rèn)為這種觀點(diǎn)依然荒謬,。

但我不認(rèn)為現(xiàn)在的觀點(diǎn)完全是荒謬的，我們確實(shí)在進(jìn)行符號(hào)處理,，我們把大的嵌入向量賦予給符號(hào),。但不是像人們以為的那樣，單單匹配符號(hào)——符號(hào)的唯一屬性就是與另一個(gè)符號(hào)異同,，讓這成為符號(hào)的唯一屬性,。但我們并不是這樣做的。我們用上下文,，為符號(hào)提供嵌入向量,；借助嵌入向量組成部分之間的交互，我們才能進(jìn)行思考,。

有位非常優(yōu)秀的谷歌研究員叫 Fernando Pereira,。他認(rèn)為，我們確實(shí)在進(jìn)行符號(hào)推理,，但唯一符號(hào)就是自然語言,。我們把自然語言作為符號(hào)語言進(jìn)行推理。我現(xiàn)在覺得這很正確,。

很難因?yàn)榘踩珕栴}減緩AI研究,，看好醫(yī)療保健應(yīng)用

主持人：你已經(jīng)進(jìn)行了一些計(jì)算機(jī)科學(xué)史上最有意義的研究。你能給我們講講,，你是如何發(fā)現(xiàn)合適的研究問題的,？

Hinton：首先，我要糾正你一下,，是我和學(xué)生一起完成了很多有意義的研究,。這離不開我與學(xué)生的良好合作,，離不開我發(fā)現(xiàn)優(yōu)秀學(xué)生的能力。從70年代到本世紀(jì)初,，研究神經(jīng)網(wǎng)絡(luò)的人不多,。我作為少數(shù)研究神經(jīng)網(wǎng)絡(luò)的人，可以選到最優(yōu)秀的學(xué)生,。這非常幸運(yùn),。

科學(xué)家都有自己的一套研究方法理論，雖然很多科學(xué)家會(huì)總結(jié)一套自己的研究方法理論,，但是實(shí)際上他們不一定真的是這么做的,。但我還是想說，我的理論是,，我會(huì)尋找那些人人都贊同,、但直覺又能感覺出有點(diǎn)不對(duì)的問題。然后我就把這個(gè)定為研究問題,，看看我是否能深入,，說清楚我認(rèn)為它是錯(cuò)的原因。比如也許我能用一個(gè)小的計(jì)算機(jī)程序做個(gè)demo,，說明大家的預(yù)期是錯(cuò)的,。

讓我舉一個(gè)例子。很多人認(rèn)為,，給神經(jīng)網(wǎng)絡(luò)添加噪音會(huì)讓結(jié)果變得更糟,。如果訓(xùn)練示例，讓一半的神經(jīng)元保持沉默,，效果就會(huì)更糟,。然而實(shí)際上，這樣做的話會(huì)帶來更好的泛化效果,。你可以用一個(gè)簡(jiǎn)單的例子來證明這一點(diǎn),。這就是計(jì)算機(jī)模擬的優(yōu)點(diǎn)。你可以證明,，增加噪音會(huì)使情況變得更糟,，去掉一半的神經(jīng)元，會(huì)使它工作得更糟,。短期內(nèi)確實(shí)如此,。但你這樣訓(xùn)練它，最終它會(huì)工作得更好,。你可以用一個(gè)小型計(jì)算機(jī)程序來證明這一點(diǎn),，然后你可以認(rèn)真思考為什么會(huì)這樣，以及它如何阻止復(fù)雜的協(xié)同適應(yīng),。

這是我的研究方法,。找到并研究那些看上去不可靠的事情,，看看自己能否給出簡(jiǎn)單demo，說明為什么錯(cuò)誤,。

主持人：你覺得現(xiàn)在有什么不可靠的點(diǎn)呢,？

Hinton：我們不使用快速權(quán)重的做法，貌似不是很可靠,，我們只有兩個(gè)時(shí)間尺度,，這完全是錯(cuò)誤的，一點(diǎn)不像大腦的工作方式,。從長(zhǎng)遠(yuǎn)來看，肯定要有更多的時(shí)間尺度,。這只是一個(gè)例子,。

主持人：我們談到了推理、時(shí)間尺度,。假設(shè)一群學(xué)生來問你,，你的領(lǐng)域中最重要的問題是什么？你又會(huì)給他們什么最值得研究的問題,？

Hinton：對(duì)于我來說,，現(xiàn)在的問題和我過去 30 年來一直存在的問題是一樣的，那就是大腦會(huì)進(jìn)行反向傳播嗎,？我相信大腦會(huì)獲得梯度,。你得不到梯度，你的學(xué)習(xí)效果就會(huì)比得到梯度時(shí)差很多,。但是大腦是如何獲得梯度的,？它是以某種方式實(shí)現(xiàn)某種近似版本的反向傳播，還是某種完全不同的技術(shù),？這是一個(gè)懸而未決的大問題,。我繼續(xù)做研究的話，這就是我要研究的內(nèi)容,。

主持人：當(dāng)你現(xiàn)在回顧你的研究生涯時(shí),，你會(huì)發(fā)現(xiàn)你在很多事情上都是對(duì)的。但是你在什么地方做錯(cuò)了,，以至于你希望自己花更少的時(shí)間,？

Hinton：這是兩個(gè)獨(dú)立的問題。一是錯(cuò)在什么地方,，二是是否希望自己花更少的時(shí)間在這上面,。

我認(rèn)為我對(duì)玻爾茲曼機(jī)的看法是錯(cuò)誤的，我很高興我花了很長(zhǎng)時(shí)間研究它,。關(guān)于如何獲得梯度,，有比反向傳播更漂亮的理論,。反向傳播很普通，很明智,，它只是一個(gè)鏈?zhǔn)椒▌t,。玻爾茲曼機(jī)很聰明，它是一種獲取梯度的非常有趣的方法,。我希望大腦也能這樣工作,，但事實(shí)應(yīng)該并非如此。

主持人：您是否也花了很多時(shí)間想象,，這些系統(tǒng)開發(fā)后會(huì)發(fā)生什么,？您是否曾經(jīng)想過，我們能讓這些系統(tǒng)運(yùn)行良好,，我們就能讓教育民主化,，讓知識(shí)更容易獲得，解決醫(yī)學(xué)上的一些難題,。對(duì)您來說,，這更多的是了解大腦？

Hinton：科學(xué)家應(yīng)該做一些對(duì)社會(huì)有益的事情,，但實(shí)際上這并不是開展研究的最佳方式,。當(dāng)好奇心驅(qū)使時(shí)，您會(huì)進(jìn)行最好的研究,。您只需要了解一些事情,，僅此而已。

但最近,，我意識(shí)到這些技術(shù)是把雙刃劍,，開始更加擔(dān)心它們對(duì)社會(huì)的影響。但這不是我的研究動(dòng)機(jī),。我只是想了解,，大腦究竟是如何學(xué)習(xí)做事的？這正是我想要知道的,。但我有點(diǎn)失敗了,。作為失敗的副作用，我們得到了一些不錯(cuò)的工程,。

主持人：是的,，這對(duì)世界來說是一次很好的“失敗”。從真正可能順利的事情的角度來看,，你認(rèn)為最有前途的應(yīng)用是什么,？

Hinton：醫(yī)療保健顯然會(huì)是很大的應(yīng)用。社會(huì)可以吸收的醫(yī)療保健幾乎是無窮無盡的。以一位老年人為例,，他們可能需要五位全職醫(yī)生的照顧,。因此，當(dāng)人工智能在某些領(lǐng)域的表現(xiàn)超過人類時(shí),，我們會(huì)期待它能在更多領(lǐng)域發(fā)揮更大的作用,。這可能意味著我們需要更多的醫(yī)生。每個(gè)人都能擁有三位專屬的醫(yī)生,，那將是極好的,。我們有望實(shí)現(xiàn)這一目標(biāo)，這也是醫(yī)療保健領(lǐng)域的優(yōu)勢(shì)之一,。

此外,，新的工程項(xiàng)目和新材料的開發(fā)，例如用于改進(jìn)太陽能電池板或超導(dǎo)性能的材料,，或者僅僅是為了更深入地了解人體的運(yùn)作機(jī)制,，都將產(chǎn)生巨大的影響。這些都是積極的一面,。

然而，我擔(dān)心有政治家可能會(huì)利用這些技術(shù)來做邪惡的事情,，比如利用人工智能制造殺人機(jī)器人,，操縱輿論或進(jìn)行大規(guī)模監(jiān)控。這些都是非常令人擔(dān)憂的問題,。

主持人：你是否擔(dān)心,，我們放慢這個(gè)領(lǐng)域的發(fā)展速度，也會(huì)阻礙其積極一面的發(fā)展,？

Hinton：當(dāng)然,，我有這樣的擔(dān)憂。我認(rèn)為這個(gè)領(lǐng)域的發(fā)展速度不太可能放慢,，部分原因是它具有國際性,。一個(gè)國家選擇放慢發(fā)展速度，其他國家并不會(huì)跟隨,。因此,，中國和美國之間顯然存在人工智能領(lǐng)域競(jìng)爭(zhēng)，雙方都不會(huì)選擇放慢發(fā)展速度,。有人提出我們應(yīng)該放慢六個(gè)月的發(fā)展速度,，但我并未簽署這一提議，因?yàn)槲艺J(rèn)為這種情況永遠(yuǎn)不會(huì)發(fā)生,。盡管如此,，我可能應(yīng)該簽署這一提議，因?yàn)榧词惯@種情況永遠(yuǎn)不會(huì)發(fā)生，它也提出了一個(gè)政治觀點(diǎn),。為了表達(dá)觀點(diǎn),，有時(shí)候我們需要提出一些無法實(shí)現(xiàn)的要求，這往往是一種有效的策略,。但我不認(rèn)為我們會(huì)放慢發(fā)展的步伐,。

主持人：你認(rèn)為有了這些人工智能助手，會(huì)對(duì) AI 研究過程產(chǎn)生什么影響,？

Hinton：我認(rèn)為它們會(huì)大大提高研究效率,。有了這些助手，AI研究將變得更加高效,，它們不僅能幫助你編程,，還能幫助你思考問題，甚至可能在各種方程式方面為你提供很大幫助,。

建立自己的認(rèn)知框架對(duì)于獨(dú)立思考來說非常重要

主持人：你是否考慮過人才選拔的過程,？這對(duì)你來說主要是依賴直覺嗎？例如,，當(dāng)Ilya出現(xiàn)在門口時(shí),，你會(huì)覺得他很聰明，于是決定與他一起工作,。

Hinton：在人才選拔方面,，有時(shí)候你就是能感覺到。與Ilya交談不久后,，我就覺得他非常聰明,。再深入交談幾句，他的直覺,、數(shù)學(xué)能力都非常出色,，這讓我覺得他是理想的合作伙伴。

還有一次,，我參加了一次NIPS會(huì)議,。我們有一張海報(bào)，有人走過來,，他開始詢問有關(guān)學(xué)術(shù)海報(bào)上的問題,。他提出的每一個(gè)問題都深入地揭示了我們的錯(cuò)誤。五分鐘后,，我就給他提供了一個(gè)博士后職位,。那個(gè)人就是 David McKay，他非常聰明,。他去世了,，這讓人感到非常遺憾,，但他的才華是顯而易見的，你會(huì)希望能與他一起工作,。然而,，有時(shí)候，情況并不總是那么明顯,。

我確實(shí)學(xué)到了一件事,，那就是人與人是不同的。優(yōu)秀的學(xué)生并不只有一種類型,。有些學(xué)生可能沒有那么有創(chuàng)造力,，但他們?cè)诩夹g(shù)上非常強(qiáng)，能夠讓任何事情都成功,。有些學(xué)生在技術(shù)上可能并不出色,，但他們卻擁有極高的創(chuàng)造力。理想的情況下,，我們希望找到的是既有技術(shù)實(shí)力又具備創(chuàng)造力的學(xué)生,，但實(shí)際上，這樣的學(xué)生并不總是那么容易找到,。然而,，我認(rèn)為在實(shí)驗(yàn)室環(huán)境中，我們需要的是各種不同類型的研究生,。

我始終堅(jiān)信我的直覺,，有時(shí)候，你只需要和某人進(jìn)行一次交談,，他們就能理解你的意思。這就是我們所期待的,。

主持人：你是否曾經(jīng)思考過,，為什么有些人的直覺會(huì)更強(qiáng)呢？他們是否只是比其他人擁有更好的訓(xùn)練數(shù)據(jù),？或者,，你是如何培養(yǎng)自己的直覺的？

Hinton：我認(rèn)為,，部分原因在于他們不允許胡說八道,。因此，這里有一種獲取錯(cuò)誤直覺的方式,，那就是盲目相信你被告知的一切,，這是非常危險(xiǎn)的。我認(rèn)為有些人就是這樣做的,。我覺得有獨(dú)立思考能力的人會(huì)有一個(gè)理解現(xiàn)實(shí)的完整框架,。當(dāng)有人告訴他們某件事情時(shí)，他們會(huì)試圖弄清楚這件事如何融入他們的框架。無法融入,，他們就會(huì)予以拒絕,。這是一個(gè)非常好的策略。

那些試圖將他們被告知的一切都融入自己的框架的人,，最終會(huì)得到一個(gè)非常模糊的框架,，并且會(huì)相信一切。這是無效的,。因此,，我認(rèn)為，對(duì)世界有強(qiáng)烈的看法,，并試圖操縱傳入的事實(shí)以符合自身觀點(diǎn),，是非常重要的。顯然,，這可能會(huì)導(dǎo)致你陷入深刻的宗教信仰和致命缺陷等等,，就像我對(duì)玻爾茲曼機(jī)器的信仰一樣。但我認(rèn)為這是正確的做法,。

主持人：當(dāng)你看到今天正在進(jìn)行的研究類型時(shí),，你是否認(rèn)為我們把所有的雞蛋都放在一個(gè)籃子里，我們應(yīng)該在這個(gè)領(lǐng)域更加多樣化我們的想法,？或者你認(rèn)為這是最有前途的方向然后全力以赴,？

Hinton：我認(rèn)為擁有大型模型并在多模態(tài)數(shù)據(jù)上訓(xùn)練它們，即使只是為了預(yù)測(cè)下一個(gè)單詞,，也是一種非常有前途的方法,，我們應(yīng)該全力以赴。顯然,，現(xiàn)在有很多人在做這件事,。看到有很多人似乎在做瘋狂的事情,，這很好,。我認(rèn)為大多數(shù)人走這條路是可以的，它效果很好,。

主持人：你認(rèn)為學(xué)習(xí)算法真的那么重要嗎,，還是只是尺度之一？我們是否有數(shù)百萬種方法可以達(dá)到人類水平的智能,，或者我們需要發(fā)現(xiàn)少數(shù)幾種,？

Hinton：特定的學(xué)習(xí)算法是否非常重要，或者是否有各種各樣的學(xué)習(xí)算法可以完成這項(xiàng)工作,，我不知道這個(gè)問題的答案,。但在我看來,，反向傳播某種意義上是正確的做法。獲得梯度以便更改參數(shù)使其更好地工作,，這似乎是對(duì)的,，而且它也取得了驚人的成功。

可能還有其他學(xué)習(xí)算法,，它們是獲得相同梯度的替代方法,，或者將梯度轉(zhuǎn)移到其他東西上，并且也有效,。我認(rèn)為現(xiàn)在這一切都是開放的,，也是非常有趣的問題，關(guān)于是否還有其他你可以嘗試和最大化利用的東西,，可以為你提供良好的系統(tǒng),，也許大腦這樣做是因?yàn)檫@樣更容易。但反向傳播在某種意義上是正確的做法,，我們知道這樣做效果很好,。

主持人：最后一個(gè)問題，當(dāng)您回顧您幾十年的研究歷程,，您最引以為豪的成就是什么,？是你學(xué)生的成就嗎？或者是您的研究成果,？在您的整個(gè)職業(yè)生涯中,，您最引以為豪的是什么？

Hinton：我的回答是玻爾茲曼機(jī)的學(xué)習(xí)算法,。這個(gè)算法非常優(yōu)雅,，盡管在實(shí)踐中可能并不實(shí)用，但這是我和 Terry共同開發(fā)的過程中最享受的事情,，也是我最引以為豪的成就,，即使它可能是錯(cuò)誤的。