5月17日消息,，AI教父Geoffrey Hinton接受訪談。對談不僅涉及Hinton對大型神經(jīng)網(wǎng)絡(luò),、多模態(tài)學(xué)習(xí),、模擬計(jì)算,、AI安全等技術(shù)發(fā)展的看法,，還有其接觸人工智能的經(jīng)歷以及與Ilya初識的回憶。

訪談的提問者是一名天才創(chuàng)業(yè)者——Joel Hellermark,。

Joel Hellermark

Joel是Sana AI的創(chuàng)始人兼首席執(zhí)行官,，Sana是一家領(lǐng)先的人工智能公司，已從NEA,、Menlo和EQT籌集了超過8000萬美元的融資,。他在13歲時(shí)自學(xué)編程,，16歲時(shí)創(chuàng)立了自己的第一家公司,，開發(fā)了一個(gè)視頻推薦引擎,。

官網(wǎng)截圖

對談要點(diǎn)整理如下：

初識Ilya時(shí)就覺得十分優(yōu)秀，Ilya很早就預(yù)測過Scaling Law是存在的,。

下一個(gè)token預(yù)測能有效解釋大腦的學(xué)習(xí)機(jī)制,，模型在學(xué)習(xí)過程中可以習(xí)得推理能力。

類比是創(chuàng)造力的源泉,，而模型能挖掘事物之間的共有結(jié)構(gòu),，找到人類不曾注意的類比，進(jìn)而超越訓(xùn)練數(shù)據(jù),。

多模態(tài)能讓模型更好理解學(xué)習(xí),，并且能讓模型的空間推理能力更強(qiáng)，一定是提升AI能力的重要方向,。

醫(yī)療將是AI應(yīng)用的最重要領(lǐng)域之一,，AI的發(fā)展無法阻擋。

Ilya是完美的研究伙伴,，他的直覺非常靈敏

Hinton：我想起當(dāng)時(shí)從英格蘭第一次來到卡內(nèi)基梅隆大學(xué),。是在英格蘭的研究部門，下午6點(diǎn)后一般都會去酒吧喝酒,。但我來了幾周后的一個(gè)周六晚上,，一個(gè)朋友都沒有，也不知道能做什么,。我實(shí)驗(yàn)室有要用的機(jī)器機(jī),，但家里沒有，所以決定去實(shí)驗(yàn)室編程,。

于是我在周六晚上9點(diǎn)左右來到實(shí)驗(yàn)室,，所有的學(xué)生都在那里,，擠滿了人。他們都在那里,。他們都相信自己在研究未來,，接下來做的事情,，將改變計(jì)算機(jī)科學(xué)的發(fā)展,，這與英格蘭的情況完全不同。所以這令我耳目一新,。

主持人：帶我回到最初在劍橋探索腦科學(xué)的日子,。那時(shí)候什么感覺？

Hinton：說實(shí)話,，很失望,。我學(xué)的生理學(xué)，夏季學(xué)期教大腦的工作方式,，結(jié)果只教了神經(jīng)元如何傳導(dǎo)動作電位,。確實(shí)有趣，但并沒有說明白大腦究竟如何工作,，所以我比較失望,。我后面轉(zhuǎn)去學(xué)哲學(xué)，希望能學(xué)到思維是如何運(yùn)作的,。但同樣失望,。

我最后去愛丁堡大學(xué)學(xué)習(xí)人工智能，那更有趣,。至少可以進(jìn)行模擬,，可以測試?yán)碚摗?/p>

主持人：還記得開始是對人工智能的哪些方面感興趣嗎？有沒有特定的一篇論文或者科學(xué)家,，讓你發(fā)現(xiàn)了有意思的點(diǎn)子。

Hinton：唐納德·赫布的一本書對我影響頗深,。他對如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的連接強(qiáng)度非常感興趣。我還讀過約翰·馮·諾伊曼的一本書,，關(guān)注大腦如何計(jì)算、大腦計(jì)算方式與普通計(jì)算機(jī)的差異,。

主持人：你在愛丁堡的時(shí)候,，覺得這些接觸到的想法以后會有用嗎,？你那時(shí)候的直覺是怎樣的,？

Hinton：在我看來，我們需要遵循大腦本身的學(xué)習(xí)方法。顯然,，大腦不可能將所有東西先編程,，然后使用邏輯推理,，這從一開始就顯得不太對。所以必須弄清楚,，大腦是如何學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)中的連接,，去處理復(fù)雜任務(wù),。馮·諾伊曼和圖靈都相信這一點(diǎn)，他們都非常擅長邏輯,，但他們不相信這種邏輯方法。

主持人：學(xué)習(xí)神經(jīng)科學(xué)，僅僅做人工智能里的算法，你在二者之間如何分配精力的？你在早期受到了多少啟發(fā),？

Hinton：我對神經(jīng)科學(xué)研究不多,，主要受到的啟發(fā)來自大腦的工作方式,。大腦有一大堆神經(jīng)元，執(zhí)行相對簡單的操作，工作又是非線性的，但它們能接收輸入，進(jìn)行加權(quán),，然后在此基礎(chǔ)上輸出,。問題是，到底如何改變權(quán)重使整個(gè)系統(tǒng)做一些厲害的事,？這個(gè)問題看上去相當(dāng)簡單,。

主持人：那個(gè)時(shí)候，你和誰有合作,？

Hinton：我在卡內(nèi)基梅隆大學(xué)做研究，但主要合作者并不是卡內(nèi)基梅隆大學(xué)的,。我與特倫斯·謝諾夫斯基（注：他與杰弗里·辛頓共同發(fā)明了玻爾茲曼機(jī)）往來比較多,。他在巴爾的摩的約翰霍普金斯大學(xué)。應(yīng)該是每個(gè)月一次,，要么他開車來匹茲堡,，要么我開去巴爾的摩，距離是250英里,。我們會用周末時(shí)間研究玻爾茲曼機(jī),。合作非常愉快，我們都相信這是大腦的工作方式,，這是我做過的最令人興奮的研究,。也許有很多成果也很棒，但我認(rèn)為那不是大腦的工作方式,。

我還與彼得·布朗有很好的合作,，他是優(yōu)秀的統(tǒng)計(jì)學(xué)家，IBM從事語音識別工作,。所以,，到卡內(nèi)基梅隆大學(xué)攻讀博士學(xué)位時(shí)，他作為學(xué)生已經(jīng)很成熟,，已經(jīng)知道很多,。他教了我很多關(guān)于語音的知識。事實(shí)上,，他教了我關(guān)于隱馬爾可夫模型的知識,。這就是我理想的學(xué)生：從他那里學(xué)到的，比我教他的還多,。他教我隱馬爾可夫模型時(shí),，我正在使用帶有隱藏層的反向傳播。那時(shí)候還不叫隱藏層,，但我決定使用馬爾可夫模型中的命名方式,，這個(gè)叫法能很好地表示究竟在做什么的變量?？傊?，這就是神經(jīng)網(wǎng)絡(luò)中隱藏一詞的來源。

主持人：談?wù)処lya出現(xiàn)在你辦公室的時(shí)候吧。

Hinton：那時(shí)候我在辦公室,，應(yīng)該是個(gè)周日,，我在編程，然后有人敲門,。敲門聲很急促,，和一般敲門不太一樣。我開門發(fā)現(xiàn)是一個(gè)年輕的學(xué)生,。他說整個(gè)夏天他都在炸薯?xiàng)l,，但他更愿意在我的實(shí)驗(yàn)室工作。所以我說,，約個(gè)時(shí)間來聊聊,？然后他說，不如就現(xiàn)在,？Ilya就是這樣的人,。于是我們聊了下，我給他一篇文章讀,，是關(guān)于反向傳播的Nature期刊論文,。

我們約定一周后再次見面，他回來了,，他說他不太明白,。我挺失望的，本來看起來蠻聰明,。這只是鏈?zhǔn)椒▌t,，理解它并不難。他說：不,，我理解鏈?zhǔn)椒▌t，我只是不理解,，為什么你不把梯度賦予一個(gè)合理的函數(shù)優(yōu)化器,。好家伙，他提出的問題讓我們思考了好幾年,。他總是是這樣,，對問題的直覺非常好，總是能提出好的想法,。

主持人：Ilya為什么有這種直覺,？

Hinton：我不知道?；蛟S他總是獨(dú)立思考,，很小就對人工智能感興趣。他也很擅長數(shù)學(xué)。但我不知道為什么他直覺那么準(zhǔn),。

主持人：你和他之間,，合作分工是怎樣的？

Hinton：真是很有趣,。記得有一次,，我們試著用數(shù)據(jù)制作復(fù)雜的地圖，用的是一種混合模型,，所以你可以使用相似性來制作兩張地圖,，使得在一張地圖上，河岸可以靠近綠地,，而在另一張地圖上,，河岸可以靠近河流。因?yàn)樵谝粡埖貓D上,，你不能讓它同時(shí)靠近兩者,，河流和綠地相距很遠(yuǎn)。所以有了混合地圖,，我們在MATLAB中進(jìn)行操作,，這涉及到對代碼進(jìn)行大量重組，進(jìn)行正確的矩陣乘法,。

然后他就做得煩了,。有一天他來找我說，我要為MATLAB編寫一個(gè)交互界面,，就可以用另一種語言編程,，然后把它轉(zhuǎn)換成MATLAB。我說,，不,，Ilya，那將花費(fèi)你一個(gè)月的時(shí)間,。這個(gè)項(xiàng)目要繼續(xù),，不能被那個(gè)分散注意力。Ilya說,，沒關(guān)系,，我早上就做好了。

主持人：簡直不可思議,！這些年來,，最大的變化不僅僅體現(xiàn)在算法，還有規(guī)模,。你如何看待,？

Hinton：Ilya很早就看到這點(diǎn),，總是說，規(guī)模更大,，表現(xiàn)更好,。我之前總覺得站不住腳，新的想法還是需要的,。但事實(shí)證明,，他的判斷基本上是正確的。像Transformers這樣的算法確實(shí)很有用,，但真正起作用的,，是數(shù)據(jù)和計(jì)算的規(guī)模。當(dāng)時(shí)想象不到計(jì)算機(jī)會快上數(shù)十億倍,，覺得快上一百倍了不得了,，于是試著提出巧妙的想法來解決問題。然而,，有更大的數(shù)據(jù)和計(jì)算規(guī)模,，很多問題就迎刃而解了。

大約在2011年,，Ilya和另一個(gè)叫James Martins的研究生與我合作,，寫了一篇關(guān)于字符級預(yù)測的論文。使用維基百科,，并試圖預(yù)測下一個(gè)HTML字符,。用的是GPU上的一個(gè)很好的優(yōu)化器，效果出乎意料的好,。我們從未真正相信它理解了任何東西,，但它看起來又好像理解了，這似乎讓人難以相信,。

神經(jīng)網(wǎng)絡(luò)不僅僅是記住訓(xùn)練數(shù)據(jù),，而是在“理解”，推理能力的提高指日可待

主持人：能解釋一下模型如何預(yù)測下一個(gè)單詞,，以及這樣認(rèn)識他們?yōu)楹问清e誤的,？

Hinton：好吧，我其實(shí)覺得這不算錯,。

事實(shí)上，我認(rèn)為我制作了第一個(gè)使用嵌入和反向傳播的神經(jīng)網(wǎng)絡(luò)語言模型,。數(shù)據(jù)非常簡單,，只是三元組，將每個(gè)符號（Symbol）轉(zhuǎn)換為一個(gè)嵌入（embedding）,，然后讓嵌入相互作用以預(yù)測下一個(gè)符號的嵌入,，然后從該嵌入中預(yù)測下一個(gè)符號，然后通過整個(gè)過程反向傳播以學(xué)習(xí)這些三元組。大約10年后,，Yoshua Bengio（圖靈獎得主）使用非常相似的網(wǎng)絡(luò),，展示了它在真實(shí)文本上的效果。大約10年后,，語言學(xué)家開始相信嵌入,。這有一個(gè)發(fā)展的過程。

我認(rèn)為它不僅僅是預(yù)測下一個(gè)符號,。

問一個(gè)問題,，答案第一個(gè)單詞是下一個(gè)符號，那就必須理解這個(gè)問題,。大多數(shù)人認(rèn)為的“自動填充”則是,，看到不同的單詞出現(xiàn)在第三位的頻率，這樣就可以預(yù)測下一個(gè)符號,。但其實(shí)不是這樣,。

為了預(yù)測下一個(gè)符號，必須理解正在說什么,。我們是通過讓它預(yù)測下一個(gè)符號,，迫使它理解。很多人說,，它們不像人類那樣推理,，只是在預(yù)測下一個(gè)符號。但我認(rèn)為,，它的理解方式像我們一樣,。為了預(yù)測下一個(gè)符號，它必須進(jìn)行一些推理?，F(xiàn)在已經(jīng)看到,，你制作一個(gè)大的模型，不添加任何特殊的推理內(nèi)容,，它們也已經(jīng)可以進(jìn)行一些推理,。規(guī)模越大，它們未來能進(jìn)行的推理也更多,。

主持人：現(xiàn)在除了預(yù)測下一個(gè)符號外,，還做了其他什么嗎？

Hinton：這就是學(xué)習(xí)的方式,。不管是預(yù)測下一個(gè)視頻幀,，還是預(yù)測下一個(gè)聲音。我覺得這就是解釋大腦學(xué)習(xí)的十分合理的理論,。

主持人：為什么這些模型能夠?qū)W習(xí)如此廣泛的領(lǐng)域,？

Hinton：大語言模型所做的，是尋找事物之間共同的結(jié)構(gòu),?；诠餐Y(jié)構(gòu)對事物進(jìn)行編碼，這樣一來效率很高,。

舉個(gè)例子,。問GPT-4，為什么堆肥堆像原子彈,？大多數(shù)人都無法回答這個(gè)問題,，覺得原子彈和堆肥堆是非常不同的東西。但GPT-4會告訴你,，盡管能量,、時(shí)間尺度不同，但相同的是,，堆肥堆變熱時(shí)會更快地產(chǎn)生熱量,；原子彈產(chǎn)生更多的中子時(shí)，產(chǎn)生中子的速度也會隨之加快,。這就引出了鏈?zhǔn)椒磻?yīng)的概念,。通過這種理解，所有的信息都被壓縮到它自己的權(quán)重中,。

這樣一來,，它將能處理人類尚未見過的數(shù)百種類比，這些看似不相關(guān)的類比,，正是創(chuàng)造力的源泉,。我想，GPT-4變得更大時(shí),，創(chuàng)造力將非常高,。如果只是覺得，它只在反芻學(xué)過的知識,，只是將它已經(jīng)學(xué)過的文本拼湊在一起,，那就小看它的創(chuàng)造力了。

主持人：你可能會說,，它會超越人類的認(rèn)知,。盡管我們看到了一些例子，但貌似尚未真正見到你說的這點(diǎn),。很大程度上,，我們?nèi)匀惶幱诋?dāng)前的科學(xué)水平。你認(rèn)為什么能讓它開始有所超越呢,？

Hinton：我覺得在特定情況中已經(jīng)看到這點(diǎn)了,。以AlphaGo為例。與李世石的那場著名比賽中,，AlphaGo的第37步,，所有專家看來都覺得是錯棋，但后來他們意識到這又是一步妙棋,。

這已經(jīng)是在那個(gè)有限的領(lǐng)域內(nèi),，頗具創(chuàng)造力的動作。隨著模型規(guī)模增加,，這樣的例子會更多的,。

主持人：AlphaGo的不同之處在于，它使用了強(qiáng)化學(xué)習(xí),，能夠超越當(dāng)前狀態(tài),。它從模仿學(xué)習(xí)開始，觀察人類如何在棋盤上博弈,，然后通過自我對弈,，最終有所超越。你認(rèn)為這是當(dāng)前數(shù)據(jù)實(shí)驗(yàn)室缺少的嗎,？

Hinton：我認(rèn)為這很可能有所缺失,。AlphaGo和AlphaZero的自我對弈，是它能夠做出這些創(chuàng)造性舉動的重要原因,。但這不是完全必要的,。

很久以前我做過一個(gè)小實(shí)驗(yàn)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別手寫數(shù)字,。給它訓(xùn)練數(shù)據(jù),，一半的答案是錯誤的。它能學(xué)得多好,？你把一半的答案弄錯一次,，然后保持這種狀態(tài)。所以,，它不能通過只看同一個(gè)例子來把錯誤率平均,。有時(shí)答案正確，有時(shí)答案錯誤,，訓(xùn)練數(shù)據(jù)的誤差為50%,。

但是你訓(xùn)練反向傳播，誤差會降到5%或更低,。換句話說,，從標(biāo)記不良的數(shù)據(jù)中，它可以得到更好的結(jié)果,。它可以看到訓(xùn)練數(shù)據(jù)是錯誤的,。

聰明的學(xué)生能比他們的導(dǎo)師更聰明,。即使接收了導(dǎo)師傳授的所有內(nèi)容，但他們能取其精華去其糟粕,，最終比導(dǎo)師更聰明,。因此，這些大型神經(jīng)網(wǎng)絡(luò),，其實(shí)具有超越訓(xùn)練數(shù)據(jù)的能力,，大多數(shù)人沒有意識到。

主持人：這些模型能夠獲得推理能力嗎,？一種可能的方法是,，在這些模型之上添加某種啟發(fā)式方法。目前,，許多研究都在嘗試這種,，即將一個(gè)思維鏈的推理反饋到模型自身中。另一種可能的方法是,，在模型本身中增加參數(shù)規(guī)模,。你對此有何看法？

Hinton：我的直覺告訴我,，模型規(guī)模擴(kuò)大后,，推理能力也能提升。

人們?nèi)绾喂ぷ?？大致來說,，人類有直覺進(jìn)行推理，再用推理來糾正我們的直覺,。當(dāng)然,，在推理過程中也會使用直覺。假設(shè)推理的結(jié)論與直覺沖突,，我們就會意識到需要糾正直覺,。

這與AlphaGo或AlphaZero的工作方式類似，它們有一個(gè)評估函數(shù),，只需看一眼棋盤,，然后判斷“這對我來說有多好？”但是,，進(jìn)行蒙特卡羅推演時(shí),，你會得到一個(gè)更準(zhǔn)確的想法，你可以修改你的評估函數(shù),。因此,，通過讓模型接受推理的結(jié)果，來對模型進(jìn)行訓(xùn)練。

大語言模型必須開始這樣做,，必須開始通過推理,，來訓(xùn)練模型的直覺，知道下一步做什么,，并意識到什么是不對的,。這樣，他們就可以獲得更多的訓(xùn)練數(shù)據(jù),，而不僅僅是模仿人類。這正是AlphaGo能夠做出第37步妙棋的原因,，它擁有更多的訓(xùn)練數(shù)據(jù),，因?yàn)樗褂猛评韥頇z查下一步應(yīng)該是什么。

多模態(tài)讓模型學(xué)習(xí)更加容易,，同時(shí)利于空間推理

主持人：你對多模態(tài)有何看法,？我們談到了這些類比，而這些類比往往遠(yuǎn)遠(yuǎn)超出了我們所能看到的范圍,。模型發(fā)現(xiàn)的類比遠(yuǎn)遠(yuǎn)超出了人類的能力,，可能是在我們永遠(yuǎn)無法理解的抽象層面上。現(xiàn)在,，當(dāng)我們將圖像,、視頻和聲音引入其中時(shí)，你認(rèn)為這會如何改變模型,？你認(rèn)為它將如何改變,，它能夠進(jìn)行的類比？

Hinton：這將帶來很大的改變,。例如,，它將使模型更好地理解空間事物。僅從語言角度來看,，很難理解一些空間事物,。盡管值得注意的是，即使在成為多模態(tài)之前,，GPT-4也能做到這一點(diǎn),。但是，當(dāng)你讓模型成為多模態(tài)時(shí),，如果你讓它既能做視覺,，又能伸手抓東西，它能拿起物體并翻轉(zhuǎn)它們等等,，它就會更好地理解物體,。因此，雖然可以從語言中學(xué)到很多東西,，但如果是多模態(tài),，學(xué)習(xí)起來會更容易,。事實(shí)上，需要的語言更少,。

多模態(tài)模型顯然會占據(jù)主導(dǎo)地位,。你可以通過這種方式獲得更多數(shù)據(jù)，它們需要的語言會更少,。當(dāng)然,，可以僅從語言中學(xué)習(xí)出一個(gè)非常好的模型，但從多模態(tài)系統(tǒng)中學(xué)習(xí)要容易得多,。

主持人：你認(rèn)為這將如何影響模型的推理能力,？

Hinton：我認(rèn)為它將使空間推理變得更好，例如,，實(shí)際嘗試撿起物體,，會得到各種有用的訓(xùn)練數(shù)據(jù)。

主持人：你認(rèn)為人類大腦的進(jìn)化服務(wù)于語言,，還是說語言的進(jìn)步是服務(wù)于人類大腦,？

Hinton：這是一個(gè)非常好的問題，我認(rèn)為兩者是共存的,。我曾經(jīng)認(rèn)為,，可以完全不需要語言去進(jìn)行大量的認(rèn)知活動，但現(xiàn)在我的想法有所改變,。

那么,，我將給出三種不同的語言觀點(diǎn)以及它們與認(rèn)知的關(guān)系。

一種觀點(diǎn)是陳舊的符號觀點(diǎn),，即認(rèn)知包括使用某種經(jīng)過清理的邏輯語言中的符號串,，這些語言沒有歧義，并應(yīng)用推理規(guī)則,。這就是認(rèn)知——只是對語言符號串之類的事物進(jìn)行符號操作,。這是一種極端觀點(diǎn)。

另一種極端觀點(diǎn)是,，一旦你進(jìn)入頭腦,，它就全是向量。符號進(jìn)來了,，把這些符號轉(zhuǎn)換成大向量,，所有內(nèi)容都是用大向量完成的，然后想產(chǎn)生輸出,，又會生成符號,。2014年左右，機(jī)器翻譯中有一個(gè)說法，當(dāng)時(shí)人們使用循環(huán)神經(jīng)網(wǎng)絡(luò),，單詞會不斷進(jìn)入,，它們會有一個(gè)隱藏狀態(tài)，它們會在這個(gè)隱藏狀態(tài)下不斷積累信息,。因此,，當(dāng)它們讀完一個(gè)句子時(shí)，它們會得到一個(gè)大的隱藏向量,，它捕捉到了該句子的含義,，然后可以用來生成另一種語言的句子。這被稱為思維向量,。這是對語言的第二種看法——將語言轉(zhuǎn)換成一個(gè)與語言完全不同的大向量,，這就是認(rèn)知的全部內(nèi)容。

第三種觀點(diǎn),，也是我現(xiàn)在所相信的，即你采用這些符號,，將符號轉(zhuǎn)換成嵌入,，并使用多層嵌入，這樣你就得到了這些非常豐富的嵌入,。但是嵌入仍然與符號相關(guān)聯(lián),，從某種意義上說，你有一個(gè)用于這個(gè)符號的大向量,，以及一個(gè)用于那個(gè)符號的大向量,。這些向量相互作用，產(chǎn)生下一個(gè)單詞的符號的向量,。這就是理解的本質(zhì)——知道如何將符號轉(zhuǎn)換成這些向量,，并知道向量的元素應(yīng)該如何相互作用，從而預(yù)測下一個(gè)符號的向量,。無論是在這些大型語言模型中,，還是在我們的大腦中，理解就是這樣進(jìn)行的,。這是一個(gè)介于兩者之間的例子,。你繼續(xù)使用符號，但將它們解釋為這些大向量,，這就是所有工作所在,。所有的知識都在于你使用的向量以及這些向量的元素如何相互作用，而不是符號規(guī)則,。

這并不是說,，能完全擺脫符號。而是將符號變成大向量，保留符號的表面結(jié)構(gòu),。這就是這些模型的工作方式,。在我看來，這也是人類思維比較合理的模型,。

借助共享權(quán)重,，數(shù)字系統(tǒng)的思維遷移十分高效

主持人：您是最早想到使用GPU的人之一，我知道Jensen（黃仁勛）很喜歡你,。2009年你就告訴Jensen,，這可能是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)絕佳辦法。當(dāng)初要使用圖形處理單元（GPU）訓(xùn)練神經(jīng)網(wǎng)絡(luò),，您是怎么想的,？

Hinton：記得在2006年，我有位研究生,，是十分優(yōu)秀的計(jì)算機(jī)視覺專家,。一次會議上，他建議我考慮使用圖形處理卡（GPU）,，因?yàn)樗鼈冊诰仃嚦朔ǚ矫姹憩F(xiàn)出色,，我所做的基本上都是矩陣乘法。我考慮了下,，然后我們開始研究配備四個(gè)GPU的Tesla系統(tǒng),。

我們一開始只是購買了游戲用的GPU，發(fā)現(xiàn)它們將運(yùn)算速度提高了30倍,。然后又買了一個(gè)配備四個(gè)GPU的Tesla系統(tǒng),，并在此基礎(chǔ)上進(jìn)行了一次公開匯報(bào)，效果非常好,。2009年,，我在NIPS會議上發(fā)表了演講，告訴在場的一千名機(jī)器學(xué)習(xí)研究人員：你們都應(yīng)該去購買NVIDIA的GPU,，它們是未來,，你們需要GPU進(jìn)行機(jī)器學(xué)習(xí)。

我還給NVIDIA發(fā)了一封郵件,，說我已經(jīng)動員一千名機(jī)器學(xué)習(xí)研究人員去購買你們的卡,，你們能不能送我一個(gè)？他們并沒有回復(fù),。但后來把這個(gè)故事告訴Jensen時(shí),，他免費(fèi)給了我一個(gè)（要顯卡，得直接找老板談）,。

主持人：人工智能發(fā)展過程中,，GPU其實(shí)也在發(fā)展,。在計(jì)算領(lǐng)域，我們路在何方,？

Hinton：我在谷歌的最后幾年里,，其實(shí)一直在思考模擬計(jì)算。這樣,，我們可以使用 30 瓦的功率（例如大腦）,，而不是使用一兆瓦的功率。我希望在模擬硬件中,，運(yùn)行這些大型語言模型,。雖然從來沒實(shí)現(xiàn)，但我開始真正重視數(shù)字計(jì)算,。

使用低功耗的模擬計(jì)算,，每個(gè)硬件部分都會有所不同，即需要學(xué)習(xí)利用特定硬件的屬性,。這就是人們身上正在經(jīng)歷的,。人和人的大腦都是不同的。我們不能將你大腦中的權(quán)重,，放入我的大腦中,。硬件不同，各個(gè)神經(jīng)元的精確屬性也不同,。我們最后都會死去，我腦中的權(quán)重,，對其他大腦也毫無用處,。

我們可以很低效地將信息從一個(gè)人傳遞給另一個(gè)人。我寫句子,，你想辦法改變你思維里的權(quán)重,，你就會說同樣的話。這其實(shí)叫做提煉,，但這種知識交流非常低效,。

數(shù)字系統(tǒng)卻不同，它們不會死去,。一旦有了一些權(quán)重,，計(jì)算機(jī)這個(gè)殼就不重要了。只需將權(quán)重存儲在某個(gè)磁帶或者什么上,，就可以把同樣的權(quán)重轉(zhuǎn)移進(jìn)另一臺計(jì)算機(jī),。如果是數(shù)字的，它就可以與其他系統(tǒng)一樣計(jì)算,。所以,，數(shù)字系統(tǒng)能夠以極高效率共享權(quán)重,，甚至還能迭代。假設(shè)你有一大把數(shù)字系統(tǒng),，從相同的權(quán)重開始,，各自進(jìn)行微量的學(xué)習(xí)，還能再次共享權(quán)重,，這樣它們都能知道其他系統(tǒng)學(xué)到了什么,，甚至完成了迭代。人類無法做到這一點(diǎn),，在知識共享上,，數(shù)字系統(tǒng)比我們做得好太多。

主持人：許多已經(jīng)在該領(lǐng)域?qū)嵤┑南敕?，其?shí)都是非常傳統(tǒng)的,，因?yàn)檫@些想法在神經(jīng)科學(xué)中一直存在。那么,，你認(rèn)為還有哪些想法可以應(yīng)用于我們正在開發(fā)的系統(tǒng)呢,？

Hinton：因此，我們?nèi)孕枳汾s神經(jīng)科學(xué)的發(fā)展,。

在幾乎所有的神經(jīng)網(wǎng)絡(luò)中,，都存在一個(gè)快速的活動變化時(shí)間尺度。因此,，當(dāng)輸入進(jìn)來后,，活動和嵌入向量都會發(fā)生變化，然后有一個(gè)緩慢的時(shí)間尺度會改變權(quán)重,。這就是長期學(xué)習(xí),。

你只有這兩個(gè)時(shí)間尺度。然而在大腦中,，權(quán)重會改變的時(shí)間尺度很多,。例如，我說一個(gè)意想不到的詞,，比如“黃瓜”,，五分鐘后，你戴上耳機(jī),，會聽到很多噪音,，而且單詞非常模糊，但你會更好地識別“黃瓜”這個(gè)詞,，因?yàn)槲椅宸昼娗罢f過這個(gè)詞,。大腦中的這些知識是如何存儲的呢？這些知識,，顯然是突觸的暫時(shí)變化,，而不是神經(jīng)元在重復(fù)“黃瓜”這個(gè)詞,。你沒有足夠的神經(jīng)元來做這件事。這是權(quán)重的暫時(shí)變化,。你可以用暫時(shí)的權(quán)重變化做很多事情,，我稱之為快速權(quán)重。

我們的神經(jīng)模型并不會這樣做,，原因是,，對依賴于輸入數(shù)據(jù)的權(quán)重進(jìn)行臨時(shí)更改，則無法同時(shí)處理大量不同的情況,。目前,，我們采用大量不同的字符串，將它們堆疊在一起,，然后并行處理它們,，因?yàn)檫@樣我們可以進(jìn)行矩陣乘法，效率要高得多,。正是這種效率,，阻止了我們使用快速權(quán)重。但大腦顯然將快速權(quán)重用于臨時(shí)記憶,。而且,，你可以通過這種方式。做各種我們目前不做的事情,。

我認(rèn)為這是你必須學(xué)習(xí)的最重要的事情之一,。我非常希望像Graphcore（一家英國的AI芯片公司）這樣的設(shè)備，它們采用順序方式,，并只進(jìn)行在線學(xué)習(xí),，那么它們就可以使用快速權(quán)重。但這還沒有奏效,。或許當(dāng)人們使用電導(dǎo)作為權(quán)重時(shí),，最終它會奏效,。

官網(wǎng)截圖：https://www.graphcore.ai/

主持人：了解這些模型如何工作，了解大腦如何工作,，對你的思維方式有何影響,？

Hinton：多年來，人們非?？床黄鸫笮碗S機(jī)神經(jīng)網(wǎng)絡(luò),，只要給它大量的訓(xùn)練數(shù)據(jù)，它就會學(xué)會做復(fù)雜的事情的想法,。你和統(tǒng)計(jì)學(xué)家或語言學(xué)家,，或者大多數(shù)人工智能領(lǐng)域的人交談,，他們會說，那只是一個(gè)白日夢,。沒有某種先天知識,，沒有很多架構(gòu)限制，模型就不可能學(xué)會真正復(fù)雜的事情,。以為隨便用一個(gè)大型神經(jīng)網(wǎng)絡(luò),，就能從數(shù)據(jù)中學(xué)習(xí)一大堆東西——但這是完全錯誤的。

隨機(jī)梯度下降,，即使用梯度反復(fù)調(diào)整權(quán)重,，也可以學(xué)習(xí)非常復(fù)雜的東西，這些大型模型已經(jīng)證實(shí)了這一點(diǎn),。這是對大腦理解的一個(gè)重要觀點(diǎn),。大腦并不需要擁有所有的先天結(jié)構(gòu)。即使大腦確實(shí)擁有許多先天結(jié)構(gòu),，但對易于學(xué)習(xí)的事物,，又并不需要這些先天結(jié)構(gòu)。

喬姆斯基的觀點(diǎn)是,，只有當(dāng)知識本身無比扎實(shí),、成熟，才能學(xué)習(xí)像語言這樣復(fù)雜的事物,。然而現(xiàn)在看來,，這種觀點(diǎn)顯然很荒謬。

主持人：喬姆斯基會很高興看到你說他的觀點(diǎn)很荒謬,。

Hinton：喬姆斯基的許多政治觀點(diǎn)非常明智,。我很驚訝，為什么一個(gè)在中東問題上觀點(diǎn)如此明智的人,，在語言學(xué)方面會犯如此大的錯誤,。

主持人：你認(rèn)為什么會讓這些模型有效模擬人類的意識？現(xiàn)在的 ChatGPT 每次都從頭開始,，刪除對話的記憶,。如果有一個(gè)你一生中與之交談過的人工智能助手，它能自我反省,。有一天,，你去世了，你認(rèn)為助手在那個(gè)時(shí)候會有感覺嗎,？

Hinton：我認(rèn)為他們也會有感覺,。所以我認(rèn)為，就像我們有這種感知的內(nèi)在劇場模型一樣,，我們也有一個(gè)感覺的內(nèi)在劇場模型,。這些是我能體驗(yàn)到的東西,，但其他人卻不能。我認(rèn)為那個(gè)模型同樣是錯誤的,。我認(rèn)為,，假設(shè)我說，我想打Gary的鼻子,，我經(jīng)常這樣做,。讓我們試著從內(nèi)心劇場的概念中總結(jié)出這一點(diǎn)——我真正想告訴你的是，如果不是因?yàn)槲业念~葉受到抑制,，我就會采取行動,。所以當(dāng)談?wù)摳杏X時(shí)，我們實(shí)際上是在談?wù)摏]有限制的情況下會采取的行動,。這就是感覺的真正含義——沒有限制時(shí),，我們會采取的行動。所以沒有理由說這些東西不能有感覺,。

在 1973 年,，我看到過有情感的機(jī)器人。他們在愛丁堡有一個(gè)帶有兩個(gè)夾子的機(jī)器人,，如果你把零件分開放在一塊綠色毛氈上,，它可以組裝一輛玩具車。但是你把零件堆在一起,，機(jī)器人視力不夠,，看不清零件。就會把夾子放在一起把零件敲散,，再拼一起,。要是看到一個(gè)人類這么做，你會說這個(gè)他不太理解情況,，很生氣,，所以才敲散了零件。

主持人：在我們之前的談話中,，你把人類和LLM描述為擅長做類比機(jī)器（analogy machines）,。你一生中發(fā)現(xiàn)的，最有力的類比是什么,？

Hinton：我想可能對我影響很大的一種弱類比,，是宗教和符號處理之間的類比,。

我來自一個(gè)無神論家庭,，我小時(shí)候上學(xué)時(shí)就面臨著宗教信仰。在我看來,，這簡直是無稽之談,。即使我再次審視,，我仍然認(rèn)為這是無稽之談。有人將符號處理視為對人們工作方式時(shí),，我認(rèn)為這種觀點(diǎn)依然荒謬,。

但我不認(rèn)為現(xiàn)在的觀點(diǎn)完全是荒謬的，我們確實(shí)在進(jìn)行符號處理,，我們把大的嵌入向量賦予給符號,。但不是像人們以為的那樣，單單匹配符號——符號的唯一屬性就是與另一個(gè)符號異同,，讓這成為符號的唯一屬性,。但我們并不是這樣做的。我們用上下文,，為符號提供嵌入向量,；借助嵌入向量組成部分之間的交互，我們才能進(jìn)行思考,。

有位非常優(yōu)秀的谷歌研究員叫 Fernando Pereira,。他認(rèn)為，我們確實(shí)在進(jìn)行符號推理,，但唯一符號就是自然語言,。我們把自然語言作為符號語言進(jìn)行推理。我現(xiàn)在覺得這很正確,。

很難因?yàn)榘踩珕栴}減緩AI研究,，看好醫(yī)療保健應(yīng)用

主持人：你已經(jīng)進(jìn)行了一些計(jì)算機(jī)科學(xué)史上最有意義的研究。你能給我們講講,，你是如何發(fā)現(xiàn)合適的研究問題的,？

Hinton：首先，我要糾正你一下,，是我和學(xué)生一起完成了很多有意義的研究,。這離不開我與學(xué)生的良好合作，離不開我發(fā)現(xiàn)優(yōu)秀學(xué)生的能力,。從70年代到本世紀(jì)初,，研究神經(jīng)網(wǎng)絡(luò)的人不多。我作為少數(shù)研究神經(jīng)網(wǎng)絡(luò)的人,，可以選到最優(yōu)秀的學(xué)生,。這非常幸運(yùn)。

科學(xué)家都有自己的一套研究方法理論,，雖然很多科學(xué)家會總結(jié)一套自己的研究方法理論,，但是實(shí)際上他們不一定真的是這么做的。但我還是想說，我的理論是,，我會尋找那些人人都贊同,、但直覺又能感覺出有點(diǎn)不對的問題。然后我就把這個(gè)定為研究問題,，看看我是否能深入,，說清楚我認(rèn)為它是錯的原因。比如也許我能用一個(gè)小的計(jì)算機(jī)程序做個(gè)demo,，說明大家的預(yù)期是錯的,。

讓我舉一個(gè)例子。很多人認(rèn)為,，給神經(jīng)網(wǎng)絡(luò)添加噪音會讓結(jié)果變得更糟,。如果訓(xùn)練示例，讓一半的神經(jīng)元保持沉默,，效果就會更糟,。然而實(shí)際上，這樣做的話會帶來更好的泛化效果,。你可以用一個(gè)簡單的例子來證明這一點(diǎn),。這就是計(jì)算機(jī)模擬的優(yōu)點(diǎn)。你可以證明,，增加噪音會使情況變得更糟,，去掉一半的神經(jīng)元，會使它工作得更糟,。短期內(nèi)確實(shí)如此,。但你這樣訓(xùn)練它，最終它會工作得更好,。你可以用一個(gè)小型計(jì)算機(jī)程序來證明這一點(diǎn),，然后你可以認(rèn)真思考為什么會這樣，以及它如何阻止復(fù)雜的協(xié)同適應(yīng),。

這是我的研究方法,。找到并研究那些看上去不可靠的事情，看看自己能否給出簡單demo,，說明為什么錯誤,。

主持人：你覺得現(xiàn)在有什么不可靠的點(diǎn)呢？

Hinton：我們不使用快速權(quán)重的做法,，貌似不是很可靠,，我們只有兩個(gè)時(shí)間尺度，這完全是錯誤的,，一點(diǎn)不像大腦的工作方式,。從長遠(yuǎn)來看，肯定要有更多的時(shí)間尺度。這只是一個(gè)例子,。

主持人：我們談到了推理、時(shí)間尺度,。假設(shè)一群學(xué)生來問你,，你的領(lǐng)域中最重要的問題是什么？你又會給他們什么最值得研究的問題,？

Hinton：對于我來說,，現(xiàn)在的問題和我過去 30 年來一直存在的問題是一樣的，那就是大腦會進(jìn)行反向傳播嗎,？我相信大腦會獲得梯度,。你得不到梯度，你的學(xué)習(xí)效果就會比得到梯度時(shí)差很多,。但是大腦是如何獲得梯度的,？它是以某種方式實(shí)現(xiàn)某種近似版本的反向傳播，還是某種完全不同的技術(shù),？這是一個(gè)懸而未決的大問題,。我繼續(xù)做研究的話，這就是我要研究的內(nèi)容,。

主持人：當(dāng)你現(xiàn)在回顧你的研究生涯時(shí),，你會發(fā)現(xiàn)你在很多事情上都是對的。但是你在什么地方做錯了,，以至于你希望自己花更少的時(shí)間,？

Hinton：這是兩個(gè)獨(dú)立的問題。一是錯在什么地方,，二是是否希望自己花更少的時(shí)間在這上面,。

我認(rèn)為我對玻爾茲曼機(jī)的看法是錯誤的，我很高興我花了很長時(shí)間研究它,。關(guān)于如何獲得梯度,，有比反向傳播更漂亮的理論。反向傳播很普通,，很明智,，它只是一個(gè)鏈?zhǔn)椒▌t。玻爾茲曼機(jī)很聰明,，它是一種獲取梯度的非常有趣的方法,。我希望大腦也能這樣工作，但事實(shí)應(yīng)該并非如此,。

主持人：您是否也花了很多時(shí)間想象,，這些系統(tǒng)開發(fā)后會發(fā)生什么？您是否曾經(jīng)想過，我們能讓這些系統(tǒng)運(yùn)行良好,，我們就能讓教育民主化,，讓知識更容易獲得，解決醫(yī)學(xué)上的一些難題,。對您來說,，這更多的是了解大腦？

Hinton：科學(xué)家應(yīng)該做一些對社會有益的事情,，但實(shí)際上這并不是開展研究的最佳方式,。當(dāng)好奇心驅(qū)使時(shí)，您會進(jìn)行最好的研究,。您只需要了解一些事情,，僅此而已。

但最近,，我意識到這些技術(shù)是把雙刃劍,，開始更加擔(dān)心它們對社會的影響。但這不是我的研究動機(jī),。我只是想了解,，大腦究竟是如何學(xué)習(xí)做事的？這正是我想要知道的,。但我有點(diǎn)失敗了。作為失敗的副作用,，我們得到了一些不錯的工程,。

主持人：是的，這對世界來說是一次很好的“失敗”,。從真正可能順利的事情的角度來看,，你認(rèn)為最有前途的應(yīng)用是什么？

Hinton：醫(yī)療保健顯然會是很大的應(yīng)用,。社會可以吸收的醫(yī)療保健幾乎是無窮無盡的,。以一位老年人為例，他們可能需要五位全職醫(yī)生的照顧,。因此,，當(dāng)人工智能在某些領(lǐng)域的表現(xiàn)超過人類時(shí)，我們會期待它能在更多領(lǐng)域發(fā)揮更大的作用,。這可能意味著我們需要更多的醫(yī)生,。每個(gè)人都能擁有三位專屬的醫(yī)生，那將是極好的,。我們有望實(shí)現(xiàn)這一目標(biāo),，這也是醫(yī)療保健領(lǐng)域的優(yōu)勢之一,。

此外，新的工程項(xiàng)目和新材料的開發(fā),，例如用于改進(jìn)太陽能電池板或超導(dǎo)性能的材料,，或者僅僅是為了更深入地了解人體的運(yùn)作機(jī)制，都將產(chǎn)生巨大的影響,。這些都是積極的一面,。

然而，我擔(dān)心有政治家可能會利用這些技術(shù)來做邪惡的事情,，比如利用人工智能制造殺人機(jī)器人，操縱輿論或進(jìn)行大規(guī)模監(jiān)控,。這些都是非常令人擔(dān)憂的問題,。

主持人：你是否擔(dān)心，我們放慢這個(gè)領(lǐng)域的發(fā)展速度,，也會阻礙其積極一面的發(fā)展,？

Hinton：當(dāng)然，我有這樣的擔(dān)憂,。我認(rèn)為這個(gè)領(lǐng)域的發(fā)展速度不太可能放慢,，部分原因是它具有國際性。一個(gè)國家選擇放慢發(fā)展速度,，其他國家并不會跟隨,。因此，中國和美國之間顯然存在人工智能領(lǐng)域競爭,，雙方都不會選擇放慢發(fā)展速度,。有人提出我們應(yīng)該放慢六個(gè)月的發(fā)展速度，但我并未簽署這一提議,，因?yàn)槲艺J(rèn)為這種情況永遠(yuǎn)不會發(fā)生,。盡管如此，我可能應(yīng)該簽署這一提議,，因?yàn)榧词惯@種情況永遠(yuǎn)不會發(fā)生,，它也提出了一個(gè)政治觀點(diǎn)。為了表達(dá)觀點(diǎn),，有時(shí)候我們需要提出一些無法實(shí)現(xiàn)的要求,，這往往是一種有效的策略。但我不認(rèn)為我們會放慢發(fā)展的步伐,。

主持人：你認(rèn)為有了這些人工智能助手,，會對 AI 研究過程產(chǎn)生什么影響？

Hinton：我認(rèn)為它們會大大提高研究效率,。有了這些助手,，AI研究將變得更加高效,，它們不僅能幫助你編程，還能幫助你思考問題,，甚至可能在各種方程式方面為你提供很大幫助,。

建立自己的認(rèn)知框架對于獨(dú)立思考來說非常重要

主持人：你是否考慮過人才選拔的過程？這對你來說主要是依賴直覺嗎,？例如,，當(dāng)Ilya出現(xiàn)在門口時(shí)，你會覺得他很聰明,，于是決定與他一起工作,。

Hinton：在人才選拔方面，有時(shí)候你就是能感覺到,。與Ilya交談不久后,，我就覺得他非常聰明。再深入交談幾句,，他的直覺,、數(shù)學(xué)能力都非常出色，這讓我覺得他是理想的合作伙伴,。

還有一次,，我參加了一次NIPS會議。我們有一張海報(bào),，有人走過來,，他開始詢問有關(guān)學(xué)術(shù)海報(bào)上的問題。他提出的每一個(gè)問題都深入地揭示了我們的錯誤,。五分鐘后,，我就給他提供了一個(gè)博士后職位。那個(gè)人就是 David McKay,，他非常聰明,。他去世了，這讓人感到非常遺憾,，但他的才華是顯而易見的,，你會希望能與他一起工作。然而,，有時(shí)候,，情況并不總是那么明顯。

我確實(shí)學(xué)到了一件事,，那就是人與人是不同的,。優(yōu)秀的學(xué)生并不只有一種類型。有些學(xué)生可能沒有那么有創(chuàng)造力,，但他們在技術(shù)上非常強(qiáng),，能夠讓任何事情都成功,。有些學(xué)生在技術(shù)上可能并不出色，但他們卻擁有極高的創(chuàng)造力,。理想的情況下,，我們希望找到的是既有技術(shù)實(shí)力又具備創(chuàng)造力的學(xué)生，但實(shí)際上,，這樣的學(xué)生并不總是那么容易找到,。然而，我認(rèn)為在實(shí)驗(yàn)室環(huán)境中,，我們需要的是各種不同類型的研究生,。

我始終堅(jiān)信我的直覺，有時(shí)候,，你只需要和某人進(jìn)行一次交談,，他們就能理解你的意思。這就是我們所期待的,。

主持人：你是否曾經(jīng)思考過,，為什么有些人的直覺會更強(qiáng)呢,？他們是否只是比其他人擁有更好的訓(xùn)練數(shù)據(jù),？或者，你是如何培養(yǎng)自己的直覺的,？

Hinton：我認(rèn)為,，部分原因在于他們不允許胡說八道。因此,，這里有一種獲取錯誤直覺的方式,，那就是盲目相信你被告知的一切，這是非常危險(xiǎn)的,。我認(rèn)為有些人就是這樣做的,。我覺得有獨(dú)立思考能力的人會有一個(gè)理解現(xiàn)實(shí)的完整框架。當(dāng)有人告訴他們某件事情時(shí),，他們會試圖弄清楚這件事如何融入他們的框架,。無法融入，他們就會予以拒絕,。這是一個(gè)非常好的策略,。

那些試圖將他們被告知的一切都融入自己的框架的人，最終會得到一個(gè)非常模糊的框架,，并且會相信一切,。這是無效的。因此,，我認(rèn)為,，對世界有強(qiáng)烈的看法,，并試圖操縱傳入的事實(shí)以符合自身觀點(diǎn)，是非常重要的,。顯然,，這可能會導(dǎo)致你陷入深刻的宗教信仰和致命缺陷等等，就像我對玻爾茲曼機(jī)器的信仰一樣,。但我認(rèn)為這是正確的做法,。

主持人：當(dāng)你看到今天正在進(jìn)行的研究類型時(shí)，你是否認(rèn)為我們把所有的雞蛋都放在一個(gè)籃子里,，我們應(yīng)該在這個(gè)領(lǐng)域更加多樣化我們的想法,？或者你認(rèn)為這是最有前途的方向然后全力以赴？

Hinton：我認(rèn)為擁有大型模型并在多模態(tài)數(shù)據(jù)上訓(xùn)練它們,，即使只是為了預(yù)測下一個(gè)單詞,，也是一種非常有前途的方法，我們應(yīng)該全力以赴,。顯然,，現(xiàn)在有很多人在做這件事?？吹接泻芏嗳怂坪踉谧霪偪竦氖虑?，這很好。我認(rèn)為大多數(shù)人走這條路是可以的,，它效果很好,。

主持人：你認(rèn)為學(xué)習(xí)算法真的那么重要嗎，還是只是尺度之一,？我們是否有數(shù)百萬種方法可以達(dá)到人類水平的智能,，或者我們需要發(fā)現(xiàn)少數(shù)幾種？

Hinton：特定的學(xué)習(xí)算法是否非常重要,，或者是否有各種各樣的學(xué)習(xí)算法可以完成這項(xiàng)工作,，我不知道這個(gè)問題的答案。但在我看來,，反向傳播某種意義上是正確的做法,。獲得梯度以便更改參數(shù)使其更好地工作，這似乎是對的,，而且它也取得了驚人的成功,。

可能還有其他學(xué)習(xí)算法，它們是獲得相同梯度的替代方法,，或者將梯度轉(zhuǎn)移到其他東西上,，并且也有效。我認(rèn)為現(xiàn)在這一切都是開放的,，也是非常有趣的問題,，關(guān)于是否還有其他你可以嘗試和最大化利用的東西,，可以為你提供良好的系統(tǒng)，也許大腦這樣做是因?yàn)檫@樣更容易,。但反向傳播在某種意義上是正確的做法,，我們知道這樣做效果很好。

主持人：最后一個(gè)問題,，當(dāng)您回顧您幾十年的研究歷程,，您最引以為豪的成就是什么？是你學(xué)生的成就嗎,？或者是您的研究成果,？在您的整個(gè)職業(yè)生涯中，您最引以為豪的是什么,？

Hinton：我的回答是玻爾茲曼機(jī)的學(xué)習(xí)算法,。這個(gè)算法非常優(yōu)雅，盡管在實(shí)踐中可能并不實(shí)用,，但這是我和 Terry共同開發(fā)的過程中最享受的事情,，也是我最引以為豪的成就，即使它可能是錯誤的,。