天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來,，醫(yī)療將發(fā)揮AI最大的潛力(14)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

讓我舉一個例子,。很多人認為,，給神經(jīng)網(wǎng)絡(luò)添加噪音會讓結(jié)果變得更糟,。如果訓(xùn)練示例，讓一半的神經(jīng)元保持沉默,，效果就會更糟,。然而實際上，這樣做的話會帶來更好的泛化效果,。你可以用一個簡單的例子來證明這一點,。這就是計算機模擬的優(yōu)點,。你可以證明，增加噪音會使情況變得更糟,，去掉一半的神經(jīng)元,，會使它工作得更糟。短期內(nèi)確實如此,。但你這樣訓(xùn)練它,，最終它會工作得更好。你可以用一個小型計算機程序來證明這一點,，然后你可以認真思考為什么會這樣,，以及它如何阻止復(fù)雜的協(xié)同適應(yīng)。

這是我的研究方法,。找到并研究那些看上去不可靠的事情,，看看自己能否給出簡單demo，說明為什么錯誤,。

主持人：你覺得現(xiàn)在有什么不可靠的點呢,？

Hinton：我們不使用快速權(quán)重的做法，貌似不是很可靠,，我們只有兩個時間尺度,，這完全是錯誤的，一點不像大腦的工作方式,。從長遠來看,，肯定要有更多的時間尺度。這只是一個例子,。

主持人：我們談到了推理,、時間尺度。假設(shè)一群學(xué)生來問你,，你的領(lǐng)域中最重要的問題是什么,？你又會給他們什么最值得研究的問題？

Hinton：對于我來說,，現(xiàn)在的問題和我過去 30 年來一直存在的問題是一樣的,，那就是大腦會進行反向傳播嗎,？我相信大腦會獲得梯度,。你得不到梯度，你的學(xué)習(xí)效果就會比得到梯度時差很多,。但是大腦是如何獲得梯度的,？它是以某種方式實現(xiàn)某種近似版本的反向傳播，還是某種完全不同的技術(shù),？這是一個懸而未決的大問題,。我繼續(xù)做研究的話，這就是我要研究的內(nèi)容。

主持人：當(dāng)你現(xiàn)在回顧你的研究生涯時,，你會發(fā)現(xiàn)你在很多事情上都是對的,。但是你在什么地方做錯了，以至于你希望自己花更少的時間,？

首頁上一頁...11 12 131415 16 17...全文共 18 頁下一頁

關(guān)閉

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來,，醫(yī)療將發(fā)揮AI最大的潛力(14)

相關(guān)新聞

今日熱點

頻道熱點