天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái),，醫(yī)療將發(fā)揮AI最大的潛力(14)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

讓我舉一個(gè)例子,。很多人認(rèn)為,，給神經(jīng)網(wǎng)絡(luò)添加噪音會(huì)讓結(jié)果變得更糟。如果訓(xùn)練示例，讓一半的神經(jīng)元保持沉默，效果就會(huì)更糟。然而實(shí)際上,，這樣做的話會(huì)帶來(lái)更好的泛化效果。你可以用一個(gè)簡(jiǎn)單的例子來(lái)證明這一點(diǎn),。這就是計(jì)算機(jī)模擬的優(yōu)點(diǎn),。你可以證明，增加噪音會(huì)使情況變得更糟,，去掉一半的神經(jīng)元,，會(huì)使它工作得更糟。短期內(nèi)確實(shí)如此,。但你這樣訓(xùn)練它,，最終它會(huì)工作得更好。你可以用一個(gè)小型計(jì)算機(jī)程序來(lái)證明這一點(diǎn),，然后你可以認(rèn)真思考為什么會(huì)這樣,，以及它如何阻止復(fù)雜的協(xié)同適應(yīng)。

這是我的研究方法,。找到并研究那些看上去不可靠的事情,，看看自己能否給出簡(jiǎn)單demo，說(shuō)明為什么錯(cuò)誤,。

主持人：你覺(jué)得現(xiàn)在有什么不可靠的點(diǎn)呢,？

Hinton：我們不使用快速權(quán)重的做法，貌似不是很可靠,，我們只有兩個(gè)時(shí)間尺度,，這完全是錯(cuò)誤的，一點(diǎn)不像大腦的工作方式,。從長(zhǎng)遠(yuǎn)來(lái)看,，肯定要有更多的時(shí)間尺度,。這只是一個(gè)例子。

主持人：我們談到了推理,、時(shí)間尺度,。假設(shè)一群學(xué)生來(lái)問(wèn)你，你的領(lǐng)域中最重要的問(wèn)題是什么,？你又會(huì)給他們什么最值得研究的問(wèn)題,？

Hinton：對(duì)于我來(lái)說(shuō)，現(xiàn)在的問(wèn)題和我過(guò)去 30 年來(lái)一直存在的問(wèn)題是一樣的,，那就是大腦會(huì)進(jìn)行反向傳播嗎,？我相信大腦會(huì)獲得梯度。你得不到梯度,，你的學(xué)習(xí)效果就會(huì)比得到梯度時(shí)差很多。但是大腦是如何獲得梯度的,？它是以某種方式實(shí)現(xiàn)某種近似版本的反向傳播,，還是某種完全不同的技術(shù)？這是一個(gè)懸而未決的大問(wèn)題,。我繼續(xù)做研究的話,，這就是我要研究的內(nèi)容。

主持人：當(dāng)你現(xiàn)在回顧你的研究生涯時(shí),，你會(huì)發(fā)現(xiàn)你在很多事情上都是對(duì)的,。但是你在什么地方做錯(cuò)了，以至于你希望自己花更少的時(shí)間,？

首頁(yè)上一頁(yè)...11 12 131415 16 17...全文共 18 頁(yè)下一頁(yè)

關(guān)閉

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái),，醫(yī)療將發(fā)揮AI最大的潛力(14)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)