天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái)，醫(yī)療將發(fā)揮AI最大的潛力(10)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

我們可以很低效地將信息從一個(gè)人傳遞給另一個(gè)人。我寫句子,，你想辦法改變你思維里的權(quán)重，你就會(huì)說(shuō)同樣的話,。這其實(shí)叫做提煉，但這種知識(shí)交流非常低效,。

數(shù)字系統(tǒng)卻不同,，它們不會(huì)死去。一旦有了一些權(quán)重,，計(jì)算機(jī)這個(gè)殼就不重要了,。只需將權(quán)重存儲(chǔ)在某個(gè)磁帶或者什么上，就可以把同樣的權(quán)重轉(zhuǎn)移進(jìn)另一臺(tái)計(jì)算機(jī),。如果是數(shù)字的,，它就可以與其他系統(tǒng)一樣計(jì)算。所以,，數(shù)字系統(tǒng)能夠以極高效率共享權(quán)重,，甚至還能迭代,。假設(shè)你有一大把數(shù)字系統(tǒng)，從相同的權(quán)重開(kāi)始,，各自進(jìn)行微量的學(xué)習(xí),，還能再次共享權(quán)重，這樣它們都能知道其他系統(tǒng)學(xué)到了什么,，甚至完成了迭代,。人類無(wú)法做到這一點(diǎn)，在知識(shí)共享上,，數(shù)字系統(tǒng)比我們做得好太多,。

主持人：許多已經(jīng)在該領(lǐng)域?qū)嵤┑南敕ǎ鋵?shí)都是非常傳統(tǒng)的,，因?yàn)檫@些想法在神經(jīng)科學(xué)中一直存在。那么,，你認(rèn)為還有哪些想法可以應(yīng)用于我們正在開(kāi)發(fā)的系統(tǒng)呢,？

Hinton：因此，我們?nèi)孕枳汾s神經(jīng)科學(xué)的發(fā)展,。

在幾乎所有的神經(jīng)網(wǎng)絡(luò)中,，都存在一個(gè)快速的活動(dòng)變化時(shí)間尺度。因此,，當(dāng)輸入進(jìn)來(lái)后,，活動(dòng)和嵌入向量都會(huì)發(fā)生變化，然后有一個(gè)緩慢的時(shí)間尺度會(huì)改變權(quán)重,。這就是長(zhǎng)期學(xué)習(xí),。

你只有這兩個(gè)時(shí)間尺度。然而在大腦中,，權(quán)重會(huì)改變的時(shí)間尺度很多,。例如，我說(shuō)一個(gè)意想不到的詞,，比如“黃瓜”,，五分鐘后，你戴上耳機(jī),，會(huì)聽(tīng)到很多噪音,，而且單詞非常模糊，但你會(huì)更好地識(shí)別“黃瓜”這個(gè)詞,，因?yàn)槲椅宸昼娗罢f(shuō)過(guò)這個(gè)詞,。大腦中的這些知識(shí)是如何存儲(chǔ)的呢？這些知識(shí),，顯然是突觸的暫時(shí)變化,，而不是神經(jīng)元在重復(fù)“黃瓜”這個(gè)詞,。你沒(méi)有足夠的神經(jīng)元來(lái)做這件事。這是權(quán)重的暫時(shí)變化,。你可以用暫時(shí)的權(quán)重變化做很多事情,，我稱之為快速權(quán)重。

首頁(yè)上一頁(yè)...7 8 91011 12 13...全文共 18 頁(yè)下一頁(yè)

關(guān)閉

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái)，醫(yī)療將發(fā)揮AI最大的潛力(10)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)