天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來,，醫(yī)療將發(fā)揮AI最大的潛力(11)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

我們的神經(jīng)模型并不會(huì)這樣做,，原因是,，對(duì)依賴于輸入數(shù)據(jù)的權(quán)重進(jìn)行臨時(shí)更改,，則無法同時(shí)處理大量不同的情況,。目前,，我們采用大量不同的字符串，將它們堆疊在一起,，然后并行處理它們,，因?yàn)檫@樣我們可以進(jìn)行矩陣乘法,，效率要高得多。正是這種效率,，阻止了我們使用快速權(quán)重,。但大腦顯然將快速權(quán)重用于臨時(shí)記憶。而且,，你可以通過這種方式,。做各種我們目前不做的事情。

我認(rèn)為這是你必須學(xué)習(xí)的最重要的事情之一,。我非常希望像Graphcore（一家英國的AI芯片公司）這樣的設(shè)備,，它們采用順序方式，并只進(jìn)行在線學(xué)習(xí),，那么它們就可以使用快速權(quán)重,。但這還沒有奏效?；蛟S當(dāng)人們使用電導(dǎo)作為權(quán)重時(shí),，最終它會(huì)奏效。

官網(wǎng)截圖：https://www.graphcore.ai/

主持人：了解這些模型如何工作,，了解大腦如何工作,，對(duì)你的思維方式有何影響？

Hinton：多年來,，人們非?？床黄鸫笮碗S機(jī)神經(jīng)網(wǎng)絡(luò)，只要給它大量的訓(xùn)練數(shù)據(jù),，它就會(huì)學(xué)會(huì)做復(fù)雜的事情的想法,。你和統(tǒng)計(jì)學(xué)家或語言學(xué)家，或者大多數(shù)人工智能領(lǐng)域的人交談,，他們會(huì)說,，那只是一個(gè)白日夢(mèng)。沒有某種先天知識(shí),，沒有很多架構(gòu)限制,，模型就不可能學(xué)會(huì)真正復(fù)雜的事情。以為隨便用一個(gè)大型神經(jīng)網(wǎng)絡(luò),，就能從數(shù)據(jù)中學(xué)習(xí)一大堆東西——但這是完全錯(cuò)誤的,。

隨機(jī)梯度下降，即使用梯度反復(fù)調(diào)整權(quán)重,，也可以學(xué)習(xí)非常復(fù)雜的東西,，這些大型模型已經(jīng)證實(shí)了這一點(diǎn)。這是對(duì)大腦理解的一個(gè)重要觀點(diǎn),。大腦并不需要擁有所有的先天結(jié)構(gòu),。即使大腦確實(shí)擁有許多先天結(jié)構(gòu),，但對(duì)易于學(xué)習(xí)的事物，又并不需要這些先天結(jié)構(gòu),。

喬姆斯基的觀點(diǎn)是,，只有當(dāng)知識(shí)本身無比扎實(shí)、成熟,，才能學(xué)習(xí)像語言這樣復(fù)雜的事物,。然而現(xiàn)在看來，這種觀點(diǎn)顯然很荒謬,。

首頁上一頁...8 9 101112 13 14...全文共 18 頁下一頁

關(guān)閉

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來,，醫(yī)療將發(fā)揮AI最大的潛力(11)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)