天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(9)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

這并不是說,，能完全擺脫符號,。而是將符號變成大向量，保留符號的表面結(jié)構(gòu)。這就是這些模型的工作方式,。在我看來,，這也是人類思維比較合理的模型。

借助共享權(quán)重,，數(shù)字系統(tǒng)的思維遷移十分高效

主持人：您是最早想到使用GPU的人之一,，我知道Jensen（黃仁勛）很喜歡你。2009年你就告訴Jensen,，這可能是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)絕佳辦法,。當(dāng)初要使用圖形處理單元（GPU）訓(xùn)練神經(jīng)網(wǎng)絡(luò)，您是怎么想的,？

Hinton：記得在2006年,，我有位研究生，是十分優(yōu)秀的計(jì)算機(jī)視覺專家,。一次會(huì)議上,，他建議我考慮使用圖形處理卡（GPU），因?yàn)樗鼈冊诰仃嚦朔ǚ矫姹憩F(xiàn)出色,，我所做的基本上都是矩陣乘法,。我考慮了下，然后我們開始研究配備四個(gè)GPU的Tesla系統(tǒng),。

我們一開始只是購買了游戲用的GPU,，發(fā)現(xiàn)它們將運(yùn)算速度提高了30倍。然后又買了一個(gè)配備四個(gè)GPU的Tesla系統(tǒng),，并在此基礎(chǔ)上進(jìn)行了一次公開匯報(bào),，效果非常好。2009年,，我在NIPS會(huì)議上發(fā)表了演講,，告訴在場的一千名機(jī)器學(xué)習(xí)研究人員：你們都應(yīng)該去購買NVIDIA的GPU，它們是未來,，你們需要GPU進(jìn)行機(jī)器學(xué)習(xí),。

我還給NVIDIA發(fā)了一封郵件，說我已經(jīng)動(dòng)員一千名機(jī)器學(xué)習(xí)研究人員去購買你們的卡,，你們能不能送我一個(gè),？他們并沒有回復(fù)。但后來把這個(gè)故事告訴Jensen時(shí),，他免費(fèi)給了我一個(gè)（要顯卡,，得直接找老板談）。

主持人：人工智能發(fā)展過程中,，GPU其實(shí)也在發(fā)展,。在計(jì)算領(lǐng)域,，我們路在何方？

Hinton：我在谷歌的最后幾年里,，其實(shí)一直在思考模擬計(jì)算,。這樣，我們可以使用 30 瓦的功率（例如大腦）,，而不是使用一兆瓦的功率,。我希望在模擬硬件中，運(yùn)行這些大型語言模型,。雖然從來沒實(shí)現(xiàn),，但我開始真正重視數(shù)字計(jì)算。

使用低功耗的模擬計(jì)算,，每個(gè)硬件部分都會(huì)有所不同,，即需要學(xué)習(xí)利用特定硬件的屬性。這就是人們身上正在經(jīng)歷的,。人和人的大腦都是不同的,。我們不能將你大腦中的權(quán)重，放入我的大腦中,。硬件不同,，各個(gè)神經(jīng)元的精確屬性也不同。我們最后都會(huì)死去,，我腦中的權(quán)重,，對其他大腦也毫無用處。

首頁上一頁...6 7 8910 11 12...全文共 18 頁下一頁

關(guān)閉

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(9)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)