天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái),，醫(yī)療將發(fā)揮AI最大的潛力(9)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

這并不是說(shuō),，能完全擺脫符號(hào)。而是將符號(hào)變成大向量,，保留符號(hào)的表面結(jié)構(gòu),。這就是這些模型的工作方式。在我看來(lái),，這也是人類思維比較合理的模型,。

借助共享權(quán)重，數(shù)字系統(tǒng)的思維遷移十分高效

主持人：您是最早想到使用GPU的人之一,，我知道Jensen（黃仁勛）很喜歡你,。2009年你就告訴Jensen，這可能是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)絕佳辦法,。當(dāng)初要使用圖形處理單元（GPU）訓(xùn)練神經(jīng)網(wǎng)絡(luò),，您是怎么想的？

Hinton：記得在2006年,，我有位研究生,，是十分優(yōu)秀的計(jì)算機(jī)視覺(jué)專家。一次會(huì)議上,，他建議我考慮使用圖形處理卡（GPU）,，因?yàn)樗鼈冊(cè)诰仃嚦朔ǚ矫姹憩F(xiàn)出色，我所做的基本上都是矩陣乘法,。我考慮了下,，然后我們開(kāi)始研究配備四個(gè)GPU的Tesla系統(tǒng)。

我們一開(kāi)始只是購(gòu)買了游戲用的GPU,，發(fā)現(xiàn)它們將運(yùn)算速度提高了30倍,。然后又買了一個(gè)配備四個(gè)GPU的Tesla系統(tǒng)，并在此基礎(chǔ)上進(jìn)行了一次公開(kāi)匯報(bào),，效果非常好,。2009年,，我在NIPS會(huì)議上發(fā)表了演講，告訴在場(chǎng)的一千名機(jī)器學(xué)習(xí)研究人員：你們都應(yīng)該去購(gòu)買NVIDIA的GPU,，它們是未來(lái),，你們需要GPU進(jìn)行機(jī)器學(xué)習(xí)。

我還給NVIDIA發(fā)了一封郵件,，說(shuō)我已經(jīng)動(dòng)員一千名機(jī)器學(xué)習(xí)研究人員去購(gòu)買你們的卡,，你們能不能送我一個(gè)？他們并沒(méi)有回復(fù),。但后來(lái)把這個(gè)故事告訴Jensen時(shí),，他免費(fèi)給了我一個(gè)（要顯卡，得直接找老板談）,。

主持人：人工智能發(fā)展過(guò)程中,，GPU其實(shí)也在發(fā)展。在計(jì)算領(lǐng)域,，我們路在何方？

Hinton：我在谷歌的最后幾年里,，其實(shí)一直在思考模擬計(jì)算,。這樣，我們可以使用 30 瓦的功率（例如大腦）,，而不是使用一兆瓦的功率,。我希望在模擬硬件中，運(yùn)行這些大型語(yǔ)言模型,。雖然從來(lái)沒(méi)實(shí)現(xiàn),，但我開(kāi)始真正重視數(shù)字計(jì)算。

使用低功耗的模擬計(jì)算,，每個(gè)硬件部分都會(huì)有所不同,，即需要學(xué)習(xí)利用特定硬件的屬性。這就是人們身上正在經(jīng)歷的,。人和人的大腦都是不同的,。我們不能將你大腦中的權(quán)重，放入我的大腦中,。硬件不同,，各個(gè)神經(jīng)元的精確屬性也不同。我們最后都會(huì)死去,，我腦中的權(quán)重,，對(duì)其他大腦也毫無(wú)用處。

首頁(yè)上一頁(yè)...6 7 8910 11 12...全文共 18 頁(yè)下一頁(yè)

關(guān)閉

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái),，醫(yī)療將發(fā)揮AI最大的潛力(9)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)