我還與彼得·布朗有很好的合作,,他是優(yōu)秀的統(tǒng)計學(xué)家,IBM從事語音識別工作,。所以,,到卡內(nèi)基梅隆大學(xué)攻讀博士學(xué)位時,他作為學(xué)生已經(jīng)很成熟,,已經(jīng)知道很多,。他教了我很多關(guān)于語音的知識。事實上,,他教了我關(guān)于隱馬爾可夫模型的知識,。這就是我理想的學(xué)生:從他那里學(xué)到的,比我教他的還多,。他教我隱馬爾可夫模型時,,我正在使用帶有隱藏層的反向傳播。那時候還不叫隱藏層,,但我決定使用馬爾可夫模型中的命名方式,,這個叫法能很好地表示究竟在做什么的變量??傊?,這就是神經(jīng)網(wǎng)絡(luò)中隱藏一詞的來源。
主持人:談?wù)処lya出現(xiàn)在你辦公室的時候吧,。
Hinton:那時候我在辦公室,,應(yīng)該是個周日,我在編程,,然后有人敲門。敲門聲很急促,,和一般敲門不太一樣,。我開門發(fā)現(xiàn)是一個年輕的學(xué)生。他說整個夏天他都在炸薯條,,但他更愿意在我的實驗室工作,。所以我說,約個時間來聊聊,?然后他說,不如就現(xiàn)在,?Ilya就是這樣的人,。于是我們聊了下,我給他一篇文章讀,,是關(guān)于反向傳播的Nature期刊論文,。
我們約定一周后再次見面,他回來了,他說他不太明白,。我挺失望的,,本來看起來蠻聰明。這只是鏈式法則,,理解它并不難,。他說:不,我理解鏈式法則,,我只是不理解,,為什么你不把梯度賦予一個合理的函數(shù)優(yōu)化器。好家伙,,他提出的問題讓我們思考了好幾年,。他總是是這樣,對問題的直覺非常好,,總是能提出好的想法,。
主持人:Ilya為什么有這種直覺?
Hinton:我不知道,?;蛟S他總是獨立思考,很小就對人工智能感興趣,。他也很擅長數(shù)學(xué),。但我不知道為什么他直覺那么準。
主持人:你和他之間,,合作分工是怎樣的,?
Hinton:真是很有趣,。記得有一次,我們試著用數(shù)據(jù)制作復(fù)雜的地圖,,用的是一種混合模型,,所以你可以使用相似性來制作兩張地圖,使得在一張地圖上,,河岸可以靠近綠地,,而在另一張地圖上,河岸可以靠近河流,。因為在一張地圖上,,你不能讓它同時靠近兩者,,河流和綠地相距很遠。所以有了混合地圖,,我們在MATLAB中進行操作,,這涉及到對代碼進行大量重組,進行正確的矩陣乘法,。
5月14日,OpenAI在春季發(fā)布會上揭曉了其最新的旗艦AI模型——GPT-4o,,這一模型以“全知全能”為目標(biāo),,實現(xiàn)了實時的語音、文本,、圖像交互功能
2024-05-15 09:10:07OpenAI發(fā)布全新生成式AI模型GPT-4o