Hinton:我的直覺告訴我,模型規(guī)模擴(kuò)大后,,推理能力也能提升,。
人們?nèi)绾喂ぷ鳎看笾聛碚f,,人類有直覺進(jìn)行推理,,再用推理來糾正我們的直覺。當(dāng)然,,在推理過程中也會使用直覺,。假設(shè)推理的結(jié)論與直覺沖突,我們就會意識到需要糾正直覺,。
這與AlphaGo或AlphaZero的工作方式類似,,它們有一個評估函數(shù),只需看一眼棋盤,,然后判斷“這對我來說有多好,?”但是,進(jìn)行蒙特卡羅推演時,,你會得到一個更準(zhǔn)確的想法,,你可以修改你的評估函數(shù)。因此,,通過讓模型接受推理的結(jié)果,,來對模型進(jìn)行訓(xùn)練。
大語言模型必須開始這樣做,,必須開始通過推理,,來訓(xùn)練模型的直覺,知道下一步做什么,,并意識到什么是不對的,。這樣,他們就可以獲得更多的訓(xùn)練數(shù)據(jù),,而不僅僅是模仿人類,。這正是AlphaGo能夠做出第37步妙棋的原因,它擁有更多的訓(xùn)練數(shù)據(jù),,因為它使用推理來檢查下一步應(yīng)該是什么,。
多模態(tài)讓模型學(xué)習(xí)更加容易,同時利于空間推理
主持人:你對多模態(tài)有何看法,?我們談到了這些類比,,而這些類比往往遠(yuǎn)遠(yuǎn)超出了我們所能看到的范圍,。模型發(fā)現(xiàn)的類比遠(yuǎn)遠(yuǎn)超出了人類的能力,可能是在我們永遠(yuǎn)無法理解的抽象層面上?,F(xiàn)在,,當(dāng)我們將圖像、視頻和聲音引入其中時,,你認(rèn)為這會如何改變模型,?你認(rèn)為它將如何改變,它能夠進(jìn)行的類比,?
Hinton:這將帶來很大的改變,。例如,它將使模型更好地理解空間事物,。僅從語言角度來看,,很難理解一些空間事物。盡管值得注意的是,,即使在成為多模態(tài)之前,,GPT-4也能做到這一點。但是,,當(dāng)你讓模型成為多模態(tài)時,,如果你讓它既能做視覺,又能伸手抓東西,,它能拿起物體并翻轉(zhuǎn)它們等等,它就會更好地理解物體,。因此,,雖然可以從語言中學(xué)到很多東西,但如果是多模態(tài),,學(xué)習(xí)起來會更容易,。事實上,需要的語言更少,。
5月14日,,OpenAI在春季發(fā)布會上揭曉了其最新的旗艦AI模型——GPT-4o,,這一模型以“全知全能”為目標(biāo),實現(xiàn)了實時的語音,、文本,、圖像交互功能
2024-05-15 09:10:07OpenAI發(fā)布全新生成式AI模型GPT-4o