人工智能大模型技術(shù)架構(gòu)是否已收斂
在2024世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議上,,青年科學(xué)家們聚焦于大模型技術(shù)架構(gòu)的未來發(fā)展,,以及其面臨的挑戰(zhàn)與革新。盡管生成式大模型如ChatGPT到GPT-4的出現(xiàn)預(yù)示著向通用人工智能邁進(jìn)的步伐,,但上海人工智能實(shí)驗(yàn)室的林達(dá)華教授指出,,現(xiàn)有模型存在的幻覺和泛化問題成為實(shí)際應(yīng)用的障礙,尤其是最強(qiáng)的模型在真實(shí)場(chǎng)景中仍有許多限制,。人工智能大模型技術(shù)架構(gòu)是否已收斂,!
關(guān)于尺度定律作為推動(dòng)大模型發(fā)展的核心策略,滑鐵盧大學(xué)的張弘揚(yáng)助理教授認(rèn)為,,短期內(nèi)尺度定律確實(shí)促進(jìn)了大模型能力的飛躍,,但長期看,它面臨著數(shù)據(jù)稀缺和算力瓶頸的問題,。他提倡探索人類學(xué)習(xí)與進(jìn)化的機(jī)制,,以跨學(xué)科方式啟發(fā)大模型的進(jìn)一步發(fā)展。
上海人工智能實(shí)驗(yàn)室的陸超超團(tuán)隊(duì)正致力于增強(qiáng)大模型的因果推理能力,,這對(duì)于確保模型安全決策至關(guān)重要,。例如,使機(jī)器人能理解人與椅子間的因果關(guān)系,,避免造成傷害,,同時(shí)具備決策前的反思能力。然而,,現(xiàn)有的尺度定律并未有效提升這一關(guān)鍵能力,。
谷歌DeepMind的張晗強(qiáng)調(diào),過分依賴尺度定律導(dǎo)致資源集中,,限制了對(duì)新模型路線的探索,,壓縮了科研創(chuàng)新的空間。對(duì)于大模型與具身智能的融合,,加州大學(xué)洛杉磯分校的周博磊和清華大學(xué)的許華哲分別提出利用大模型生成訓(xùn)練場(chǎng)景提升具身智能,,以及通過實(shí)驗(yàn)探索適合機(jī)器人的模型架構(gòu),,包括新舊架構(gòu)的可能結(jié)合,,以優(yōu)化決策和與環(huán)境的互動(dòng)。
許華哲團(tuán)隊(duì)的實(shí)踐還包括利用大模型生成環(huán)境來訓(xùn)練機(jī)器人執(zhí)行更精細(xì)操作,,雖然目前成果積極,,但他們期待未來大模型能更直接地影響底層動(dòng)作控制,推動(dòng)技術(shù)的實(shí)質(zhì)性進(jìn)步,。會(huì)議上的討論揭示了大模型技術(shù)架構(gòu)雖已取得顯著成就,,但仍需跨越數(shù)據(jù)、算法及應(yīng)用層面的挑戰(zhàn),,以實(shí)現(xiàn)更加智能,、安全且高效的未來,。