大佬喊話,，AI寒冬已來(lái),？擴(kuò)展策略已達(dá)極限

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-11-14 10:39:47 新浪新聞

大佬喊話,，AI寒冬已來(lái),？

OpenAI的原聯(lián)合創(chuàng)始人Ilya Sutskever指出,，使用大量未標(biāo)記數(shù)據(jù)來(lái)理解語(yǔ)言模式和結(jié)構(gòu)的訓(xùn)練階段已經(jīng)接近尾聲,。他提到,，擴(kuò)展訓(xùn)練的結(jié)果已經(jīng)趨于平穩(wěn),，意味著通過(guò)增加數(shù)據(jù)和算力來(lái)提升AI模型性能的方法已經(jīng)遇到瓶頸,。

對(duì)于像ChatGPT這樣的大型語(yǔ)言模型，簡(jiǎn)單地通過(guò)增加更多數(shù)據(jù)和計(jì)算資源來(lái)擴(kuò)大規(guī)模已不足以實(shí)現(xiàn)有意義的進(jìn)步,。雖然增加計(jì)算能力仍然是提升AI性能的一個(gè)方式,，但已經(jīng)無(wú)法像以前那樣通過(guò)不斷堆砌算力和數(shù)據(jù)量來(lái)實(shí)現(xiàn)模型的大幅提升。大模型企業(yè)需要采用更智能的訓(xùn)練技術(shù),，更加重視模型訓(xùn)練的方式和內(nèi)容,，而不僅僅是關(guān)注規(guī)模大小。這種方法的轉(zhuǎn)變代表了人工智能發(fā)展的關(guān)鍵轉(zhuǎn)折點(diǎn),，超越了“越大越好”的理念,。

預(yù)訓(xùn)練階段，大模型被輸入大量未分類數(shù)據(jù)以識(shí)別模式和結(jié)構(gòu)的過(guò)程,，一直是開發(fā)強(qiáng)大LLMs的基石,。這個(gè)階段,，模型通過(guò)消化各種文本——從書籍、文章到網(wǎng)站和社交媒體帖子——來(lái)學(xué)習(xí)語(yǔ)言表示,，使其能夠識(shí)別語(yǔ)法,、語(yǔ)義和含義。然而,，Ilya Sutskever認(rèn)為這種方法現(xiàn)在已經(jīng)趨于平穩(wěn),。增加更多數(shù)據(jù)所帶來(lái)的性能提升正在減少，更重要的是,，人們?cè)絹?lái)越意識(shí)到模型的有效性不僅取決于它處理的數(shù)據(jù)量,，還取決于它接觸到的數(shù)據(jù)的質(zhì)量和結(jié)構(gòu)。這意味著大模型企業(yè)必須重新思考他們的策略,，以在LLMs的發(fā)展上取得進(jìn)一步的進(jìn)展,。

研究人員現(xiàn)在需要考慮更先進(jìn)的方法來(lái)完善學(xué)習(xí)過(guò)程，而不僅僅是增加數(shù)據(jù)集的大小,。這包括改進(jìn)訓(xùn)練期間使用的算法,，優(yōu)化數(shù)據(jù)管理，并引入更先進(jìn)的技術(shù),，如強(qiáng)化學(xué)習(xí)或多模態(tài)訓(xùn)練,，其中模型不僅接觸到文本，還接觸到圖像,、視頻或其他形式的數(shù)據(jù),。Ilya Sutskever關(guān)于未來(lái)的LLMs將需要“稍微思考更長(zhǎng)時(shí)間”的評(píng)論強(qiáng)調(diào)了進(jìn)步的另一個(gè)關(guān)鍵方面。大模型需要在更長(zhǎng)時(shí)間內(nèi)進(jìn)行更復(fù)雜推理的能力,，這對(duì)于需要深度理解,、多步驟推理或長(zhǎng)期記憶的任務(wù)越來(lái)越必要。

12 3 全文共 3 頁(yè)下一頁(yè)

關(guān)閉

大佬喊話,，AI寒冬已來(lái),？擴(kuò)展策略已達(dá)極限

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)