大佬喊話，AI寒冬已來,？

OpenAI的原聯(lián)合創(chuàng)始人Ilya Sutskever指出,，使用大量未標(biāo)記數(shù)據(jù)來理解語言模式和結(jié)構(gòu)的訓(xùn)練階段已經(jīng)接近尾聲,。他提到，擴(kuò)展訓(xùn)練的結(jié)果已經(jīng)趨于平穩(wěn),，意味著通過增加數(shù)據(jù)和算力來提升AI模型性能的方法已經(jīng)遇到瓶頸,。

對于像ChatGPT這樣的大型語言模型，簡單地通過增加更多數(shù)據(jù)和計算資源來擴(kuò)大規(guī)模已不足以實現(xiàn)有意義的進(jìn)步,。雖然增加計算能力仍然是提升AI性能的一個方式,，但已經(jīng)無法像以前那樣通過不斷堆砌算力和數(shù)據(jù)量來實現(xiàn)模型的大幅提升。大模型企業(yè)需要采用更智能的訓(xùn)練技術(shù),，更加重視模型訓(xùn)練的方式和內(nèi)容,，而不僅僅是關(guān)注規(guī)模大小。這種方法的轉(zhuǎn)變代表了人工智能發(fā)展的關(guān)鍵轉(zhuǎn)折點(diǎn),，超越了“越大越好”的理念,。

預(yù)訓(xùn)練階段，大模型被輸入大量未分類數(shù)據(jù)以識別模式和結(jié)構(gòu)的過程,，一直是開發(fā)強(qiáng)大LLMs的基石,。這個階段，模型通過消化各種文本——從書籍,、文章到網(wǎng)站和社交媒體帖子——來學(xué)習(xí)語言表示,，使其能夠識別語法、語義和含義,。然而,，Ilya Sutskever認(rèn)為這種方法現(xiàn)在已經(jīng)趨于平穩(wěn)。增加更多數(shù)據(jù)所帶來的性能提升正在減少,，更重要的是,，人們越來越意識到模型的有效性不僅取決于它處理的數(shù)據(jù)量，還取決于它接觸到的數(shù)據(jù)的質(zhì)量和結(jié)構(gòu),。這意味著大模型企業(yè)必須重新思考他們的策略,，以在LLMs的發(fā)展上取得進(jìn)一步的進(jìn)展。

研究人員現(xiàn)在需要考慮更先進(jìn)的方法來完善學(xué)習(xí)過程,，而不僅僅是增加數(shù)據(jù)集的大小,。這包括改進(jìn)訓(xùn)練期間使用的算法，優(yōu)化數(shù)據(jù)管理,，并引入更先進(jìn)的技術(shù),，如強(qiáng)化學(xué)習(xí)或多模態(tài)訓(xùn)練，其中模型不僅接觸到文本,，還接觸到圖像,、視頻或其他形式的數(shù)據(jù),。Ilya Sutskever關(guān)于未來的LLMs將需要“稍微思考更長時間”的評論強(qiáng)調(diào)了進(jìn)步的另一個關(guān)鍵方面。大模型需要在更長時間內(nèi)進(jìn)行更復(fù)雜推理的能力,，這對于需要深度理解,、多步驟推理或長期記憶的任務(wù)越來越必要。

隨著復(fù)雜性的增長,，大模型必須能夠在更長的對話中保持上下文,，執(zhí)行更復(fù)雜的任務(wù)，并響應(yīng)數(shù)據(jù)中更微妙的線索,。例如,，像ChatGPT當(dāng)前的LLMs可以在單次對話中生成令人印象深刻的連貫且與上下文相關(guān)的回應(yīng)。但在長期交流中的上下文或處理復(fù)雜邏輯推理任務(wù)時,，還存在很多困難,。為了克服這一限制，未來的模型將需要實現(xiàn)更好的記憶機(jī)制和更復(fù)雜的處理能力,，以便“思考”更長時間,。

隨著計算能力的持續(xù)增長，走在前列的大模型企業(yè)關(guān)注的重點(diǎn)逐漸從簡單地擴(kuò)展模型轉(zhuǎn)向更高效和更具上下文智能發(fā)展,。涉及神經(jīng)網(wǎng)絡(luò),、機(jī)器學(xué)習(xí)算法以及人工智能系統(tǒng)處理和保留信息的方式的技術(shù)進(jìn)步的結(jié)合。未來有了更智能,、思考更長時間的模型,，人工智能可以變得更適應(yīng)性，允許與用戶進(jìn)行更個性化,、更準(zhǔn)確,、更有洞察力的互動。如果技術(shù)有進(jìn)一步落地,，人工智能應(yīng)用也將會實現(xiàn)在從醫(yī)療保健到金融到客戶服務(wù)等多個行業(yè)的突破,。

Ilya Sutskever強(qiáng)調(diào)了人工智能研究中的關(guān)鍵時刻：隨著LLMs的預(yù)訓(xùn)練階段達(dá)到其極限，未來的進(jìn)展取決于開發(fā)更智能的訓(xùn)練技術(shù)和提高模型在更長時間內(nèi)保持上下文的能力,。對于大模型企業(yè)來說,，正確選擇擴(kuò)展的方向比以往任何時候都更為重要。大模型企業(yè)必須重新思考處理模型擴(kuò)展的方法,，少關(guān)注簡單地增加更多數(shù)據(jù)和計算資源,，更多地關(guān)注完善訓(xùn)練過程和開發(fā)能夠更深入、更連貫地推理的模型,。

SSI（Safe Superintelligence）由Ilya Sutskever、Daniel Levy和Daniel Gross三人創(chuàng)立,，旨在開發(fā)遠(yuǎn)超人類能力的安全人工智能系統(tǒng),。他們的首要產(chǎn)品將是關(guān)于超級智能的安全,。盡管沒有發(fā)布任何產(chǎn)品，SSI在三個多月內(nèi)籌集了10億美元現(xiàn)金,，公司估值達(dá)到50億美元,。Ilya Sutskever是人工智能領(lǐng)域最具影響力的技術(shù)專家之一，曾師從被稱為“人工智能教父”的Geoffrey Hinton,。Daniel Gross曾擔(dān)任蘋果公司AI技術(shù)負(fù)責(zé)人,，也曾是前Y Combinator合伙人，而Daniel Levy則是OpenAI的前員工,。

SSI以常規(guī)的營利性結(jié)構(gòu)運(yùn)營,，現(xiàn)在約有10名員工，分布在加利福尼亞州的帕洛阿托以及以色列特拉維夫,。投資者包括頂級風(fēng)險投資公司Andreessen Horowitz,、Sequoia Capital,、DST Global和SV Angel,，以及由Nat Friedman和SSI首席執(zhí)行官Daniel Gross運(yùn)營的投資合伙企業(yè)NFDG。Ilya提到,，SSI已經(jīng)發(fā)現(xiàn)了一個新的研究領(lǐng)域,，有可能改變我們對人工智能的理解,。盡管具體的研究方向和細(xì)節(jié)仍未公開，但他們有可能帶來一場AI領(lǐng)域的“革命”,。

Ilya多次表明他和SSI的目標(biāo)不僅僅是推動AI技術(shù)的邊界,，更重要的是通過確保超級智能的安全，避免可能帶來的倫理和社會風(fēng)險,。盡管Scaling Law可能已遇到瓶頸,，但SSI的探索表明，AI領(lǐng)域的進(jìn)展依然充滿潛力,，且正在朝著更加復(fù)雜和安全的方向發(fā)展,。從目前來看，AI的進(jìn)步不再是單純的技術(shù)競爭,，更多的是如何平衡技術(shù)發(fā)展,、安全、商業(yè)化之間的關(guān)系,，無疑是一個具有挑戰(zhàn)性的長期課題,。隨著新方法和新領(lǐng)域的突破，未來的人工智能可能會以一種全新的方式與我們相遇,。