降低訓(xùn)練成本將提高 AI 的投資回報(bào)率。短期內(nèi),,這對(duì)訓(xùn)練資本支出或“能源”主題不會(huì)產(chǎn)生積極影響,。目前“AI 基礎(chǔ)設(shè)施”贏家面臨的最大風(fēng)險(xiǎn)是:r1 的精簡(jiǎn)版本可以在高端工作站(如 Mac Studio Pro)上本地運(yùn)行,意味著類似的模型將在約 2 年內(nèi)可以在高性能手機(jī)上運(yùn)行,。如果推理計(jì)算轉(zhuǎn)移到邊緣設(shè)備是因?yàn)椤皦蛴昧恕?,那么我們將面臨一個(gè)截然不同的世界,出現(xiàn)不同的贏家——即我們將見證有史以來最大規(guī)模的 PC 和智能手機(jī)升級(jí)周期。人工超級(jí)智能已經(jīng)非常接近,,但沒有人真正知道超級(jí)智能的經(jīng)濟(jì)回報(bào)會(huì)是什么,。如果一個(gè)耗資 1000 億美元、在 10 萬多個(gè) Blackwells 上訓(xùn)練的推理模型能夠治愈癌癥和發(fā)明曲速引擎,,那么 ASI 的回報(bào)將非常高,,訓(xùn)練資本支出和能源消耗將穩(wěn)步增長(zhǎng)。這對(duì)于使用 AI 的公司都非常有利,,極大地提升了分發(fā)渠道和獨(dú)特?cái)?shù)據(jù)的價(jià)值,。美國(guó)的實(shí)驗(yàn)室可能會(huì)停止發(fā)布其前沿模型,以防止對(duì) r1 至關(guān)重要的知識(shí)蒸餾,。
Grok-3 的出現(xiàn)可能會(huì)顯著影響上述結(jié)論,。這將是自 GPT-4 以來首次對(duì)預(yù)訓(xùn)練擴(kuò)展定律的重要測(cè)試。就像通過強(qiáng)化學(xué)習(xí)將 v3 轉(zhuǎn)變?yōu)?r1 一樣,,提高 Grok-3 的推理能力也可能需要幾周時(shí)間,。基礎(chǔ)模型越好,,推理模型就越好,,因?yàn)槿齻€(gè)擴(kuò)展定律是相乘的。Grok-3 已經(jīng)表明它可以完成超出 o1 的任務(wù),,超出多少將變得很重要,。