降低訓(xùn)練成本將提高 AI 的投資回報率。短期內(nèi),這對訓(xùn)練資本支出或“能源”主題不會產(chǎn)生積極影響。目前“AI 基礎(chǔ)設(shè)施”贏家面臨的最大風(fēng)險是:r1 的精簡版本可以在高端工作站(如 Mac Studio Pro)上本地運行,,意味著類似的模型將在約 2 年內(nèi)可以在高性能手機(jī)上運行,。如果推理計算轉(zhuǎn)移到邊緣設(shè)備是因為“夠用了”,,那么我們將面臨一個截然不同的世界,,出現(xiàn)不同的贏家——即我們將見證有史以來最大規(guī)模的 PC 和智能手機(jī)升級周期,。人工超級智能已經(jīng)非常接近,但沒有人真正知道超級智能的經(jīng)濟(jì)回報會是什么,。如果一個耗資 1000 億美元、在 10 萬多個 Blackwells 上訓(xùn)練的推理模型能夠治愈癌癥和發(fā)明曲速引擎,,那么 ASI 的回報將非常高,,訓(xùn)練資本支出和能源消耗將穩(wěn)步增長。這對于使用 AI 的公司都非常有利,,極大地提升了分發(fā)渠道和獨特數(shù)據(jù)的價值,。美國的實驗室可能會停止發(fā)布其前沿模型,以防止對 r1 至關(guān)重要的知識蒸餾,。
Grok-3 的出現(xiàn)可能會顯著影響上述結(jié)論,。這將是自 GPT-4 以來首次對預(yù)訓(xùn)練擴(kuò)展定律的重要測試。就像通過強(qiáng)化學(xué)習(xí)將 v3 轉(zhuǎn)變?yōu)?r1 一樣,,提高 Grok-3 的推理能力也可能需要幾周時間,。基礎(chǔ)模型越好,,推理模型就越好,,因為三個擴(kuò)展定律是相乘的。Grok-3 已經(jīng)表明它可以完成超出 o1 的任務(wù),,超出多少將變得很重要,。