DeepSeek如何以顛覆性訓(xùn)練策略重構(gòu)大型參數(shù)模型的成本公式,?1月底,美國(guó)知名半導(dǎo)體咨詢(xún)機(jī)構(gòu)SemiAnalysis發(fā)布了一篇關(guān)于“給Deepseek算經(jīng)濟(jì)賬”的文章,,引起了廣泛關(guān)注,。近日,心智觀察所與SemiAnalysis的總裁Dylan Patel,、資深分析師AJ Kourabi和David Wolfson就全球LLM模型競(jìng)爭(zhēng)生態(tài),、穿透算力軍備競(jìng)賽表象以及大模型博弈中數(shù)據(jù)、算法,、資本的三重角力等問(wèn)題進(jìn)行了深入討論,。
心智觀察所提到,SemiAnalysis早在去年五月就發(fā)現(xiàn)了DeepSeek在MoE,、RoPE,、Attention等領(lǐng)域的創(chuàng)新貢獻(xiàn)。SemiAnalysis表示,,他們一直密切關(guān)注AI領(lǐng)域的創(chuàng)新和進(jìn)展,,對(duì)DeepSeek取得的進(jìn)步印象深刻。大多數(shù)領(lǐng)先的AI實(shí)驗(yàn)室并沒(méi)有忽視DeepSeek——Anthropic的CEO公開(kāi)表示,,他們從V2甚至更早的時(shí)候就開(kāi)始跟蹤DeepSeek的發(fā)展,。大多數(shù)實(shí)驗(yàn)室都預(yù)計(jì)到了從V2到V3會(huì)有這種程度的改進(jìn),除了Meta,。
心智觀察所詢(xún)問(wèn)了TCO模型(總計(jì)算成本)的搭建情況,。SemiAnalysis回應(yīng)稱(chēng),他們開(kāi)發(fā)了自己獨(dú)有的解決方案,,并與多家公司合作,,提供咨詢(xún)服務(wù)以支持他們的集群建設(shè)。
對(duì)于Meta AI是否可能對(duì)Google搜索造成沖擊的問(wèn)題,,SemiAnalysis認(rèn)為,,Meta擁有直接接觸數(shù)十億日活躍用戶(hù)的能力,使他們能夠立即將大量用戶(hù)群體調(diào)用于他們引入的任何AI功能,。
關(guān)于未來(lái)DeepSeek的競(jìng)爭(zhēng)態(tài)勢(shì),,SemiAnalysis預(yù)計(jì)OpenAI憑借其在人才、基礎(chǔ)設(shè)施和資本方面的卓越資源,,將保持領(lǐng)先地位,。DeepSeek正在利用一種新范式,通過(guò)瞄準(zhǔn)低垂果實(shí)實(shí)現(xiàn)快速且成本效益高的進(jìn)展。然而,,隨著格局的演變,,保持這種勢(shì)頭將變得越來(lái)越具有挑戰(zhàn)性。同樣,,他們也預(yù)計(jì)Google將保持領(lǐng)先地位,。Anthropic擁有顯著優(yōu)于DeepSeek的模型,預(yù)計(jì)將在不久的將來(lái)公開(kāi)發(fā)布,。Meta處于更具挑戰(zhàn)性的位置,,因?yàn)樗麄兪俏ㄒ灰粋€(gè)致力于開(kāi)源其模型的主要實(shí)驗(yàn)室。據(jù)SemiAnalysis了解,,Meta正在開(kāi)發(fā)一個(gè)新模型,,預(yù)計(jì)其性能將超過(guò)DeepSeek,但改進(jìn)的程度是否足以證明推遲發(fā)布是合理的,,這一點(diǎn)仍不確定,。
心智觀察所還詢(xún)問(wèn)了DeepSeek的崛起對(duì)英偉達(dá)H200銷(xiāo)售預(yù)期的影響。SemiAnalysis表示,,DeepSeek推動(dòng)了AI擴(kuò)展的創(chuàng)新,,證明了戰(zhàn)略性?xún)?yōu)化可以帶來(lái)有競(jìng)爭(zhēng)力的結(jié)果。他們的進(jìn)展增加了對(duì)AI基礎(chǔ)設(shè)施和計(jì)算資源的需求,,同時(shí)加劇了頂級(jí)實(shí)驗(yàn)室之間的競(jìng)爭(zhēng),,進(jìn)一步加速了該領(lǐng)域的進(jìn)展。
關(guān)于推理成本下降的問(wèn)題,,SemiAnalysis認(rèn)為許多頂級(jí)AI實(shí)驗(yàn)室正在積極開(kāi)發(fā)針對(duì)降低成本的創(chuàng)新,。當(dāng)競(jìng)爭(zhēng)對(duì)手提供更低的價(jià)格時(shí),供應(yīng)商不得不通過(guò)調(diào)整定價(jià)來(lái)應(yīng)對(duì),。通常,,API定價(jià)策略會(huì)根據(jù)市場(chǎng)壓力和推動(dòng)成本下降的內(nèi)部進(jìn)展進(jìn)行調(diào)整。然而,,在某些情況下,供應(yīng)商并沒(méi)有降低價(jià)格,,而是擴(kuò)大了對(duì)替代性模型的訪問(wèn),。SemiAnalysis認(rèn)為“杰文斯悖論”并沒(méi)有被低估,并且他們之前的研究已經(jīng)廣泛覆蓋了這個(gè)話(huà)題,。
對(duì)于OpenAI領(lǐng)導(dǎo)的“Stargate”計(jì)劃,,SemiAnalysis指出,該計(jì)劃與芯片法案完全獨(dú)立,,因?yàn)樗鼘?zhuān)注于擴(kuò)展AI基礎(chǔ)設(shè)施,,而不是對(duì)半導(dǎo)體制造端的激勵(lì)。雖然兩者都涉及大量資源動(dòng)員,但Stargate是一項(xiàng)私有部門(mén)的努力,,旨在構(gòu)建先進(jìn)的AI系統(tǒng),而芯片法案是一項(xiàng)政府計(jì)劃,,旨在提升國(guó)內(nèi)芯片產(chǎn)量,。兩者之間沒(méi)有直接聯(lián)系。
最后,,心智觀察所詢(xún)問(wèn)了SemiAnalysis的方法論及其團(tuán)隊(duì)規(guī)模和盈利模式,。SemiAnalysis表示,他們的方法基于對(duì)制造業(yè),、供應(yīng)鏈,、技術(shù)部署以及AI基礎(chǔ)設(shè)施戰(zhàn)略的嚴(yán)格研究。這項(xiàng)工作需要一個(gè)高度敬業(yè)的團(tuán)隊(duì),,他們對(duì)技術(shù)和分析充滿(mǎn)熱情,。隨著服務(wù)的擴(kuò)展,團(tuán)隊(duì)也在不斷壯大,,目前約有25名分析師分布于北美,、歐洲和亞洲。SemiAnalysis沒(méi)有“中央辦公室”,,其盈利模式基于銷(xiāo)售行業(yè)和金融研究,,客戶(hù)范圍從初創(chuàng)公司到全球財(cái)富100強(qiáng)公司,技術(shù)公司和投資公司各占一半,。業(yè)務(wù)范圍包括簡(jiǎn)單的新聞通訊訂閱到與專(zhuān)門(mén)分析師進(jìn)行為期數(shù)月的咨詢(xún)服務(wù)等,。