問DeepSeek:孩子手機(jī)成癮的底層邏輯 創(chuàng)新突破算力禁運(yùn),!想象一下,在世界廚藝錦標(biāo)賽上,,你和一群有夢(mèng)想的年輕人在一個(gè)破舊的毛坯灶臺(tái)上,,炒出了驚艷全球的創(chuàng)新菜。而你的對(duì)手在五星級(jí)酒店里帶領(lǐng)豪華團(tuán)隊(duì),,用著頂級(jí)廚具和豐富食材,,卻在比賽中惜敗于你,引發(fā)全球轟動(dòng),。這不是虛構(gòu)的故事,,這是正在發(fā)生的現(xiàn)實(shí)。你就是低調(diào)積累許久的“一代食神”——DeepSeek,。
年初,,DeepSeek App 橫空出世,其創(chuàng)新性的架構(gòu)設(shè)計(jì)和工程化落地使得模型性能在極低成本下達(dá)到全球頂尖水平,。加上用戶體驗(yàn)良好的思維鏈展示和模型開源的方式,,春節(jié)期間用戶量迅速增長(zhǎng)。這一現(xiàn)象不僅吸引了全球關(guān)注,,還促使全球資本重新評(píng)估中國(guó)科技資產(chǎn),,AI投資邏輯悄然轉(zhuǎn)變。特別是在大模型領(lǐng)域,,DeepSeek成為一匹黑馬,,挑戰(zhàn)了過去巨額投入但屢次推遲的ChatGPT5以及國(guó)內(nèi)六小龍的地位。中國(guó)AI企業(yè)在突破“算力禁運(yùn)”后,,正面臨高質(zhì)量數(shù)據(jù)稀缺的挑戰(zhàn),,尤其是高質(zhì)量、低成本,、多種類,、多模態(tài)的數(shù)據(jù),將成為未來AI產(chǎn)業(yè)發(fā)展的關(guān)鍵,。
主流的AI大模型訓(xùn)練方式基于Transformer進(jìn)行下一個(gè)Token的預(yù)測(cè),,通過互聯(lián)網(wǎng)吸收海量數(shù)據(jù),并對(duì)匹配結(jié)果偏差較大的部分進(jìn)行人工打分或標(biāo)簽,,提升模型準(zhǔn)確性,。AI大模型的核心要素是數(shù)據(jù)、算法和算力,。當(dāng)前,,算力硬件性能已接近瓶頸,,迭代速度遠(yuǎn)不及大模型日益增長(zhǎng)的訓(xùn)練需求和能耗壓力??晒╊A(yù)訓(xùn)練的數(shù)據(jù)也逐漸見頂,,簡(jiǎn)單增加數(shù)據(jù)和計(jì)算能力的時(shí)代已經(jīng)結(jié)束。隨著大語(yǔ)言模型向多模態(tài)發(fā)展,,算力和數(shù)據(jù)的挑戰(zhàn)將進(jìn)一步加劇,。
我國(guó)面臨美國(guó)的“芯片禁令”,無法使用高端算力設(shè)備,,只能從算法和數(shù)據(jù)兩方面突圍,。過去普遍認(rèn)為我國(guó)與OpenAI等美國(guó)頭部AI公司存在1到2年的差距。根據(jù)CB Insights發(fā)布的數(shù)據(jù),,2024年中國(guó)AI初創(chuàng)企業(yè)籌集的資金僅占美國(guó)的7%,。豐厚的資金儲(chǔ)備意味著能高薪招攬頂尖人才,進(jìn)一步鞏固算法優(yōu)勢(shì),。在DeepSeekV3之前,,我國(guó)人工智能領(lǐng)域的形勢(shì)嚴(yán)峻。
在DeepSeekV3和R1推出后,,頂尖的模型效果和用戶體驗(yàn),,加上開源特性,大大緩解了我國(guó)在算法和算力上的困境,,但數(shù)據(jù)方面的挑戰(zhàn)依然存在,。高質(zhì)量數(shù)據(jù)能夠保障模型推理回答的準(zhǔn)確性,多模態(tài)多種類的數(shù)據(jù)能提升模型的泛化性和推理能力,。然而,,國(guó)內(nèi)和國(guó)外在可用數(shù)據(jù)量上存在天然差距。據(jù)W3Techs調(diào)研顯示,,英文網(wǎng)站占比為59.3%,,而中文只有1.3%。國(guó)內(nèi)可供訓(xùn)練的公開中文數(shù)據(jù)不足,,標(biāo)準(zhǔn)化程度也不高,。IDC和浪潮信息的研究顯示,目前企業(yè)在應(yīng)用人工智能中面臨的最大挑戰(zhàn)是缺乏高質(zhì)量可用數(shù)據(jù),,占比高達(dá)66%,。此外,數(shù)據(jù)采集與處理是國(guó)內(nèi)企業(yè)在生成式AI應(yīng)用時(shí)的主要支出方向,。
DeepSeek采用創(chuàng)新性架構(gòu)(MLA+MoE),,解決了許多工程化難題,使其在極低成本下成為最強(qiáng)的開源基礎(chǔ)模型之一。DeepSeek的關(guān)鍵在于使用數(shù)據(jù)蒸餾技術(shù),,得到更為精煉有用的數(shù)據(jù),。具體而言,DeepSeek-R1-Zero模型通過自我嘗試和調(diào)整行為來學(xué)習(xí),,不需要預(yù)先標(biāo)注的數(shù)據(jù)。該模型在數(shù)學(xué)和編程方面表現(xiàn)優(yōu)異,,但也存在可讀性差的問題,。為此,DeepSeek團(tuán)隊(duì)通過監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)優(yōu)化模型,,使生成的答案更清晰,,語(yǔ)言更統(tǒng)一。
DeepSeek除了在算法層面進(jìn)行創(chuàng)新和優(yōu)化,,其核心步驟中的數(shù)據(jù)都是自行人工處理或撰寫的,。爆火后,DeepSeek開啟了數(shù)據(jù)百曉生實(shí)習(xí)生招聘,,崗位要求不高但薪資豐厚,,顯示出對(duì)高質(zhì)量數(shù)據(jù)的重視。值得注意的是,,該崗位優(yōu)先考慮小語(yǔ)種專業(yè),,這可能是為了進(jìn)軍全球市場(chǎng)所做的準(zhǔn)備。
在具身智能和自動(dòng)駕駛領(lǐng)域,,數(shù)據(jù)同樣面臨挑戰(zhàn),。上海交大博導(dǎo)盧策吾教授指出,具身智能面臨數(shù)據(jù)規(guī)模不足的問題,,工業(yè)級(jí)應(yīng)用需要大量數(shù)據(jù)才能達(dá)到標(biāo)準(zhǔn),。數(shù)據(jù)采集成本高昂,限制了數(shù)據(jù)規(guī)模,。在自動(dòng)駕駛領(lǐng)域,,端到端技術(shù)的核心在于通過大量數(shù)據(jù)訓(xùn)練模型,使其識(shí)別和預(yù)測(cè)各種駕駛場(chǎng)景,。高質(zhì)量數(shù)據(jù)決定了模型輸出的準(zhǔn)確性和可靠性,。華為在智駕方面的一半投入用于數(shù)據(jù)采集和處理。特斯拉FSD測(cè)試?yán)锍绦柽_(dá)60億英里才能滿足監(jiān)管要求,,長(zhǎng)尾數(shù)據(jù)的收集難度和成本更高,。
獲取高質(zhì)量數(shù)據(jù)的方式主要有標(biāo)注、采集和生成,。數(shù)據(jù)標(biāo)注以人機(jī)協(xié)同為主,,未來有望出現(xiàn)自動(dòng)化程度更高的平臺(tái)。數(shù)據(jù)采集主要通過人工,、設(shè)備或爬蟲等方式進(jìn)行,,適用于多種領(lǐng)域,。數(shù)據(jù)生成則處于早期階段,其中世界模型受到廣泛關(guān)注,,旨在生成高質(zhì)量虛擬場(chǎng)景,,用于數(shù)據(jù)處理和模型訓(xùn)練。雖然世界模型不能完全替代數(shù)據(jù)采集,,但可以實(shí)現(xiàn)有效互補(bǔ),。
為解決人工智能產(chǎn)業(yè)中的數(shù)據(jù)痛點(diǎn),多地政府加速推動(dòng)高質(zhì)量數(shù)據(jù)建設(shè),。國(guó)家數(shù)據(jù)局在北京召開高質(zhì)量數(shù)據(jù)集建設(shè)工作啟動(dòng)會(huì),,武漢市發(fā)布促進(jìn)人工智能產(chǎn)業(yè)發(fā)展政策措施,深圳市加快構(gòu)建高價(jià)值垂類數(shù)據(jù)集和具身智能數(shù)據(jù)集,。這些舉措表明,,中國(guó)科技創(chuàng)新變革是舉國(guó)推動(dòng)的結(jié)果,人才紅利疊加完備產(chǎn)業(yè)鏈形成堅(jiān)實(shí)基礎(chǔ),,科研型企業(yè)家實(shí)現(xiàn)了范式創(chuàng)新,。還有許多優(yōu)秀創(chuàng)業(yè)者和研發(fā)團(tuán)隊(duì)在日夜兼程,政府也在積極推動(dòng)基礎(chǔ)設(shè)施建設(shè),,為創(chuàng)新提供土壤,。