中國(guó)人工智能初創(chuàng)公司DeepSeek在過(guò)去一周成為硅谷熱議的對(duì)象，并觸發(fā)了本周一美國(guó)科技股的大幅下跌,。1月29日,，OpenAI聲稱(chēng)發(fā)現(xiàn)證據(jù)表明DeepSeek使用其專(zhuān)有模型來(lái)訓(xùn)練自己的開(kāi)源模型，暗示這可能違反了OpenAI的服務(wù)條款,。但OpenAI沒(méi)有具體說(shuō)明這些證據(jù),。根據(jù)OpenAI的服務(wù)條款，用戶(hù)不能“復(fù)制”其任何服務(wù)或“使用其輸出來(lái)開(kāi)發(fā)與OpenAI競(jìng)爭(zhēng)的模型”,。

OpenAI的模型系統(tǒng)是封閉的,，但個(gè)人用戶(hù)仍可付費(fèi)接入其編程接口獲取數(shù)據(jù)。截至發(fā)稿時(shí),，DeepSeek尚未對(duì)此事作出回應(yīng),。此前，美國(guó)政府表示正在組織專(zhuān)家緊急評(píng)估DeepSeek的技術(shù)及其影響,。美國(guó)白宮AI和加密貨幣事務(wù)負(fù)責(zé)人David Sacks提到,，未來(lái)幾個(gè)月內(nèi)，美國(guó)領(lǐng)先的人工智能公司將采取措施,，試圖防止其他公司對(duì)“蒸餾技術(shù)”的獲取,。

DeepSeek模型的技術(shù)突破引起了美國(guó)總統(tǒng)特朗普的關(guān)注。特朗普表示,，這款中國(guó)AI應(yīng)用程序應(yīng)該成為美國(guó)公司的“激勵(lì)因素”,。他認(rèn)為如果中國(guó)能夠開(kāi)發(fā)出更便宜的人工智能技術(shù)，美國(guó)公司也會(huì)效仿,，以減少成本并找到相同的解決方案,。

數(shù)據(jù)蒸餾是一種業(yè)內(nèi)常見(jiàn)的技術(shù)做法，通過(guò)一系列算法和策略將原始復(fù)雜的數(shù)據(jù)進(jìn)行去噪,、降維,、提煉等操作，從而得到更為精煉,、有用的數(shù)據(jù),。這種技術(shù)旨在將復(fù)雜模型的知識(shí)提煉到簡(jiǎn)單模型中。據(jù)DeepSeek-V3的技術(shù)文檔顯示,，該模型使用數(shù)據(jù)蒸餾技術(shù)生成的高質(zhì)量數(shù)據(jù)提升了訓(xùn)練效率,。通過(guò)已有的高質(zhì)量模型合成少量高質(zhì)量數(shù)據(jù)作為新模型的訓(xùn)練數(shù)據(jù)，從而達(dá)到接近于在原始數(shù)據(jù)上訓(xùn)練的效果,。

一位計(jì)算機(jī)研究人員解釋說(shuō),，以前的大模型訓(xùn)練相當(dāng)于題海戰(zhàn)術(shù)，在大量數(shù)據(jù)中訓(xùn)練,；而蒸餾則相當(dāng)于讓優(yōu)秀大模型充當(dāng)新模型的老師,，篩選出有效題目,，再讓新的大模型訓(xùn)練。不過(guò)有學(xué)者認(rèn)為,，蒸餾技術(shù)存在“隱性天花板”,，雖然可以提高模型訓(xùn)練效率，但開(kāi)發(fā)的模型無(wú)法超越基礎(chǔ)模型的能力,，尤其在多模態(tài)數(shù)據(jù)方面效果不佳,。然而，DeepSeek的模型打破了這種觀念,，其水平已經(jīng)能與原始的基礎(chǔ)模型相提并論,。1月28日凌晨，DeepSeek發(fā)布了最新視覺(jué)模型Janus-Pro,，在多模態(tài)理解和文生圖指令遵從能力方面顯著提升,，并在多個(gè)基準(zhǔn)上超越了DALL-E 3與Stable Diffusion。

英國(guó)倫敦大學(xué)學(xué)院名譽(yù)教授彼得·本特利指出,，蒸餾技術(shù)對(duì)一些不具備OpenAI或谷歌這樣巨額研發(fā)預(yù)算的小型機(jī)構(gòu)的研究進(jìn)展將會(huì)產(chǎn)生重大影響,。一位美國(guó)科技巨頭公司AI相關(guān)項(xiàng)目開(kāi)發(fā)人員認(rèn)為，蒸餾類(lèi)似Llama這樣的開(kāi)源模型是有合理性的,，因?yàn)檫@樣能加速大模型的迭代，避免資源浪費(fèi),。他還提到,，全球許多AI初創(chuàng)公司也使用多種大模型的蒸餾融合技術(shù)，形成所謂的“多專(zhuān)家模型”,，這種模型有可能在性能方面超越原始模型,，因?yàn)樗哂懈鼜?qiáng)的泛化能力和豐富信息，提升最終性能,。

關(guān)鍵問(wèn)題在于為何同樣是在蒸餾開(kāi)源模型的基礎(chǔ)上,，DeepSeek能夠脫穎而出，以低廉的成本實(shí)現(xiàn)高性能,。他認(rèn)為,，DeepSeek完美平衡了多專(zhuān)家模型、訓(xùn)練時(shí)長(zhǎng),、預(yù)訓(xùn)練和后訓(xùn)練等工作,，使得投入和產(chǎn)出達(dá)到高效值。但也有人指出,，過(guò)度依賴(lài)蒸餾技術(shù)會(huì)導(dǎo)致研發(fā)人員放棄對(duì)基礎(chǔ)模型的探索,。上海交通大學(xué)副教授劉鵬飛曾提到，雖然蒸餾技術(shù)帶來(lái)了直接且可見(jiàn)的好處,，但它掩蓋了一系列深刻的挑戰(zhàn),，無(wú)法提出根本性的解決方案。