全球AI巨頭正加急抄DeepSeek作業(yè),!在全球人工智能競賽日益激烈的背景下,,OpenAI,、微軟和Meta等行業(yè)巨頭正紛紛押注“蒸餾”技術(shù),,以降低AI模型的成本,,提高其普及率,,使企業(yè)和消費(fèi)者更容易獲取先進(jìn)的AI能力,。這一技術(shù)在中國初創(chuàng)公司DeepSeek利用開源系統(tǒng)(如Meta和阿里巴巴的模型)打造高效AI模型后迅速擴(kuò)大影響力。DeepSeek的突破不僅挑戰(zhàn)了硅谷在AI領(lǐng)域的領(lǐng)導(dǎo)地位,,也引發(fā)市場震動,,導(dǎo)致華爾街投資者對美國科技巨頭信心下降,,使其市值蒸發(fā)數(shù)十億美元,。
蒸餾的核心原理是利用一個大型語言模型生成預(yù)測數(shù)據(jù),并用這些數(shù)據(jù)來訓(xùn)練更小,、更高效的模型,,從而將大模型的知識快速遷移到小模型上。盡管蒸餾技術(shù)已存在多年,,最近的技術(shù)突破讓行業(yè)專家普遍認(rèn)為,,它將成為AI創(chuàng)業(yè)公司的“降本增效”利器,,使其能夠在不依賴龐大算力的情況下構(gòu)建高效AI應(yīng)用。OpenAI平臺產(chǎn)品負(fù)責(zé)人Olivier Godement表示:“蒸餾是一種近乎神奇的技術(shù),,它能夠利用一個極其強(qiáng)大的前沿大模型,,讓其‘教授’一個更小、更專注于特定任務(wù)的模型,,使其擁有極快的執(zhí)行速度和極低的計算成本,。”
全球AI巨頭正加急抄DeepSeek作業(yè) 蒸餾技術(shù)引發(fā)市場震動
像GPT-4,、谷歌的Gemini和Meta的Llama這樣的超大規(guī)模語言模型,,訓(xùn)練和維護(hù)成本極為昂貴,盡管相關(guān)公司未披露具體數(shù)字,,但業(yè)內(nèi)普遍認(rèn)為這一費(fèi)用高達(dá)數(shù)億美元,。蒸餾技術(shù)的應(yīng)用使得開發(fā)者和企業(yè)能夠以極低成本訪問大模型的核心能力,從而讓AI應(yīng)用能夠更高效地運(yùn)行在筆記本電腦,、智能手機(jī)等設(shè)備上,,加速AI技術(shù)的普及。微軟作為OpenAI的最大投資者之一,,累計投資近140億美元,,利用GPT-4蒸餾出小型語言模型Phi,推動其商業(yè)化落地,。
然而,,OpenAI認(rèn)為DeepSeek可能利用蒸餾技術(shù)從其模型中提取信息,以訓(xùn)練競爭產(chǎn)品,,涉嫌違反其服務(wù)條款,。對此,DeepSeek尚未作出回應(yīng),。盡管蒸餾能夠大幅降低模型運(yùn)行成本,,行業(yè)專家也指出,這一技術(shù)在提升計算效率的同時,,也不可避免地帶來一定的能力削弱,。微軟研究院的Ahmed Awadallah指出:“當(dāng)你縮小模型時,勢必會降低其泛化能力,。例如,,一個蒸餾后的模型可能非常擅長總結(jié)電子郵件內(nèi)容,但在其他任務(wù)上的表現(xiàn)可能不盡如人意,?!盋ox補(bǔ)充道:“只要蒸餾能顯著降低成本,同時提供符合預(yù)期的性能,就沒有理由不采用,?!?/p>
這一趨勢也對AI巨頭的商業(yè)模式構(gòu)成挑戰(zhàn)。即便開發(fā)者仍依賴OpenAI等公司的蒸餾模型,,但由于這些模型計算成本更低,,帶來的收入自然也相對減少。因此,,OpenAI通常對蒸餾模型的使用收取較低費(fèi)用,,以匹配其較低的計算負(fù)載。OpenAI的Godement堅信,,大型語言模型在“高智能,、高風(fēng)險任務(wù)”中仍不可或缺,企業(yè)愿意為高精準(zhǔn)度和高可靠性支付更高的費(fèi)用,。此外,,大模型依然是創(chuàng)新能力的源泉,未來的新突破也將依賴于這些模型,,隨后再被蒸餾至更小的模型中,。
與此同時,OpenAI也在積極防止其大模型被用于競爭性蒸餾,。公司專門設(shè)立了監(jiān)控團(tuán)隊,,一旦發(fā)現(xiàn)用戶可能在大規(guī)模提取數(shù)據(jù)以訓(xùn)練競爭產(chǎn)品,便會撤銷其訪問權(quán)限,。例如,,OpenAI據(jù)稱已采取措施限制與DeepSeek相關(guān)的賬戶訪問其模型。Contextual AI首席執(zhí)行官Douwe Kiela表示:“OpenAI一直試圖防止蒸餾被濫用,,但完全避免幾乎是不可能的,。”
另一方面,,蒸餾的廣泛應(yīng)用也被視為開源AI的勝利,。這一技術(shù)使得開發(fā)者可以更自由地利用開源AI系統(tǒng)進(jìn)行創(chuàng)新。例如,,DeepSeek的最新模型也采用了開源方式,,向全球開發(fā)者開放。Meta首席AI科學(xué)家Yann LeCun表示:“我們會立刻將蒸餾技術(shù)應(yīng)用到產(chǎn)品中,。這正是開源的精髓——所有人都能從彼此的進(jìn)步中受益,。”
蒸餾技術(shù)的崛起也讓AI行業(yè)的競爭變得更加復(fù)雜,。盡管領(lǐng)先的AI公司投入數(shù)十億美元推動模型能力提升,,但競爭對手可以借助蒸餾技術(shù)迅速跟進(jìn),,正如DeepSeek的最新成果所展現(xiàn)的那樣,。IBM的Cox表示:“在當(dāng)今AI行業(yè)瞬息萬變的環(huán)境下,,你可以投入巨資研發(fā)一個突破性的模型,但幾個月后,,競爭對手就能用蒸餾技術(shù)迎頭趕上,。這無疑讓AI市場變得更加復(fù)雜,商業(yè)模式也更加難以預(yù)測,?!?/p>