全球AI巨頭正加急抄DeepSeek作業(yè),!在全球人工智能競賽日益激烈的背景下,OpenAI,、微軟和Meta等行業(yè)巨頭正紛紛押注“蒸餾”技術(shù),以降低AI模型的成本,,提高其普及率,使企業(yè)和消費(fèi)者更容易獲取先進(jìn)的AI能力,。這一技術(shù)在中國初創(chuàng)公司DeepSeek利用開源系統(tǒng)(如Meta和阿里巴巴的模型)打造高效AI模型后迅速擴(kuò)大影響力,。DeepSeek的突破不僅挑戰(zhàn)了硅谷在AI領(lǐng)域的領(lǐng)導(dǎo)地位,,也引發(fā)市場震動(dòng),,導(dǎo)致華爾街投資者對美國科技巨頭信心下降,使其市值蒸發(fā)數(shù)十億美元,。
蒸餾的核心原理是利用一個(gè)大型語言模型生成預(yù)測數(shù)據(jù),,并用這些數(shù)據(jù)來訓(xùn)練更小、更高效的模型,,從而將大模型的知識(shí)快速遷移到小模型上,。盡管蒸餾技術(shù)已存在多年,最近的技術(shù)突破讓行業(yè)專家普遍認(rèn)為,,它將成為AI創(chuàng)業(yè)公司的“降本增效”利器,,使其能夠在不依賴龐大算力的情況下構(gòu)建高效AI應(yīng)用,。OpenAI平臺(tái)產(chǎn)品負(fù)責(zé)人Olivier Godement表示:“蒸餾是一種近乎神奇的技術(shù),它能夠利用一個(gè)極其強(qiáng)大的前沿大模型,,讓其‘教授’一個(gè)更小,、更專注于特定任務(wù)的模型,使其擁有極快的執(zhí)行速度和極低的計(jì)算成本,?!?/p>
全球AI巨頭正加急抄DeepSeek作業(yè) 蒸餾技術(shù)引發(fā)市場震動(dòng)
像GPT-4、谷歌的Gemini和Meta的Llama這樣的超大規(guī)模語言模型,,訓(xùn)練和維護(hù)成本極為昂貴,,盡管相關(guān)公司未披露具體數(shù)字,但業(yè)內(nèi)普遍認(rèn)為這一費(fèi)用高達(dá)數(shù)億美元,。蒸餾技術(shù)的應(yīng)用使得開發(fā)者和企業(yè)能夠以極低成本訪問大模型的核心能力,,從而讓AI應(yīng)用能夠更高效地運(yùn)行在筆記本電腦、智能手機(jī)等設(shè)備上,,加速AI技術(shù)的普及,。微軟作為OpenAI的最大投資者之一,累計(jì)投資近140億美元,,利用GPT-4蒸餾出小型語言模型Phi,,推動(dòng)其商業(yè)化落地。
然而,,OpenAI認(rèn)為DeepSeek可能利用蒸餾技術(shù)從其模型中提取信息,以訓(xùn)練競爭產(chǎn)品,,涉嫌違反其服務(wù)條款,。對此,DeepSeek尚未作出回應(yīng),。盡管蒸餾能夠大幅降低模型運(yùn)行成本,,行業(yè)專家也指出,這一技術(shù)在提升計(jì)算效率的同時(shí),,也不可避免地帶來一定的能力削弱,。微軟研究院的Ahmed Awadallah指出:“當(dāng)你縮小模型時(shí),勢必會(huì)降低其泛化能力,。例如,,一個(gè)蒸餾后的模型可能非常擅長總結(jié)電子郵件內(nèi)容,但在其他任務(wù)上的表現(xiàn)可能不盡如人意,?!盋ox補(bǔ)充道:“只要蒸餾能顯著降低成本,同時(shí)提供符合預(yù)期的性能,,就沒有理由不采用,?!?/p>
這一趨勢也對AI巨頭的商業(yè)模式構(gòu)成挑戰(zhàn)。即便開發(fā)者仍依賴OpenAI等公司的蒸餾模型,,但由于這些模型計(jì)算成本更低,,帶來的收入自然也相對減少。因此,,OpenAI通常對蒸餾模型的使用收取較低費(fèi)用,,以匹配其較低的計(jì)算負(fù)載。OpenAI的Godement堅(jiān)信,,大型語言模型在“高智能,、高風(fēng)險(xiǎn)任務(wù)”中仍不可或缺,企業(yè)愿意為高精準(zhǔn)度和高可靠性支付更高的費(fèi)用,。此外,,大模型依然是創(chuàng)新能力的源泉,未來的新突破也將依賴于這些模型,,隨后再被蒸餾至更小的模型中,。
與此同時(shí),OpenAI也在積極防止其大模型被用于競爭性蒸餾,。公司專門設(shè)立了監(jiān)控團(tuán)隊(duì),,一旦發(fā)現(xiàn)用戶可能在大規(guī)模提取數(shù)據(jù)以訓(xùn)練競爭產(chǎn)品,便會(huì)撤銷其訪問權(quán)限,。例如,,OpenAI據(jù)稱已采取措施限制與DeepSeek相關(guān)的賬戶訪問其模型。Contextual AI首席執(zhí)行官Douwe Kiela表示:“OpenAI一直試圖防止蒸餾被濫用,,但完全避免幾乎是不可能的,。”
另一方面,,蒸餾的廣泛應(yīng)用也被視為開源AI的勝利,。這一技術(shù)使得開發(fā)者可以更自由地利用開源AI系統(tǒng)進(jìn)行創(chuàng)新。例如,,DeepSeek的最新模型也采用了開源方式,,向全球開發(fā)者開放。Meta首席AI科學(xué)家Yann LeCun表示:“我們會(huì)立刻將蒸餾技術(shù)應(yīng)用到產(chǎn)品中,。這正是開源的精髓——所有人都能從彼此的進(jìn)步中受益,。”
蒸餾技術(shù)的崛起也讓AI行業(yè)的競爭變得更加復(fù)雜,。盡管領(lǐng)先的AI公司投入數(shù)十億美元推動(dòng)模型能力提升,,但競爭對手可以借助蒸餾技術(shù)迅速跟進(jìn),正如DeepSeek的最新成果所展現(xiàn)的那樣,。IBM的Cox表示:“在當(dāng)今AI行業(yè)瞬息萬變的環(huán)境下,,你可以投入巨資研發(fā)一個(gè)突破性的模型,,但幾個(gè)月后,競爭對手就能用蒸餾技術(shù)迎頭趕上,。這無疑讓AI市場變得更加復(fù)雜,,商業(yè)模式也更加難以預(yù)測?!?/p>
我們需要更多的DeepSeek,。過去幾年里,中國大模型從業(yè)者們經(jīng)常被問及中國距離追上ChatGPT還有多遠(yuǎn),。2025年初,,這個(gè)問題有了新的答案
2025-02-21 17:49:36DeepSeek爆火