螞蟻集團(tuán)取得重大AI突破降低訓(xùn)練成本20%(2)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-25 11:24:28 中國(guó)基金報(bào)

實(shí)驗(yàn)結(jié)果最終表明,，一個(gè)規(guī)模為300B的MoE大語(yǔ)言模型可以在性能較低的設(shè)備上有效訓(xùn)練,，并在性能上達(dá)到與同規(guī)模的其他模型相當(dāng)?shù)乃?。與高性能設(shè)備相比,，在預(yù)訓(xùn)練階段使用低規(guī)格硬件系統(tǒng)可顯著節(jié)約成本，計(jì)算開支約降低20%,。

當(dāng)前最先進(jìn)的MoE模型在訓(xùn)練過程中嚴(yán)重依賴高性能AI加速器,，這類高端硬件持續(xù)供不應(yīng)求。相比之下,，性能較低的加速器更易獲得且單價(jià)更低,。這種差異凸顯出建立一種能夠在異構(gòu)計(jì)算單元和分布式集群之間無(wú)縫切換的技術(shù)體系的必要性，從而優(yōu)化訓(xùn)練與推理的整體成本,。

MoE模型的訓(xùn)練通常依賴于如英偉達(dá)所售GPU這類高性能芯片，這使得訓(xùn)練成本對(duì)許多中小企業(yè)而言過于高昂,，限制了更廣泛的應(yīng)用,。螞蟻集團(tuán)一直在致力于提高大語(yǔ)言模型的訓(xùn)練效率，并突破這一限制,。從其論文標(biāo)題即可看出,，該公司將目標(biāo)定為“在無(wú)需高端GPU的情況下擴(kuò)展模型規(guī)?！薄?/p>

這一方向與英偉達(dá)的戰(zhàn)略背道而馳,。英偉達(dá)首席執(zhí)行官黃仁勛曾表示,，即便更高效的模型出現(xiàn)，對(duì)計(jì)算力的需求仍會(huì)持續(xù)增長(zhǎng),，企業(yè)要實(shí)現(xiàn)更多營(yíng)收將依賴更強(qiáng)大的芯片,，而非通過更便宜的芯片來(lái)削減成本。他堅(jiān)持打造具備更多處理核心,、更高晶體管數(shù)量和更大內(nèi)存容量的大型GPU的戰(zhàn)略,。

螞蟻集團(tuán)的研究論文凸顯出中國(guó)AI領(lǐng)域技術(shù)創(chuàng)新和發(fā)展速度的加快。如果其研究成果屬實(shí),，這將表明中國(guó)在人工智能領(lǐng)域正逐步走向自主可控,，特別是在尋求成本更低、計(jì)算效率更高的模型架構(gòu)來(lái)應(yīng)對(duì)英偉達(dá)芯片出口限制的背景下,。

針對(duì)此事,，螞蟻集團(tuán)回應(yīng)稱，他們針對(duì)不同芯片持續(xù)調(diào)優(yōu),，以降低AI應(yīng)用成本,，目前取得了一定的進(jìn)展，也會(huì)逐步通過開源分享,。

首頁(yè)上一頁(yè)12共 2 頁(yè)

(責(zé)任編輯：張小花 TT1000)

關(guān)閉

螞蟻集團(tuán)取得重大AI突破 降低訓(xùn)練成本20%(2)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

螞蟻集團(tuán)取得重大AI突破降低訓(xùn)練成本20%(2)