Meta無限長文本大模型來了：參數(shù)僅7B,，已開源高效穩(wěn)定,，超越Transformer

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-04-18 12:57:16 搜狐網(wǎng)

谷歌和Meta相繼在無限長上下文建模領(lǐng)域展開角逐,。Transformer模型因二次復(fù)雜度及對長序列處理的局限性,，盡管已有線性注意力和狀態(tài)空間模型等次二次解決方案，但其預(yù)訓(xùn)練效率和下游任務(wù)準(zhǔn)確性仍不盡人意,。谷歌近期推出的Infini-Transformer通過創(chuàng)新方法,，使大型語言模型能夠處理無限長輸入，且無需增加內(nèi)存與計算需求,，引發(fā)業(yè)界關(guān)注,。

緊隨其后，Meta攜手南加州大學(xué),、CMU,、UCSD等研發(fā)團(tuán)隊，推出了名為MEGALODON的神經(jīng)架構(gòu),，同樣致力于無限長文本的高效序列建模,，上下文長度無任何限制。MEGALODON在MEGA架構(gòu)基礎(chǔ)上,，引入了復(fù)數(shù)指數(shù)移動平均（CEMA）,、時間步歸一化層、歸一化注意力機(jī)制及具備雙特征的預(yù)歸一化殘差配置等技術(shù)組件,，旨在提升模型能力和穩(wěn)定性,。

在與LLAMA2的對比試驗中，擁有70億參數(shù),、經(jīng)過2萬億訓(xùn)練token的MEGALODON展現(xiàn)出超越Transformer的效率優(yōu)勢,。其訓(xùn)練損失為1.70，介于LLAMA2-7B（1.75）與13B（1.67）之間,。一系列基準(zhǔn)測試進(jìn)一步證實了MEGALODON在不同任務(wù)與模式中相對于Transformers的顯著改進(jìn),。

MEGALODON的核心改進(jìn)在于對MEGA架構(gòu)的優(yōu)化，利用門控注意力機(jī)制與經(jīng)典指數(shù)移動平均法,。為增強(qiáng)大規(guī)模長上下文預(yù)訓(xùn)練的能力與效率,，研究者引入了CEMA，將MEGA中的多維阻尼EMA擴(kuò)展至復(fù)數(shù)域,；并設(shè)計了時間步歸一化層,，將組歸一化應(yīng)用于自回歸序列建模，實現(xiàn)沿順序維度的歸一化,。此外,，通過預(yù)歸一化與兩跳殘差配置調(diào)整，以及將輸入序列分塊為固定塊,，確保了模型訓(xùn)練與推理過程中的線性計算與內(nèi)存復(fù)雜性,。

在與LLAMA2的直接較量中，MEGALODON-7B在同等數(shù)據(jù)與計算資源條件下,，訓(xùn)練困惑度顯著低于最先進(jìn)的Transformer變體,。針對長上下文建模能力的評估涵蓋了從2M的多種上下文長度到Scrolls中的長上下文QA任務(wù)，充分證明了MEGALODON處理無限長度序列的能力,。此外,，在LRA、ImageNet,、Speech Commands,、WikiText-103和PG19等中小型基準(zhǔn)測試中，MEGALODON在體量與多模態(tài)處理方面展現(xiàn)卓越性能。

12 全文共 2 頁下一頁

關(guān)閉

Meta無限長文本大模型來了：參數(shù)僅7B,，已開源 高效穩(wěn)定,，超越Transformer

相關(guān)新聞

今日熱點

頻道熱點

Meta無限長文本大模型來了：參數(shù)僅7B,，已開源高效穩(wěn)定,，超越Transformer