阿里發(fā)通用多模態(tài)大模型mPLUG-Owl3 4秒看完2小時電影

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-08-19 17:47:52 搜狐網(wǎng)

阿里mPLUG團(tuán)隊近期發(fā)布了一項新成果——通用多模態(tài)大模型mPLUG-Owl3，這款模型專為理解復(fù)雜多圖和長視頻內(nèi)容設(shè)計,。mPLUG-Owl3在提升推理效率方面實現(xiàn)了顯著突破,，它能將First Token Latency降低6倍，并在單張A100顯卡上處理的圖像數(shù)量提升至400張,，這意味著一部2小時的電影僅需4秒即可完成分析,。重要的是，效率的飛躍并未犧牲模型的準(zhǔn)確性,，mPLUG-Owl3在多模態(tài)場景的多個基準(zhǔn)測試中均達(dá)到了最佳水平,。

團(tuán)隊展示了mPLUG-Owl3的多樣應(yīng)用，包括多模態(tài)檢索增強(qiáng),、多圖推理及長視頻理解,。在多模態(tài)檢索中,，模型不僅能夠準(zhǔn)確回應(yīng)查詢，還能明確指出其決策依據(jù),；多圖推理功能則使模型能夠理解不同圖像間的關(guān)聯(lián),，進(jìn)行邏輯推理；而對于長視頻,，mPLUG-Owl3能夠在短時間內(nèi)解析并回答關(guān)于視頻細(xì)節(jié)的問題,，解決了傳統(tǒng)模型處理超長視頻的難題。

mPLUG-Owl3之所以能高效融合多模態(tài)信息,，得益于其創(chuàng)新的Hyper Attention模塊,。這一設(shè)計允許模型在不增加語言模型序列負(fù)擔(dān)的情況下，直接與視覺特征交互,，減少了計算成本和內(nèi)存占用,。通過精心設(shè)計的Cross-Attention操作，模型能夠精準(zhǔn)提取并利用視覺信息,，同時保持了對文本的高效處理能力,。此外，團(tuán)隊還引入了多模態(tài)交錯的旋轉(zhuǎn)位置編碼MI-Rope,，幫助模型更好地理解視覺元素在原始文本中的上下文關(guān)系,，進(jìn)一步優(yōu)化了多模態(tài)融合效果。

實驗結(jié)果顯示,，mPLUG-Owl3在廣泛的多模態(tài)基準(zhǔn)測試中取得了領(lǐng)先成績,，無論是在單圖、多圖還是長視頻理解任務(wù)上,，都展現(xiàn)出了超越以往模型的能力,。特別是在處理長視覺序列時，即使面對大量無關(guān)圖像的干擾,，mPLUG-Owl3依然能保持較高準(zhǔn)確率,，體現(xiàn)了其在復(fù)雜場景下的魯棒性。

對于那些希望深入了解mPLUG-Owl3技術(shù)細(xì)節(jié)和實驗結(jié)果的讀者,，可以通過論文和開源代碼進(jìn)行探索,，團(tuán)隊還提供了在線演示和預(yù)訓(xùn)練模型的訪問鏈接，方便研究人員和開發(fā)者實際體驗這一模型的性能,。

(責(zé)任編輯：張佳鑫 0764)

關(guān)閉

阿里發(fā)通用多模態(tài)大模型mPLUG-Owl3 4秒看完2小時電影

相關(guān)新聞

今日熱點

頻道熱點