DeepSeek發(fā)新成果 稀疏注意力機(jī)制NSA顯著提升長(zhǎng)上下文處理速度(3)
為測(cè)試NSA機(jī)制在實(shí)際訓(xùn)練、推理場(chǎng)景中的表現(xiàn),，DeepSeek使用了一個(gè)結(jié)合分組查詢注意力和混合專家的骨干架構(gòu)作為樣本模型,。在多個(gè)通用基準(zhǔn)測(cè)試中，采用NSA的模型盡管具有稀疏性,，但其總體性能優(yōu)于所有基線模型,，在9項(xiàng)指標(biāo)中有7項(xiàng)表現(xiàn)最佳。NSA在長(zhǎng)上下文任務(wù)中表現(xiàn)出色,，在64k上下文的“大海撈針”測(cè)試中實(shí)現(xiàn)了超強(qiáng)的檢索精度,。NSA還能與推理模型結(jié)合，適配前沿的后訓(xùn)練方式,。實(shí)驗(yàn)中,，NSA-R在8k和16k上下文設(shè)置下均顯著優(yōu)于全注意力-R。
在8-GPU A100系統(tǒng)上,，隨著上下文長(zhǎng)度的增加,，NSA的加速效果愈發(fā)顯著。在64k上下文長(zhǎng)度時(shí),，NSA的前向傳播速度提升了9倍,，反向傳播速度提升了6倍。這種加速主要得益于NSA的硬件對(duì)齊設(shè)計(jì),，內(nèi)核中精細(xì)的循環(huán)調(diào)度消除了冗余的KV傳輸,。盡管NSA取得了顯著成果，DeepSeek研究團(tuán)隊(duì)指出了一些可能的改進(jìn)方向,，如進(jìn)一步優(yōu)化稀疏注意力模式的學(xué)習(xí)過(guò)程和探索更高效的硬件實(shí)現(xiàn)方式,。
(責(zé)任編輯：盧其龍 CN070)
關(guān)閉
“重塑哪吒”非藕不可嗎 杜仲膠成新寵
重塑哪吒非藕不可嗎2025-02-18 22:50:24
四川一醫(yī)院?jiǎn)T工上班玩游戲 涉事職工被嚴(yán)肅處理
四川一醫(yī)院?jiǎn)T工上班玩游戲2025-02-18 22:49:58
俄方在沙特“三談一不談” 探索和平之路
俄方在沙特三談一不談2025-02-18 22:47:39
澤連斯基是交易高手嗎 俄烏和談背后的博弈
澤連斯基是交易高手嗎2025-02-18 16:36:50
烏軍坦克“漂移躲避”失敗被擊中
烏軍坦克“漂移躲避”失敗被擊中2025-02-18 15:48:06
座談會(huì)上的企業(yè)家如何看待科技競(jìng)爭(zhēng) 硬科技引領(lǐng)未來(lái)方向
座談會(huì)上的企業(yè)家如何看待科技競(jìng)爭(zhēng)2025-02-18 22:45:02
男子跳水救三名兒童默默離開(kāi) 全城尋人暖人心
男子跳水救三名兒童默默離開(kāi)2025-02-18 22:25:14
男子為治三高醉駕到警局自首 荒唐行為引關(guān)注
男子為治三高醉駕到警局自首2025-02-18 22:41:39
泰總理講述訪華時(shí)和美女保鏢的趣事 結(jié)下深厚情誼
泰總理講述訪華時(shí)和美女保鏢的趣事2025-02-18 16:00:49
馬斯克暗示將審查美國(guó)最大金庫(kù) 黃金安全引質(zhì)疑
馬斯克暗示將審查美國(guó)最大金庫(kù)2025-02-18 16:21:36
當(dāng)太乙真人遇上太乙假人 傳統(tǒng)文化的完美碰撞
當(dāng)太乙真人遇上太乙假人2025-02-18 22:47:07
黎官員稱部分黎邊境以軍已開(kāi)始撤軍 撤軍期限臨近引發(fā)關(guān)注
黎官員稱部分黎邊境以軍已開(kāi)始撤軍2025-02-18 15:51:50
俄美談判不帶歐盟烏克蘭意味著什么 主角被邊緣化
俄美談判不帶歐盟烏克蘭意味著什么2025-02-18 16:30:53
重慶江津回應(yīng)珞璜安家溪污染 調(diào)查正在進(jìn)行中
重慶江津回應(yīng)珞璜安家溪污染2025-02-18 22:31:17
學(xué)者：烏克蘭想成為歐洲的以色列 澤連斯基的愿景
烏克蘭想成為歐洲的以色列2025-02-18 16:17:05
大學(xué)生刷視頻1個(gè)月欠費(fèi)上萬(wàn) 高額流量費(fèi)引爭(zhēng)議
大學(xué)生刷視頻1個(gè)月欠費(fèi)上萬(wàn)2025-02-18 22:30:47
多所高校上線滿血DeepSeek AI助手助力教學(xué)科研
多所高校上線滿血DeepSeek2025-02-18 22:23:00
俄羅斯與北約參加同一演習(xí) 展現(xiàn)重大轉(zhuǎn)變
俄羅斯與北約參加同一演習(xí)2025-02-18 16:23:44
男子公布套圈套中瑪莎拉蒂全過(guò)程 2000塊小博大成功
男子公布套圈套中瑪莎拉蒂全過(guò)程2025-02-18 22:39:35
四川一醫(yī)院?jiǎn)T工上班玩游戲 涉事職工被嚴(yán)肅處理
四川一醫(yī)院?jiǎn)T工上班玩游戲2025-02-18 22:49:58
DeepSeek帶來(lái)的中國(guó)資產(chǎn)重估能走多遠(yuǎn)？產(chǎn)業(yè)機(jī)遇全面釋放,！
DeepSeek帶來(lái)的中國(guó)資產(chǎn)重估能走多遠(yuǎn)2025-02-18 16:05:01
學(xué)者：烏克蘭進(jìn)退兩難,，不想被美國(guó)搶占礦產(chǎn)支援，也離不開(kāi)美國(guó)支持抗俄
學(xué)者：烏克蘭進(jìn)退兩難2025-02-18 15:56:48
俄美沙特開(kāi)談,，重點(diǎn)是什么 烏克蘭缺席引關(guān)注
俄美沙特開(kāi)談,重點(diǎn)是什么2025-02-18 16:37:16
俄方在沙特“三談一不談” 探索和平之路
俄方在沙特三談一不談2025-02-18 22:47:39
車主回應(yīng)女子跳樓砸到車生還 車輛成“救命稻草”
車主回應(yīng)女子跳樓砸到車生還2025-02-18 22:39:08
U20國(guó)足80秒內(nèi)連丟2球 13年來(lái)首次場(chǎng)場(chǎng)失守
U20國(guó)足80秒內(nèi)連丟2球2025-02-18 22:44:29
美俄將談判結(jié)束烏克蘭沖突 初步會(huì)談顯積極信號(hào)
美俄將談判結(jié)束烏克蘭沖突2025-02-18 22:34:10
特朗普：在我任上俄什么都沒(méi)拿著
特朗普：在我任上俄什么都沒(méi)拿著2025-02-18 15:52:18
U20國(guó)足1-2惜敗澳大利亞 國(guó)青晉級(jí)展現(xiàn)新氣象
U20國(guó)足1-2惜敗澳大利亞2025-02-18 22:33:43
美暫停對(duì)外援助或致全球艾滋病死亡病例大增 資金缺口嚴(yán)重
美暫停對(duì)外援助或致全球艾滋病死亡病例大增2025-02-18 16:33:00
美聯(lián)儲(chǔ)突發(fā),！全球央行集體“避險(xiǎn)”，金價(jià)新動(dòng)向 市場(chǎng)重新評(píng)估漲勢(shì)
美聯(lián)儲(chǔ)突發(fā),全球央行集體避險(xiǎn),金價(jià)新動(dòng)向2025-02-18 16:28:37
四川小伙跳河輕生被釣魚(yú)佬救起 20年未下水英勇救人
四川小伙跳河輕生被釣魚(yú)佬救起2025-02-18 22:36:53
澤連斯基談美俄談判：不參加,，不承認(rèn) 烏克蘭拒絕未參與的協(xié)議
澤連斯基談美俄談判,不參加,不承認(rèn)2025-02-18 16:40:09
尹錫悅未出席公開(kāi)辯論返回拘留所 全權(quán)委托律師團(tuán)
尹錫悅未出席公開(kāi)辯論返回拘留所2025-02-18 16:26:45
“重塑哪吒”非藕不可嗎 杜仲膠成新寵
重塑哪吒非藕不可嗎2025-02-18 22:50:24
相關(guān)新聞
《唐探1900》發(fā)新預(yù)告 歡喜冤家大顯神通
2025-01-22 11:03:57唐探1900發(fā)新預(yù)告DeepSeek在自動(dòng)駕駛中有何優(yōu)勢(shì) 車圈刮起“DeepSeek風(fēng)”
2025-02-18 06:34:40DeepSeek在自動(dòng)駕駛中有何優(yōu)勢(shì)實(shí)測(cè)DeepSeek做奧數(shù)題寫(xiě)作文 DeepSeek火爆全球
2025-01-27 20:13:31實(shí)測(cè)DeepSeek做奧數(shù)題寫(xiě)作文《射雕英雄傳：俠之大者》發(fā)新預(yù)告 鐵血丹心喚武俠情懷
1月25日，武俠電影《射雕英雄傳：俠之大者》發(fā)布了“鐵血丹心”特別預(yù)告
2025-01-26 10:53:15射雕英雄傳以對(duì)貝魯特發(fā)新撤離令 以軍空襲接踵而至
2024-10-10 21:07:12以對(duì)貝魯特發(fā)新撤離令周杰倫宣布暑假要發(fā)新專輯 粉絲興奮期待
2025-02-09 07:41:37周杰倫宣布暑假要發(fā)新專輯
