DeepSeek發(fā)新成果 稀疏注意力機制NSA顯著提升長上下文處理速度
2月18日，DeepSeek團隊發(fā)布了一篇新論文，介紹了一種改進的稀疏注意力機制NSA，適用于超快速的長上下文訓(xùn)練與推理,。NSA以性價比極高的方式在訓(xùn)練階段應(yīng)用稀疏性，在訓(xùn)推場景中均實現(xiàn)速度的明顯提升,，特別是在解碼階段實現(xiàn)了高達11.6倍的提升,。
DeepSeek創(chuàng)始人兼CEO梁文鋒出現(xiàn)在了合著名單之中,，位列倒數(shù)第二,，表明他作為項目管理者參與了一線研究工作,。這篇論文的第一作者Jingyang Yuan是在實習(xí)期間完成的研究。
NSA具有三大核心組件：動態(tài)分層稀疏策略,、粗粒度token壓縮和精粒度token選擇,。這些組件協(xié)同工作，既提升了效率,，也保留了模型對全局長上下文的感知能力和局部精確性,。NSA專門針對現(xiàn)代硬件進行優(yōu)化設(shè)計，支持模型訓(xùn)練,，加速推理并降低預(yù)訓(xùn)練成本,，對性能無明顯影響。采用NSA機制的模型在通用基準,、長上下文任務(wù)和基于指令的推理上,，與全注意力模型相當或表現(xiàn)更優(yōu)。
在8卡A100計算集群上,，NSA的前向傳播和反向傳播速度分別比全注意力快9倍和6倍,，由于減少了內(nèi)存訪問量，NSA在長序列解碼時相較于全注意力模型速度顯著提升,。
“重塑哪吒”非藕不可嗎 杜仲膠成新寵
四川一醫(yī)院員工上班玩游戲 涉事職工被嚴肅處理
俄方在沙特“三談一不談” 探索和平之路
澤連斯基是交易高手嗎 俄烏和談背后的博弈
烏軍坦克“漂移躲避”失敗被擊中
座談會上的企業(yè)家如何看待科技競爭 硬科技引領(lǐng)未來方向
男子跳水救三名兒童默默離開 全城尋人暖人心
男子為治三高醉駕到警局自首 荒唐行為引關(guān)注
泰總理講述訪華時和美女保鏢的趣事 結(jié)下深厚情誼
馬斯克暗示將審查美國最大金庫 黃金安全引質(zhì)疑
當太乙真人遇上太乙假人 傳統(tǒng)文化的完美碰撞
黎官員稱部分黎邊境以軍已開始撤軍 撤軍期限臨近引發(fā)關(guān)注
俄美談判不帶歐盟烏克蘭意味著什么 主角被邊緣化
重慶江津回應(yīng)珞璜安家溪污染 調(diào)查正在進行中
學(xué)者：烏克蘭想成為歐洲的以色列 澤連斯基的愿景
大學(xué)生刷視頻1個月欠費上萬 高額流量費引爭議
多所高校上線滿血DeepSeek AI助手助力教學(xué)科研
俄羅斯與北約參加同一演習(xí) 展現(xiàn)重大轉(zhuǎn)變
男子公布套圈套中瑪莎拉蒂全過程 2000塊小博大成功
四川一醫(yī)院員工上班玩游戲 涉事職工被嚴肅處理
DeepSeek帶來的中國資產(chǎn)重估能走多遠？產(chǎn)業(yè)機遇全面釋放,！
學(xué)者：烏克蘭進退兩難,，不想被美國搶占礦產(chǎn)支援，也離不開美國支持抗俄
俄美沙特開談,，重點是什么 烏克蘭缺席引關(guān)注
俄方在沙特“三談一不談” 探索和平之路
車主回應(yīng)女子跳樓砸到車生還 車輛成“救命稻草”
U20國足80秒內(nèi)連丟2球 13年來首次場場失守
美俄將談判結(jié)束烏克蘭沖突 初步會談顯積極信號
特朗普：在我任上俄什么都沒拿著
U20國足1-2惜敗澳大利亞 國青晉級展現(xiàn)新氣象
美暫停對外援助或致全球艾滋病死亡病例大增 資金缺口嚴重
美聯(lián)儲突發(fā),！全球央行集體“避險”，金價新動向 市場重新評估漲勢
四川小伙跳河輕生被釣魚佬救起 20年未下水英勇救人
澤連斯基談美俄談判：不參加,，不承認 烏克蘭拒絕未參與的協(xié)議
尹錫悅未出席公開辯論返回拘留所 全權(quán)委托律師團
“重塑哪吒”非藕不可嗎 杜仲膠成新寵
相關(guān)新聞
《唐探1900》發(fā)新預(yù)告 歡喜冤家大顯神通
舊金山突發(fā)轟動全美的奇案,，“開膛手杰克”疑似再現(xiàn)，嫌疑人范圍指向舊金山唐人街。1月21日,，《唐探1900》最新發(fā)布的“所笑披靡”版預(yù)告片引發(fā)觀眾強烈期待
2025-01-22 11:03:57唐探1900發(fā)新預(yù)告DeepSeek在自動駕駛中有何優(yōu)勢 車圈刮起“DeepSeek風”
2025-02-18 06:34:40DeepSeek在自動駕駛中有何優(yōu)勢實測DeepSeek做奧數(shù)題寫作文 DeepSeek火爆全球
2025-01-27 20:13:31實測DeepSeek做奧數(shù)題寫作文《射雕英雄傳：俠之大者》發(fā)新預(yù)告 鐵血丹心喚武俠情懷
1月25日，武俠電影《射雕英雄傳：俠之大者》發(fā)布了“鐵血丹心”特別預(yù)告
2025-01-26 10:53:15射雕英雄傳以對貝魯特發(fā)新撤離令 以軍空襲接踵而至
2024-10-10 21:07:12以對貝魯特發(fā)新撤離令周杰倫宣布暑假要發(fā)新專輯 粉絲興奮期待
2025-02-09 07:41:37周杰倫宣布暑假要發(fā)新專輯
