清華團(tuán)隊(duì)突破大模型算力難題 英偉達(dá)面臨挑戰(zhàn)
清華大學(xué)KVCache.AI團(tuán)隊(duì)聯(lián)合趨境科技發(fā)布了KTransformers開源項(xiàng)目的重大更新,，成功打破了大模型推理算力的門檻,。這次更新支持在24G顯存（4090D）的設(shè)備上本地運(yùn)行DeepSeek-R1、V3的671B滿血版,。
KTransformers項(xiàng)目的核心在于異構(gòu)計(jì)算策略,。通過稀疏性利用，MoE架構(gòu)每次僅激活部分專家模塊,，團(tuán)隊(duì)將非共享的稀疏矩陣卸載至CPU內(nèi)存,，并結(jié)合高速算子處理，使顯存占用壓縮至24GB,。此外,，項(xiàng)目采用了4bit量化技術(shù)，配合Marlin GPU算子,，效率提升了3.87倍,；CPU端通過llamafile實(shí)現(xiàn)多線程并行，預(yù)處理速度達(dá)到286 tokens/s。CUDA Graph加速減少了CPU/GPU通信開銷,，單次解碼只需一次完整的CUDA Graph調(diào)用,，生成速度可達(dá)14 tokens/s。
這一突破帶來的影響顯著,。傳統(tǒng)方案中,，使用8卡A100服務(wù)器的成本超過百萬，按需計(jì)費(fèi)每小時(shí)數(shù)千元,。而現(xiàn)在,，單卡RTX 4090方案的整機(jī)成本約為2萬元，功耗僅為80W,，非常適合中小團(tuán)隊(duì)和個(gè)人開發(fā)者,。NVIDIA RTX 4090運(yùn)行DeepSeek-R1滿血版的案例不僅展示了技術(shù)奇跡,，也是開源精神與硬件潛能結(jié)合的典范,。這證明了在AI快速發(fā)展的時(shí)代，創(chuàng)新往往源于對(duì)“不可能”的挑戰(zhàn),。
聯(lián)想MWC 2025發(fā)布概念性筆電生態(tài) 模塊化AI創(chuàng)新引領(lǐng)未來
奚夢(mèng)瑤何超欣姑嫂出游像閨蜜 奚夢(mèng)瑤何超欣一起出游參觀法國(guó)酒莊
全球每年120萬人因吸二手煙死亡 每4秒1人逝去
美國(guó)多地爆發(fā)“抵制特斯拉”示威活動(dòng),，白宮發(fā)聲 抗議持續(xù)蔓延
新研究揭示月球水源雙重起源 挑戰(zhàn)太陽風(fēng)理論
白宮碰壁后澤連斯基在唐寧街受到禮遇，歐洲在壓力與無奈中集結(jié) 歐洲集結(jié)聲援烏克蘭
全球每年120萬人因吸二手煙死亡 每4秒1人逝去
《180天重啟計(jì)劃》母女成長(zhǎng)之路 溫情治愈之旅
種種跡象表明,，美國(guó)準(zhǔn)備搞掉澤連斯基了 換一個(gè)聽話的人
山東新人冒雪結(jié)婚一秒“白頭” 真愛無懼風(fēng)雪
毛不易演唱會(huì)北方三城官宣 東北家鄉(xiāng)驚喜連連
各地?fù)屪ァ按喝战?jīng)濟(jì)”流量紅利 賞花熱帶動(dòng)旅游消費(fèi)
美國(guó)經(jīng)濟(jì)的危險(xiǎn)深淵：從“拜登通脹”到“特朗普滯脹”,？滯脹風(fēng)險(xiǎn)加劇
若特朗普說話算數(shù) 烏軍將有多慘？ 援助切斷后果嚴(yán)重
政協(xié)委員建議合理控制醫(yī)保保費(fèi)漲幅 探索匹配收入增長(zhǎng)機(jī)制
德媒發(fā)現(xiàn)馮德萊恩對(duì)中國(guó)口氣變了 尋求合作新契機(jī)
寒潮來襲,，雪中濟(jì)南“菜籃子”量足價(jià)穩(wěn),！
奚夢(mèng)瑤何超欣姑嫂出游像閨蜜 奚夢(mèng)瑤何超欣一起出游參觀法國(guó)酒莊
澤連斯基與特朗普談崩后 歐洲能重回俄烏沖突談判桌嗎？ 歐洲面臨歷史性抉擇
澤連斯基稱當(dāng)下取代他并不容易 愿辭職換北約成員資格
澤連斯基反諷稱可以授予美議員烏公民身份 這樣他聲音才有分量
專家談特朗普所信奉的“交易藝術(shù)” 極限施壓俄烏局勢(shì)
白鹿說因?yàn)椤毒鞓s譽(yù)》才能演《北上》
美烏領(lǐng)導(dǎo)人談崩,，馬克龍“勸架”,！呼吁冷靜與尊重
臺(tái)名嘴圍觀白宮“世紀(jì)爭(zhēng)吵”后反思“人為刀俎我為魚肉”“當(dāng)棋子的悲哀”
烏步兵戰(zhàn)車遭俄無人機(jī)襲擊后殉爆 俄軍光纖無人機(jī)精確打
美媒稱歐洲正從美國(guó)手中奪取和談主導(dǎo)權(quán) 英法提議烏克蘭停火一個(gè)月
官方通報(bào)馬拉松選手在中學(xué)門前小便 不文明行為遭譴責(zé)
緬甸4名高級(jí)軍官涉嫌電詐被拘 打擊行動(dòng)持續(xù)升級(jí)
聯(lián)想MWC 2025發(fā)布概念性筆電生態(tài) 模塊化AI創(chuàng)新引領(lǐng)未來
澤連斯基再表態(tài)：愿以辭職換取烏克蘭加入北約 堅(jiān)定立場(chǎng)引發(fā)關(guān)注
特朗普發(fā)話少擔(dān)心普京多擔(dān)心移民問題 關(guān)注國(guó)內(nèi)安全挑戰(zhàn)
澤連斯基：“沒有一天不感激”美國(guó) 強(qiáng)調(diào)美國(guó)支持的重要性
102項(xiàng)重大工程98%以上完成目標(biāo) 有力支撐高質(zhì)量發(fā)展
女子吃了未熟香菇身體像被“鞭打” 警惕香菇皮炎
相關(guān)新聞
從DeepSeek看AI趨勢(shì) 大模型推動(dòng)算力革命
2025-02-14 17:24:33從DeepSeek看AI趨勢(shì)機(jī)構(gòu)扎堆調(diào)研“AI”板塊 聚焦大模型與算力需求
2025-02-16 13:09:04機(jī)構(gòu)扎堆調(diào)研AI板塊清華翟季冬：DeepSeek 百倍算力效能背后的系統(tǒng)革命 智者訪談 多模態(tài)大模型再升級(jí)
就在DeepSeek在華爾街和應(yīng)用下載榜上引起轟動(dòng)的同時(shí),，深度求索公司在除夕夜再次推出了新的產(chǎn)品
2025-02-01 13:13:44清華翟季冬大模型企業(yè)分化 算力成買方市場(chǎng) AI產(chǎn)業(yè)迎來轉(zhuǎn)折點(diǎn)
2024-10-13 02:57:00大模型企業(yè)分化清華光電融合芯片算力是GPU的3000多倍？媒體搞出的大新聞
2024-12-02 14:18:14清華光電融合芯片算力是GPU的3000多倍？媒體搞出的大新聞聯(lián)想聯(lián)合沐曦發(fā)布DeepSeek一體機(jī)解決方案 破解企業(yè)算力部署難題
2月5日,，聯(lián)想集團(tuán)與沐曦股份聯(lián)合發(fā)布了基于DeepSeek大模型的一體機(jī)解決方案
2025-02-05 16:24:07聯(lián)想聯(lián)合沐曦發(fā)布DeepSeek一體機(jī)解決方案
