清華團(tuán)隊(duì)突破大模型算力難題 英偉達(dá)面臨挑戰(zhàn)
清華大學(xué)KVCache.AI團(tuán)隊(duì)聯(lián)合趨境科技發(fā)布了KTransformers開(kāi)源項(xiàng)目的重大更新,，成功打破了大模型推理算力的門(mén)檻。這次更新支持在24G顯存（4090D）的設(shè)備上本地運(yùn)行DeepSeek-R1、V3的671B滿(mǎn)血版。
KTransformers項(xiàng)目的核心在于異構(gòu)計(jì)算策略。通過(guò)稀疏性利用,，MoE架構(gòu)每次僅激活部分專(zhuān)家模塊,，團(tuán)隊(duì)將非共享的稀疏矩陣卸載至CPU內(nèi)存,，并結(jié)合高速算子處理,，使顯存占用壓縮至24GB,。此外，項(xiàng)目采用了4bit量化技術(shù),，配合Marlin GPU算子,，效率提升了3.87倍；CPU端通過(guò)llamafile實(shí)現(xiàn)多線程并行,，預(yù)處理速度達(dá)到286 tokens/s,。CUDA Graph加速減少了CPU/GPU通信開(kāi)銷(xiāo)，單次解碼只需一次完整的CUDA Graph調(diào)用,，生成速度可達(dá)14 tokens/s,。
這一突破帶來(lái)的影響顯著。傳統(tǒng)方案中,，使用8卡A100服務(wù)器的成本超過(guò)百萬(wàn),，按需計(jì)費(fèi)每小時(shí)數(shù)千元。而現(xiàn)在,，單卡RTX 4090方案的整機(jī)成本約為2萬(wàn)元,，功耗僅為80W，非常適合中小團(tuán)隊(duì)和個(gè)人開(kāi)發(fā)者,。NVIDIA RTX 4090運(yùn)行DeepSeek-R1滿(mǎn)血版的案例不僅展示了技術(shù)奇跡,，也是開(kāi)源精神與硬件潛能結(jié)合的典范。這證明了在AI快速發(fā)展的時(shí)代,，創(chuàng)新往往源于對(duì)“不可能”的挑戰(zhàn),。
田志希說(shuō)不去韓國(guó)就沒(méi)有乒乓球生涯 感恩與告別
王毅建議外媒記者用DeepSeek翻譯 中外翻譯切磋樂(lè)趣多
男子3小時(shí)狂擲2000元套到瑪莎拉蒂 贏得一年使用權(quán)
男子3小時(shí)狂擲2000元套到瑪莎拉蒂 贏得一年使用權(quán)
大V：俄烏戰(zhàn)后國(guó)際秩序面臨崩盤(pán)可能 三國(guó)命運(yùn)堪憂(yōu)
百度轉(zhuǎn)向開(kāi)源路線 順應(yīng)行業(yè)趨勢(shì)
韓國(guó)突發(fā)大火，代總統(tǒng)做出指示 動(dòng)員全力滅火救援
澤連斯基與美副總統(tǒng)萬(wàn)斯會(huì)面 討論結(jié)束俄烏沖突
田志希說(shuō)不去韓國(guó)就沒(méi)有乒乓球生涯 感恩與告別
《哪吒2》火了美媒問(wèn)誰(shuí)還需要好萊塢 中國(guó)動(dòng)畫(huà)崛起引發(fā)討論
磨憨邊檢救助境外事故傷員 開(kāi)啟綠色通道助回國(guó)就醫(yī)
一漁船在閩東海域發(fā)生沉船事故 8人獲救2人失蹤
廣西一老師被舉報(bào)侵犯學(xué)生 警方立案 涉事教師已被調(diào)查
國(guó)羽梁王組合暫時(shí)拆對(duì) 調(diào)整狀態(tài)帶新人
WTT重慶冠軍賽票價(jià)公布 多檔票價(jià)供選擇
俄烏和平談判 誰(shuí)能“上桌” 多方爭(zhēng)奪席位
王毅建議外媒記者用DeepSeek翻譯 中外翻譯切磋樂(lè)趣多
美俄欲開(kāi)啟談判 歐洲為何坐立難安 歐洲外交尷尬顯現(xiàn)
美軍機(jī)罕見(jiàn)抵達(dá)莫斯科 引發(fā)廣泛關(guān)注
大V：俄烏和談澤連斯基只有接受的份 烏方堅(jiān)持參與和談
日本宣布將最多投放21萬(wàn)噸儲(chǔ)備米 緩解米價(jià)上漲壓力
美國(guó)“急轉(zhuǎn)彎” 歐洲怎么辦 歐洲的尷尬與無(wú)力
美國(guó)核航母突遭巨輪撞擊影響幾何 美軍聲明核反應(yīng)堆安全
美俄“爭(zhēng)霸”航展 誰(shuí)能虜獲印度芳心 蘇-57與F-35同場(chǎng)競(jìng)技
專(zhuān)家：美航母或因撞船事故返美維修 美軍戰(zhàn)備狀態(tài)堪憂(yōu)
火箭探花謝潑德新秀賽3中0得分掛蛋 表現(xiàn)低迷遭隊(duì)友欺負(fù)
澤連斯基面臨諸多艱難抉擇 烏克蘭命運(yùn)與個(gè)人前途交織
安東尼和霍華德候選名人堂 2025年最終名單揭曉
《哪吒2》半夜一次發(fā)3張海報(bào) 餃子手繪見(jiàn)證奇跡
哪吒2票房破110億 沖擊全球影史前十
中方呼吁胡塞武裝立即無(wú)條件釋放所有被扣押人員 人道局勢(shì)引關(guān)注
DeepSeek引發(fā)本地AI部署潮 開(kāi)源模型推動(dòng)熱潮
加拿大華人驅(qū)車(chē)去美國(guó)看《哪吒2》 國(guó)產(chǎn)動(dòng)畫(huà)海外受熱捧
男子失聯(lián)家屬懸賞百萬(wàn)尋人 滑翔傘越野飛行遇險(xiǎn)
特朗普：拜登是俄烏沖突的罪魁禍?zhǔn)?北約擴(kuò)張引發(fā)戰(zhàn)爭(zhēng)
相關(guān)新聞
從DeepSeek看AI趨勢(shì) 大模型推動(dòng)算力革命
2025-02-14 17:24:33從DeepSeek看AI趨勢(shì)清華翟季冬：DeepSeek 百倍算力效能背后的系統(tǒng)革命 智者訪談 多模態(tài)大模型再升級(jí)
就在DeepSeek在華爾街和應(yīng)用下載榜上引起轟動(dòng)的同時(shí)，深度求索公司在除夕夜再次推出了新的產(chǎn)品
2025-02-01 13:13:44清華翟季冬大模型企業(yè)分化 算力成買(mǎi)方市場(chǎng) AI產(chǎn)業(yè)迎來(lái)轉(zhuǎn)折點(diǎn)
2024-10-13 02:57:00大模型企業(yè)分化清華光電融合芯片算力是GPU的3000多倍？媒體搞出的大新聞
2024-12-02 14:18:14清華光電融合芯片算力是GPU的3000多倍,？媒體搞出的大新聞聯(lián)想聯(lián)合沐曦發(fā)布DeepSeek一體機(jī)解決方案 破解企業(yè)算力部署難題
2月5日，聯(lián)想集團(tuán)與沐曦股份聯(lián)合發(fā)布了基于DeepSeek大模型的一體機(jī)解決方案
2025-02-05 16:24:07聯(lián)想聯(lián)合沐曦發(fā)布DeepSeek一體機(jī)解決方案我國(guó)科研團(tuán)隊(duì)成功突破新型太陽(yáng)能電池制備難題,，助力綠色能源轉(zhuǎn)型
2024-08-03 21:45:34我國(guó)科研團(tuán)隊(duì)成功突破新型太陽(yáng)能電池制備難題
