DeepSeek扔的第二枚開源王炸是什么,。2月25日,DeepSeek在開源周的第二天發(fā)布了名為DeepEP的開源代碼庫,。DeepEP是首個專為MoE模型訓(xùn)練和推理設(shè)計的通信庫,,填補了該領(lǐng)域?qū)S霉ぞ叩目瞻祝荚谔岣叽笠?guī)模分布式AI訓(xùn)練和實時推理場景下的效率,。
DeepEP具備多種技術(shù)性能特點,。它支持優(yōu)化的全對全通信模式,通過節(jié)點內(nèi)和節(jié)點間的NVLink與RDMA互聯(lián)來提升數(shù)據(jù)傳輸效率,。原生支持FP8低精度運算調(diào)度,有助于降低計算資源消耗。高吞吐量內(nèi)核適用于訓(xùn)練和推理預(yù)填充場景,,能夠最大化數(shù)據(jù)處理能力,。針對推理解碼場景設(shè)計的低延遲內(nèi)核采用了純RDMA通信和自適應(yīng)路由技術(shù),,以減少延遲,。此外,,通過靈活的GPU資源控制策略,,DeepEP實現(xiàn)了計算與通信過程的高效重疊,,避免了資源閑置,。對于NVLink到RDMA的非對稱帶寬轉(zhuǎn)發(fā)場景,,DeepEP也進行了專項優(yōu)化,提升了異構(gòu)網(wǎng)絡(luò)下的傳輸性能,,并且支持SM數(shù)量動態(tài)控制,平衡不同任務(wù)的吞吐量需求,。
每經(jīng)AI快訊,2月28日,,DeepSeek開源周第五天,,DeepSeek在官方X賬號宣布開源3FS,它是所有Deepseek數(shù)據(jù)訪問的助推器
2025-02-28 11:52:14DeepSeek開源周第五天