DeepSeek扔的第二枚開源王炸是什么。2月25日,,DeepSeek在開源周的第二天發(fā)布了名為DeepEP的開源代碼庫(kù),。DeepEP是首個(gè)專為MoE模型訓(xùn)練和推理設(shè)計(jì)的通信庫(kù),填補(bǔ)了該領(lǐng)域?qū)S霉ぞ叩目瞻?,旨在提高大?guī)模分布式AI訓(xùn)練和實(shí)時(shí)推理場(chǎng)景下的效率,。
DeepEP具備多種技術(shù)性能特點(diǎn)。它支持優(yōu)化的全對(duì)全通信模式,,通過節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間的NVLink與RDMA互聯(lián)來提升數(shù)據(jù)傳輸效率,。原生支持FP8低精度運(yùn)算調(diào)度,有助于降低計(jì)算資源消耗,。高吞吐量?jī)?nèi)核適用于訓(xùn)練和推理預(yù)填充場(chǎng)景,,能夠最大化數(shù)據(jù)處理能力。針對(duì)推理解碼場(chǎng)景設(shè)計(jì)的低延遲內(nèi)核采用了純RDMA通信和自適應(yīng)路由技術(shù),,以減少延遲,。此外,通過靈活的GPU資源控制策略,,DeepEP實(shí)現(xiàn)了計(jì)算與通信過程的高效重疊,,避免了資源閑置。對(duì)于NVLink到RDMA的非對(duì)稱帶寬轉(zhuǎn)發(fā)場(chǎng)景,,DeepEP也進(jìn)行了專項(xiàng)優(yōu)化,,提升了異構(gòu)網(wǎng)絡(luò)下的傳輸性能,并且支持SM數(shù)量動(dòng)態(tài)控制,,平衡不同任務(wù)的吞吐量需求,。
每經(jīng)AI快訊,2月28日,,DeepSeek開源周第五天,,DeepSeek在官方X賬號(hào)宣布開源3FS,它是所有Deepseek數(shù)據(jù)訪問的助推器
2025-02-28 11:52:14DeepSeek開源周第五天