DeepSeek宣布在開(kāi)源周第三天開(kāi)源了DeepGEMM,。這是一個(gè)專(zhuān)為簡(jiǎn)潔高效的FP8通用矩陣乘法(GEMM)設(shè)計(jì)的庫(kù),具備細(xì)粒度縮放功能。DeepGEMM支持普通和混合專(zhuān)家(MoE)分組的GEMM,采用CUDA編寫(xiě),在安裝過(guò)程中無(wú)需編譯,,而是通過(guò)輕量級(jí)的即時(shí)編譯(JIT)模塊在運(yùn)行時(shí)編譯所有內(nèi)核。該庫(kù)為V3/R1訓(xùn)練和推理提供了支持。
北京時(shí)間2月27日10點(diǎn)5分,DeepSeek發(fā)布了其“開(kāi)源周”第四日的內(nèi)容,,包括優(yōu)化的并行策略
2025-02-27 14:05:06DeepSeek宣布開(kāi)源優(yōu)化并行策略