業(yè)內(nèi)：DeepSeek或準(zhǔn)備適配國產(chǎn)GPU 繞過CUDA展現(xiàn)工程實(shí)力

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-02-01 11:18:18 DeepTech深科技

盡管春節(jié)假期已經(jīng)過半,，但“來自東方的神秘力量的 DeepSeek”仍在全球范圍內(nèi)引起熱議,。各路業(yè)內(nèi)人士從不同角度分析 DeepSeek 的模型和技術(shù)。

韓國 Mirae Asset Securities Research 的一名分析師在 X 撰寫長文分析稱,，這一突破是通過實(shí)施大量細(xì)粒度優(yōu)化和使用英偉達(dá)的匯編式 PTX 編程實(shí)現(xiàn)的，而非通過 CUDA 中的某些功能,。CUDA 是由英偉達(dá)開發(fā)的一種通用編程框架,，允許開發(fā)者利用 GPU 進(jìn)行通用計(jì)算。如果 DeepSeek 繞過了 CUDA,，這說明其研發(fā)團(tuán)隊(duì)在大模型訓(xùn)練中采用了不同的技術(shù)路徑,。

對于程序開發(fā)人員來說，CUDA 類似于一種高級語言,，降低了開發(fā)難度,，使開發(fā)者能夠?qū)Ｗ⒂谒惴ㄟ壿嫸鵁o需過多考慮硬件執(zhí)行細(xì)節(jié)。例如,，使用高級語言進(jìn)行變量賦值操作只需一條命令,，而用匯編語言則需要多條指令并理解寄存器,、內(nèi)存等概念,。因此，CUDA 便于開發(fā)基于 GPU 的算法設(shè)計(jì),。

大模型開發(fā)商通?；?CUDA 進(jìn)行研發(fā),，因?yàn)?CUDA 已經(jīng)封裝了一些常用函數(shù),，簡化了開發(fā)過程。然而,，這種通用性也帶來了一定的靈活性損失,。對于有特定需求的開發(fā)者，如需要精細(xì)化控制多個(gè) GPU 之間的數(shù)據(jù)傳輸,，CUDA 可能無法提供高效的解決方案,。

當(dāng)使用單個(gè) GPU 時(shí)，CUDA 非常適用,。但在多節(jié)點(diǎn)多 GPU 環(huán)境下,，CUDA 的抽象層面效率較低。開發(fā)者可以通過組合 GPU 驅(qū)動提供的函數(shù)接口來提高效率,，或者直接調(diào)用底層硬件接口以實(shí)現(xiàn)更高效的大模型研發(fā),。繞過 CUDA 可以直接根據(jù) GPU 的驅(qū)動函數(shù)進(jìn)行新的開發(fā)，從而實(shí)現(xiàn)更加細(xì)粒度的操作,。

DeepSeek 在多節(jié)點(diǎn)通信時(shí)繞過了 CUDA 直接使用 PTX,，這使得模型訓(xùn)練速度更快。這意味著在相同時(shí)間內(nèi)可以處理更多數(shù)據(jù),，間接提高了模型效果,。繞過 CUDA 并非新鮮做法,，一些開源框架如 Triton 也在嘗試替代 CUDA。

12 全文共 2 頁下一頁

關(guān)閉

業(yè)內(nèi)：DeepSeek或準(zhǔn)備適配國產(chǎn)GPU 繞過CUDA展現(xiàn)工程實(shí)力

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)