2月24日,,DeepSeek啟動了“開源周”,,并開源了首個代碼庫FlashMLA。該代碼庫是針對Hopper GPU優(yōu)化的高效MLA解碼內核,,專為處理可變長度序列設計,現(xiàn)已投入生產使用。在H800 GPU上,,F(xiàn)lashMLA能實現(xiàn)3000 GB/s的內存帶寬和580 TFLOPS的計算性能。
簡單來說,F(xiàn)lashMLA是一種優(yōu)化方案,,使大語言模型在H800這樣的GPU上運行得更快,、更高效,特別適用于高性能AI任務,。這一代碼能夠加速大語言模型的解碼過程,,提高模型的響應速度和吞吐量,對于實時生成任務(如聊天機器人,、文本生成等)尤為重要,。
MLA(多層注意力機制)是一種改進的注意力機制,旨在提高Transformer模型在處理長序列時的效率和性能,。通過多個頭的并行計算,,MLA讓模型能夠同時關注文本中不同位置和不同語義層面的信息,從而更全面,、更深入地捕捉長距離依賴關系和復雜語義結構,。
此前,有從業(yè)者解析DeepSeek架構時提到,,MLA的本質是對KV(Key-Value緩存機制)的有損壓縮,,提高了存儲信息的效率。這項技術首次在DeepSeek-V2中引入,,目前是開源模型中顯著減小KV緩存大小的最佳方法之一,。
DeepSeek表示,F(xiàn)lashMLA就像給AI推理引擎裝上了一臺“渦輪增壓器”,,使大模型在處理復雜任務時更快,、更省資源,并降低了技術門檻,。FlashMLA的意義不僅在于技術優(yōu)化,,更是打破算力壟斷、加速AI普及的關鍵一步,。
具體來說,,F(xiàn)lashMLA可以突破GPU算力瓶頸,降低成本,。傳統(tǒng)解碼方法在處理不同長度的序列時,,GPU的并行計算能力會被浪費,而FlashMLA通過動態(tài)調度和內存優(yōu)化,,使Hopper GPU(如H100)的算力得到充分利用,,相同硬件下吞吐量顯著提升。這意味著企業(yè)可以用更少的GPU服務器完成同樣的任務,,直接降低推理成本,。
另一方面,,F(xiàn)lashMLA可以推動大模型落地應用。現(xiàn)實場景中的可變長度序列(如聊天對話,、文檔生成)需要動態(tài)處理,,但傳統(tǒng)方法需要填充到固定長度,導致計算冗余,。FlashMLA支持動態(tài)處理變長輸入,,讓AI應用(如客服機器人、代碼生成)響應更快,、更流暢,,用戶體驗提升,加速商業(yè)化落地,。
此前高效的解碼內核多由科技巨頭閉源壟斷(如CUDA優(yōu)化庫),,中小企業(yè)和研究者難以復現(xiàn)。FlashMLA開源后,,開發(fā)者可以免費獲得“工業(yè)級優(yōu)化方案”,,降低技術門檻,促進更多創(chuàng)新應用(如垂直領域小模型)的誕生,。
有網友在DeepSeek的帖子下留言稱,,“鯨魚正在掀起波浪!”(注:DeepSeek的企業(yè)LOGO是鯨魚),。也有網友希望DeepSeek開源網頁搜索相關的代碼,,并提到,“DeepSeek是真正的開放人工智能”,。
這僅僅是開始,上周2月21日DeepSeek宣布,,接下來會陸續(xù)開源五個代碼庫,,“以完全透明的方式分享我們微小但真誠的進展”。這些在線服務中的基礎構建模塊已經經過文檔化,、部署,,并在生產環(huán)境中經過實戰(zhàn)檢驗。DeepSeek表示自己是探索AGI的小公司,,作為開源社區(qū)的一部分,,每分享一行代碼都會成為加速AI行業(yè)發(fā)展的集體動力。DeepSeek強調沒有高不可攀的象牙塔,,只有純粹的車庫文化和社區(qū)驅動的創(chuàng)新,。
每經AI快訊,2月28日,,DeepSeek開源周第五天,,DeepSeek在官方X賬號宣布開源3FS,它是所有Deepseek數(shù)據訪問的助推器
2025-02-28 11:52:14DeepSeek開源周第五天吉利與階躍星辰合作研發(fā)的兩款多模態(tài)大模型已正式開源,。這兩款模型分別是開源視頻生成模型Step-Video-T2V和業(yè)內首款產品級開源語音交互大模型Step-Audio
2025-02-19 08:09:19DeepSeek后又一大模型向全球開源DeepSeek發(fā)布了新一代開源大模型DeepSeek-R1,。該模型在數(shù)學、代碼,、自然語言推理等任務上的性能與美國OpenAI公司的最新o1大模型相當
2025-01-21 22:05:22DeepSeek又有重大突破過去一周,中國的人工智能大模型成為硅谷乃至全球科技界的熱議話題,。引發(fā)這場討論的是中國人工智能初創(chuàng)公司深度求索(DeepSeek)
2025-01-27 10:02:46幻方DeepSeek如何震驚硅谷