用DeepSeek創(chuàng)收的“小公司”，痛并快樂著(3)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-19 10:55:39 中國企業(yè)家雜志

不僅如此,，DeepSeek的模型比較大,，尤其是“滿血版”模型對硬件有一定要求；基于性價比層面的考慮,，美圖的業(yè)務(wù)場景存在很顯著的（使用）高峰,、低峰效應(yīng)，云廠商可以抹平各家調(diào)用API高低峰期的差異,?！叭绻覀冏约哼M行部署，低峰期資源利用率可能比較低,，會有比較大的資源浪費,。”郭晨暉說,。

因此,，美圖目前接入DeepSeek-R1模型的方式，主要是調(diào)用云廠商的API,，在此基礎(chǔ)上進行一定的私有化部署,。

與美圖類似，部署端側(cè)芯片的此芯科技,，也一直對新發(fā)布的各種大模型保持關(guān)注,，尤其是比較適合在端側(cè)進行本地化部署的模型。此芯科技生態(tài)戰(zhàn)略總經(jīng)理周杰表示,，對于一些開源的大模型,，尤其是SOTA模型（State of the Art，在某一領(lǐng)域或任務(wù)中表現(xiàn)最佳的模型）,，他們會第一時間投入資源進行相應(yīng)的異構(gòu)適配,。因此在DeepSeek去年發(fā)布V2以及今年發(fā)布R1后，此芯科技都第一時間嘗試適配這些模型,。

在周杰看來,，DeepSeek-V2模型的主要創(chuàng)新點有兩個，一是通過MLA（多頭潛在注意力）架構(gòu)有效地降低了KV緩存（Transformer模型在自回歸解碼過程中使用的一種優(yōu)化技術(shù)）的開銷,，因為大語言模型對于內(nèi)存帶寬和容量的要求很高,，一旦能夠降低KV緩存,，可以給算力平臺帶來很大幫助；二是DeepSeek發(fā)布的MoE（混合專家）模型,，對傳統(tǒng)MoE架構(gòu)進行了優(yōu)化改造,，這個架構(gòu)可以讓一個（參數(shù)）更大的模型在資源有限的情況下被使用,。

當(dāng)時,，此芯科技很快適配了V2模型的light版本，即16B大小的模型,?！半m然16B參數(shù)看起來也很大，但實際運行時,，它只會激活2.4B參數(shù),。我們覺得這樣的模型非常適合在端側(cè)運行，此芯科技的P1芯片也可以給2.4B參數(shù)規(guī)模的模型提供比較好的支持,?！敝芙芨嬖V《中國企業(yè)家》。

首頁上一頁 1 234 5 6 全文共 6 頁下一頁

關(guān)閉

用DeepSeek創(chuàng)收的“小公司”，痛并快樂著(3)

相關(guān)新聞

今日熱點

頻道熱點