用DeepSeek創(chuàng)收的“小公司”，痛并快樂著(3)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-19 10:55:39 中國企業(yè)家雜志

不僅如此,，DeepSeek的模型比較大，尤其是“滿血版”模型對硬件有一定要求,；基于性價(jià)比層面的考慮，美圖的業(yè)務(wù)場景存在很顯著的（使用）高峰,、低峰效應(yīng),，云廠商可以抹平各家調(diào)用API高低峰期的差異?！叭绻覀冏约哼M(jìn)行部署,，低峰期資源利用率可能比較低，會有比較大的資源浪費(fèi),?！惫繒熣f。

因此,，美圖目前接入DeepSeek-R1模型的方式,，主要是調(diào)用云廠商的API，在此基礎(chǔ)上進(jìn)行一定的私有化部署,。

與美圖類似,，部署端側(cè)芯片的此芯科技，也一直對新發(fā)布的各種大模型保持關(guān)注,，尤其是比較適合在端側(cè)進(jìn)行本地化部署的模型,。此芯科技生態(tài)戰(zhàn)略總經(jīng)理周杰表示，對于一些開源的大模型,，尤其是SOTA模型（State of the Art,，在某一領(lǐng)域或任務(wù)中表現(xiàn)最佳的模型），他們會第一時(shí)間投入資源進(jìn)行相應(yīng)的異構(gòu)適配,。因此在DeepSeek去年發(fā)布V2以及今年發(fā)布R1后,，此芯科技都第一時(shí)間嘗試適配這些模型。

在周杰看來,，DeepSeek-V2模型的主要?jiǎng)?chuàng)新點(diǎn)有兩個(gè),，一是通過MLA（多頭潛在注意力）架構(gòu)有效地降低了KV緩存（Transformer模型在自回歸解碼過程中使用的一種優(yōu)化技術(shù)）的開銷,，因?yàn)榇笳Z言模型對于內(nèi)存帶寬和容量的要求很高，一旦能夠降低KV緩存,，可以給算力平臺帶來很大幫助；二是DeepSeek發(fā)布的MoE（混合專家）模型,，對傳統(tǒng)MoE架構(gòu)進(jìn)行了優(yōu)化改造,，這個(gè)架構(gòu)可以讓一個(gè)（參數(shù)）更大的模型在資源有限的情況下被使用。

當(dāng)時(shí),，此芯科技很快適配了V2模型的light版本,，即16B大小的模型?！半m然16B參數(shù)看起來也很大,，但實(shí)際運(yùn)行時(shí)，它只會激活2.4B參數(shù),。我們覺得這樣的模型非常適合在端側(cè)運(yùn)行,，此芯科技的P1芯片也可以給2.4B參數(shù)規(guī)模的模型提供比較好的支持?！敝芙芨嬖V《中國企業(yè)家》,。

首頁上一頁 1 234 5 6 全文共 6 頁下一頁

關(guān)閉

用DeepSeek創(chuàng)收的“小公司”，痛并快樂著(3)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)