用DeepSeek創(chuàng)收的“小公司”,，痛并快樂著(3)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-19 10:49:44 中國(guó)企業(yè)家雜志

不過,，由于目前DeepSeek的流量過高,，又存在服務(wù)器,、人手不足等情況，導(dǎo)致DeepSeek自己的API會(huì)出現(xiàn)超時(shí)等問題。郭晨暉表示，美圖旗下產(chǎn)品有著大體量的用戶基數(shù)，一些功能推廣開來后流量可能會(huì)激增數(shù)十倍,、上百倍，這種情況下,，公有云的服務(wù)保障能力相對(duì)更強(qiáng),。

不僅如此，DeepSeek的模型比較大,，尤其是“滿血版”模型對(duì)硬件有一定要求,；基于性價(jià)比層面的考慮，美圖的業(yè)務(wù)場(chǎng)景存在很顯著的（使用）高峰,、低峰效應(yīng),，云廠商可以抹平各家調(diào)用API高低峰期的差異,。“如果我們自己進(jìn)行部署,，低峰期資源利用率可能比較低,，會(huì)有比較大的資源浪費(fèi)?！惫繒熣f,。

因此，美圖目前接入DeepSeek-R1模型的方式,，主要是調(diào)用云廠商的API,，在此基礎(chǔ)上進(jìn)行一定的私有化部署。

與美圖類似,，部署端側(cè)芯片的此芯科技,，也一直對(duì)新發(fā)布的各種大模型保持關(guān)注，尤其是比較適合在端側(cè)進(jìn)行本地化部署的模型,。此芯科技生態(tài)戰(zhàn)略總經(jīng)理周杰表示,，對(duì)于一些開源的大模型，尤其是SOTA模型（State of the Art,，在某一領(lǐng)域或任務(wù)中表現(xiàn)最佳的模型）,，他們會(huì)第一時(shí)間投入資源進(jìn)行相應(yīng)的異構(gòu)適配。因此在DeepSeek去年發(fā)布V2以及今年發(fā)布R1后,，此芯科技都第一時(shí)間嘗試適配這些模型,。

在周杰看來，DeepSeek-V2模型的主要?jiǎng)?chuàng)新點(diǎn)有兩個(gè),，一是通過MLA（多頭潛在注意力）架構(gòu)有效地降低了KV緩存（Transformer模型在自回歸解碼過程中使用的一種優(yōu)化技術(shù)）的開銷,，因?yàn)榇笳Z(yǔ)言模型對(duì)于內(nèi)存帶寬和容量的要求很高，一旦能夠降低KV緩存,，可以給算力平臺(tái)帶來很大幫助；二是DeepSeek發(fā)布的MoE（混合專家）模型,，對(duì)傳統(tǒng)MoE架構(gòu)進(jìn)行了優(yōu)化改造,，這個(gè)架構(gòu)可以讓一個(gè)（參數(shù)）更大的模型在資源有限的情況下被使用。

首頁(yè)上一頁(yè)1 234 5 6...全文共 7 頁(yè)下一頁(yè)

關(guān)閉

用DeepSeek創(chuàng)收的“小公司”,，痛并快樂著(3)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)