用DeepSeek創(chuàng)收的“小公司”,，痛并快樂著(4)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-19 10:55:39 中國企業(yè)家雜志

周杰來源：受訪者

對于此芯科技如何“接入”DeepSeek,，周杰解釋道：“用戶現(xiàn)在使用DeepSeek等應(yīng)用,，很多需要調(diào)用云端的算力,，相當(dāng)于DeepSeek自己的數(shù)據(jù)中心或云廠商,，提供了一些API給終端側(cè)應(yīng)用調(diào)用,，用戶使用DeepSeek APP時,，就可以調(diào)用云端的AI能力,。但是部分端側(cè)場景可能對數(shù)據(jù)隱私等方面有很高的要求,，這種情況下就需要在本地進(jìn)行運(yùn)算，在端側(cè)部署后，用戶可以在斷網(wǎng)的情況下運(yùn)行DeepSeek等模型,?！?/p>

從算力和系統(tǒng)層面滿足了運(yùn)行一個大語言模型的基本要求后，此芯科技就可以結(jié)合客戶項目的實(shí)際需求,，跟DeepSeek等模型廠商進(jìn)行商業(yè)化合作,，對模型進(jìn)行微調(diào)優(yōu)化，把具體項目落地,。

V2推出后,，清程極智內(nèi)部也嘗試接入該模型，但當(dāng)時的市場需求較少,，他們就沒有推廣使用,。今年R1出來后，他們覺得這是一個非常好的機(jī)會,，決定接入DeepSeek并大規(guī)模向客戶推廣,。

清程極智是做系統(tǒng)軟件的，對外基于系統(tǒng)軟件提供推理服務(wù),，因此不是像部分應(yīng)用公司那樣直接接入DeepSeek的API,，而是為客戶提供一套專屬的DeepSeek的API用于應(yīng)用服務(wù)?！拔覀兘尤氲姆绞绞前袲eepSeek的開源模型下載下來,，在我們的算力系統(tǒng)上用系統(tǒng)軟件把服務(wù)部署起來?！睖鄢f,。

通俗來講，R1模型是一個幾百G大小的文件,，但下載后無法直接使用,。

“它只是一個文件，不是一個可用的服務(wù),，我們要做的是把這個模型運(yùn)行起來,，讓它去對外提供服務(wù)的接口。通過API的服務(wù)接口,，用戶就可以跟模型進(jìn)行對話了,。”湯雄超解釋道,。

基于前期技術(shù)積累,，清程極智在把模型文件下載下來后，一天內(nèi)就迭代出了第一個版本,，隨后針對R1模型結(jié)構(gòu)進(jìn)行了優(yōu)化,，正式“滿血版”官宣上線只用了一周,。

在湯雄超看來，技術(shù)環(huán)節(jié)的工作都比較順利,，接入DeepSeek后,，更多的挑戰(zhàn)來自于商務(wù)側(cè)或市場側(cè),。具體來說,，DeepSeek的流量給公司帶來了非常多來咨詢的客戶，但每個客戶的需求都不太一樣,?！鞍ㄋ懔ζ脚_、芯片型號,、服務(wù)器規(guī)格等都不一樣,，我們需要針對不同的算力等基礎(chǔ)，做針對性的調(diào)優(yōu),?！睖鄢f。

首頁上一頁 1 2 345 6 全文共 6 頁下一頁

關(guān)閉

用DeepSeek創(chuàng)收的“小公司”,，痛并快樂著(4)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)