算力市場正悄然換擋行業(yè)洗牌進行時(8)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-12-06 16:43:34 今日頭條

目前,，各模型配有相應(yīng)的上下游生態(tài)系統(tǒng),、適配芯片及開發(fā)框架，這就導(dǎo)致了一定程度的封閉性,。企業(yè)因此面臨生態(tài)體系差異大,、模型難遷移至其他算力芯片等狀況。若要實現(xiàn)遷移,，既關(guān)乎性能差異,，也涉及高昂的成本，可能遭遇模型不兼容,、調(diào)試困難等問題,，試錯成本太大，這也是許多客戶對國產(chǎn)算力望而卻步的原因之一,。

北電數(shù)智的核心產(chǎn)品“寶塔·模型適配平臺”通過算法搭建類似操作系統(tǒng)的適配層,，為不同硬件提供統(tǒng)一接口，確保與英偉達等主流產(chǎn)品的兼容性,?！跋蛳逻m配不同芯片，向上適配不同開發(fā)框架,，這種普適地解決方案本質(zhì)上是把芯片,、模型和開發(fā)框架幾個層面完全打通,。在這個平臺下，任何一類芯片,、模型都可以不受阻礙地部署,、開發(fā)?？蛻舨挥每紤]底層的硬件細節(jié),，始終面對一致的接口，從本質(zhì)上解決市場上存在的算力利用率低的問題,?！睏钫鹫f到。

這種混池策略,，將多種算力實現(xiàn)混合調(diào)配,，對模型的訓(xùn)練與推理任務(wù)都能夠帶來大幅的效率提升?！霸谟?xùn)練任務(wù)中,，混池技術(shù)能夠解決不同算力之間的遷移問題和協(xié)同使用問題。在推理任務(wù)中,，混池技術(shù)可以根據(jù)算力需求調(diào)整使用方式,，例如用高性能卡處理模型的首token，低性能卡處理后續(xù)內(nèi)容,，以此在節(jié)省算力的同時,，保證推理的速度大幅領(lǐng)先?！苯鹄谡f到,。

根據(jù)測算數(shù)據(jù)，在現(xiàn)有的智算中心上,，布局“前進”和“寶塔”后,，能夠?qū)崿F(xiàn)運營效率至少翻倍，針對純推理需求,，效率提升甚至可達300%以上?！巴瑫r,，我們通過軟件加速優(yōu)化提升國產(chǎn)芯片性能并延長其壽命。若模型不支持用戶框架,，還可以幫助嫁接開源模型庫,，讓用戶以‘0代碼’或‘低代碼’的方式快速開發(fā)應(yīng)用，類似于搭建了一個任何人都可以輕松使用的AI工廠,?！睏钫鹫f到,。

首頁上一頁...5 6 789 10 11...全文共 13 頁下一頁

關(guān)閉

算力市場正悄然換擋 行業(yè)洗牌進行時(8)

相關(guān)新聞

今日熱點

頻道熱點

算力市場正悄然換擋行業(yè)洗牌進行時(8)