英偉達的CUDA生態(tài)已形成近乎壟斷的開發(fā)者壁壘,,全球90%的AI框架依賴其工具鏈,。盡管AMD推出開源的ROCm平臺并適配PyTorch、TensorFlow,但遷移成本高,、社區(qū)支持不足的問題依然突出。例如,,Meta雖采用MI300X運行Llama 3.1模型的推理任務(wù),,但訓(xùn)練階段仍依賴英偉達芯片。此外,,2023年底臺積電先進封裝產(chǎn)能緊張導(dǎo)致MI300X交付延遲,,部分客戶轉(zhuǎn)投英偉達,也暴露出AMD在供應(yīng)鏈管理上的脆弱性,。
為應(yīng)對挑戰(zhàn),,AMD加速硬件迭代并強化生態(tài)合作。2024年6月,,AMD推出了升級版的MI325X芯片,,這款產(chǎn)品采用了8個計算芯片,、4個I/O芯片和8個內(nèi)存芯片的復(fù)雜設(shè)計,通過2.5D和3D封裝技術(shù)實現(xiàn)整合,。在性能方面,,MI325X提供了1.3petaFLOPS的BF/FP16性能,或2.6petaFLOPS的FP8性能,,超過了英偉達的H200,。特別是在內(nèi)存容量上,MI325X配備了288GB的HBM3e內(nèi)存,,是H200的兩倍多,,內(nèi)存帶寬達到6TB/S。
然而,,MI325X依舊存在明顯短板,。與英偉達的產(chǎn)品相比,AMD在FP8(8位浮點數(shù))支持方面存在劣勢,。由于軟件庫vLLM對FP8支持有限,,AMD不得不在許多基準測試中使用FP16,這意味著相同規(guī)模的AI模型在AMD芯片上需要更多內(nèi)存,。
AI芯片領(lǐng)域的領(lǐng)軍企業(yè)英偉達就近期關(guān)于其AI芯片延期發(fā)布的傳言進行了回應(yīng)
2024-08-04 21:05:19英偉達回應(yīng)AI芯片推遲發(fā)布