英偉達今日正式發(fā)布了Dynamo,,號稱是“AI工廠的操作系統(tǒng)”,。Dynamo是一個分布式推理服務(wù)庫,主要解決用戶需求token與生產(chǎn)token之間的矛盾問題,,提供了一個開源解決方案,。
黃仁勛展示了一張關(guān)于推理的圖表,,其中X軸表示用戶每秒的Token數(shù),,Y軸表示工廠每秒的Token數(shù)。在Dynamo,、Grace Blackwell NVLink72超級芯片的支持下,,Blackwell相比Hopper可實現(xiàn)25倍的性能提升,,在推理模型中,Blackwell的性能更是Hopper的40倍,。
黃仁勛還幽默地提到,,有了這些最新技術(shù),搭建AI工廠的廠商會發(fā)現(xiàn)買得越多,,省得越多,。