雖然谷歌早在2020年,,就在自家的數(shù)據(jù)中心上部署了當(dāng)時(shí)最強(qiáng)的AI芯片——TPU v4。
但直到今年的4月4日,,谷歌才首次公布了這臺(tái)AI超算的技術(shù)細(xì)節(jié),。
Google 4日發(fā)布論文,,公開(kāi)其中一部AI超級(jí)計(jì)算機(jī)的詳細(xì)資訊,聲稱比競(jìng)爭(zhēng)對(duì)手Nvidia的系統(tǒng)運(yùn)算更快,、功耗更低,。
Google已經(jīng)構(gòu)建一套系統(tǒng),其中包括超過(guò)4,000個(gè)TPU,,并結(jié)合執(zhí)行和訓(xùn)練AI模型的定制化零件,,這部以TPU為基礎(chǔ)的AI超級(jí)計(jì)算機(jī)稱為TPU v4。它從2020年開(kāi)始運(yùn)行,,用于訓(xùn)練自家PaLM模型超過(guò)50天,。
“在性能、可擴(kuò)展性,、可用性上TPU v4成為大型語(yǔ)言模型的主力”,,Google研究人員表示,TPU v4能比Nvidia A100組成類似大小的系統(tǒng),,運(yùn)算快1.2~1.7倍,,功耗低1.3~1.9倍。不過(guò),,Google的TPU并未與Nvidia最新AI芯片H100進(jìn)行比較,,因?yàn)楹笳咄瞥霾痪茫也捎酶冗M(jìn)的制程,。
另一方面,,由學(xué)術(shù)界和產(chǎn)業(yè)人士組成的人工智能領(lǐng)袖聯(lián)盟制定出MLPerf基準(zhǔn),在5日公布全產(chǎn)業(yè)AI芯片測(cè)試結(jié)果和排名,。對(duì)此Nvidia首席執(zhí)行官黃仁勛表示,,Nvidia H100的測(cè)試結(jié)果明顯優(yōu)于上一代。
“今日MLPerf 3.0突顯出以Hopper架構(gòu)為基礎(chǔ)的H100,,其性能是A100的4倍”,,黃仁勛在官方博客寫道,并認(rèn)為下一階段的生成式AI(Generative AI)需要新的基礎(chǔ)設(shè)施,,以訓(xùn)練高性能的大型語(yǔ)言模型,。
AI所需的大量算力是相當(dāng)昂貴的,于是Nvidia,、Google等產(chǎn)業(yè)人士大多專注于開(kāi)發(fā)新的芯片,、光學(xué)連接零件等,或從軟件技術(shù)方面著手,,以減少大量運(yùn)算所需的功耗,。
Google被認(rèn)為是AI領(lǐng)域的主要先驅(qū),旗下研究人員在過(guò)去10年已經(jīng)取得重要進(jìn)展,。然而隨著OpenAI推出ChatGPT,,引爆人工智能熱潮,部分人士認(rèn)為GoogleAI技術(shù)商業(yè)化方面明顯落后,,這也迫使Google現(xiàn)在競(jìng)相發(fā)布產(chǎn)品并試圖證明沒(méi)有揮霍領(lǐng)先優(yōu)勢(shì),。
原標(biāo)題:在成都,,探索大運(yùn)之城的科技創(chuàng)新這是7月22日在成都高新體育中心多功能館外拍攝的臨時(shí)訓(xùn)練氣膜館(無(wú)人機(jī)照片)。
2023-07-25 08:39:57探索大運(yùn)之城的科技創(chuàng)新原標(biāo)題:31省份前三季度人均可支配收入公布 上海北京超6萬(wàn)元國(guó)家統(tǒng)計(jì)局網(wǎng)站最新公布了31個(gè)省份前三季度居民人均可支配收入情況。
2023-10-30 16:03:4431省份前三季度人均可支配收入公布近日,有消息稱英偉達(dá)公司的H100 AI GPU的利潤(rùn)率高達(dá)1000%,,這一數(shù)字可能讓人們感到震驚,。
2023-08-18 14:36:07英偉達(dá)H100