AI的盡頭是能源嗎能耗挑戰(zhàn)與未來(lái)方向

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-11-08 15:34:52 知識(shí)分子

AI的盡頭是能源嗎

無(wú)論是否支持人工智能的發(fā)展,，我們都不能忽視其能耗問(wèn)題。有人擔(dān)心AI發(fā)展過(guò)快會(huì)對(duì)能源市場(chǎng)和環(huán)境造成沖擊,，也有人擔(dān)憂能源產(chǎn)業(yè)進(jìn)步緩慢會(huì)成為AI發(fā)展的瓶頸,。AI的盡頭是能源嗎！

隨著AI的普及,，其在能耗中的占比將逐年提升,。為此，AI研發(fā)企業(yè)紛紛投資能源供應(yīng),。谷歌宣布購(gòu)買Kairos Power建造的小型模塊化反應(yīng)堆生產(chǎn)的電力,，微軟則與星座能源公司達(dá)成協(xié)議，重啟三里島核電站1號(hào)反應(yīng)堆并購(gòu)買未來(lái)20年的電能,。OpenAI首席執(zhí)行官山姆·奧特曼也在今年年初投資了核聚變技術(shù),。

然而，新的趨勢(shì)正在出現(xiàn),。多位業(yè)界人士表示,，可以通過(guò)軟硬件技術(shù)的提升以及宏觀布局優(yōu)化來(lái)降低AI的能耗，使能源利用更加高效,。更重要的是,，AI的進(jìn)步方向不一定更大更強(qiáng)，一些小而美的模型正悄然登場(chǎng),。

關(guān)于AI的耗電量,，一篇報(bào)道指出ChatGPT每日耗電量或超50萬(wàn)千瓦時(shí)，相當(dāng)于1.7萬(wàn)個(gè)美國(guó)家庭的能耗,。但也有觀點(diǎn)認(rèn)為這些估算過(guò)于夸張,。盡管如此，我們可以進(jìn)行一些定性討論,。例如,，在算法層面，訓(xùn)練階段比推理階段能耗更高。清華大學(xué)電子工程系主任汪玉團(tuán)隊(duì)測(cè)試了不同算力芯片的單卡推理功耗,，發(fā)現(xiàn)推理階段的功耗基本在300W-500W之間,，而訓(xùn)練階段的功耗則高達(dá)400W-700W。未來(lái)推理功耗有望進(jìn)一步下降,。

大模型訓(xùn)練過(guò)程中還存在容錯(cuò)相關(guān)的額外能耗開銷,。Llama 3-405B在為期54天的訓(xùn)練期間共發(fā)生了466次任務(wù)中斷，約78%由硬件問(wèn)題引起,，實(shí)際算力利用率只有38%左右,。不過(guò)，從應(yīng)用場(chǎng)景上看,，用戶推理請(qǐng)求的調(diào)用頻率更高，即使單次調(diào)用能耗低,，總能耗也可能相當(dāng)可觀,。

隨著技術(shù)完善，日常使用AI推理的單次能耗有望下降,。上海數(shù)珩信息科技創(chuàng)始人張繼生介紹,，通過(guò)模型壓縮、剪枝,、量化等技術(shù)可以提高AI系統(tǒng)性能并降低能耗,。清華電子院能源電子中心主任李中陽(yáng)強(qiáng)調(diào)，算力與新能源供電特性匹配是關(guān)鍵,，這需要AI前沿技術(shù)的支持,。

12 全文共 2 頁(yè)下一頁(yè)

關(guān)閉

AI的盡頭是能源嗎 能耗挑戰(zhàn)與未來(lái)方向

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

AI的盡頭是能源嗎能耗挑戰(zhàn)與未來(lái)方向