中國電信發(fā)布單體稠密萬億參數(shù)語義模型 用了普通訓(xùn)練方案9%的算力資源
中國電信發(fā)布單體稠密萬億參數(shù)語義模型 用了普通訓(xùn)練方案9%的算力資源
6月19日,，中國電信人工智能研究院（TeleAI）與北京智源人工智能研究院合作,，推出了全球首個單體稠密萬億參數(shù)的語義模型——Tele-FLM-1T。這一成就使TeleAI成為國內(nèi)率先進(jìn)入稠密萬億參數(shù)大模型領(lǐng)域的機(jī)構(gòu)之一,。
針對大模型訓(xùn)練過程中高算力消耗的問題,，TeleAI與智源的研究團(tuán)隊(duì)采用了模型生長和損失預(yù)測等創(chuàng)新技術(shù),，共同研發(fā)Tele-FLM系列模型。與業(yè)界常規(guī)訓(xùn)練方案相比,，這一方法顯著降低了算力需求,，僅使用了9%的算力資源。通過112臺A800服務(wù)器,，在四個月的時間內(nèi),，團(tuán)隊(duì)成功完成了3個模型總計(jì)2.3萬億tokens的訓(xùn)練任務(wù)。
中國電信表示,，Tele-FLM-1T模型即將開放源代碼,，旨在為行業(yè)提供萬億稠密模型訓(xùn)練的技術(shù)參考案例，助力解決模型訓(xùn)練中可能出現(xiàn)的收斂難題,。
作為率先布局并開放大模型的央企研究機(jī)構(gòu),，TeleAI在過去一年中展現(xiàn)了其在該領(lǐng)域的持續(xù)進(jìn)步。繼去年推出千億參數(shù)級別的“星辰”語義大模型之后,，今年2月,，“星辰”大模型通過了“境內(nèi)深度合成服務(wù)算法備案”。5月15日,，根據(jù)相關(guān)公告,，“星辰”大模型再度完成產(chǎn)品備案，這意味著它已具備正式對外提供生成式人工智能服務(wù)的資格,。
在開源領(lǐng)域,，TeleAI持續(xù)發(fā)力，相繼公布了7B,、12B,、52B參數(shù)規(guī)模的大模型。隨著TeleChat系列模型的問世,，TeleAI還對其多個大模型應(yīng)用項(xiàng)目實(shí)施了性能升級,，例如，在某城市民服務(wù)項(xiàng)目中,，集成TeleChat-52B模型后,，整體服務(wù)效能提高了40%。
拜登退選是否與特朗普遭襲事件有關(guān)
鄭欽文：奧運(yùn)賽場會付出所有,，力爭夢想榮耀
今年三伏天所有女孩都這樣做 養(yǎng)生新風(fēng)尚
美國男籃曬球隊(duì)1v1單挑視頻 詹皇罰球奪冠引熱議
廢棄它,，連帶報(bào)銷了美軍隱藏的算盤……
沖突前線處境艱難,，美歐援烏明顯降溫,，內(nèi)外壓力涌向澤連斯基！
沙利文稱美國可能允許烏軍用美國武器深入打擊俄領(lǐng)土，俄外交官：美仍想給俄造成“戰(zhàn)略失敗”
中高端公路自行車一車難求 騎友吐槽交押金兩月仍未提車
與臺當(dāng)局首次聯(lián)演,，“日本刻意低調(diào)”
張雪峰回應(yīng)公司因無法聯(lián)系被列入經(jīng)營異常名錄：是我北京的工作室房租到期了
為波音產(chǎn)導(dǎo)引頭短缺,，日本“愛國者”導(dǎo)彈生產(chǎn)計(jì)劃被推遲
2萬一套房的阜新會成為新鶴崗嗎 萬元買房背后的故事
拿下冠軍還要秀？特魯姆普綠球引爆全場,，母球在桌上360度大轉(zhuǎn)彎
家族政治,，印度持續(xù)千年的謎題
拜登退選是否與特朗普遭襲事件有關(guān)
雷神公司測試“愛國者”雷達(dá)引導(dǎo)“標(biāo)準(zhǔn)6”導(dǎo)彈
千里奔襲胡塞武裝，以軍要過幾道坎,？
四連勝+巡回賽41冠,！特魯姆普創(chuàng)造歷史,，準(zhǔn)神成80后第一人！
男子猥褻被拘13天父親向受害者求情
首次空襲也門,，內(nèi)塔尼亞胡：以色列長臂可觸及任何地方
今年三伏天所有女孩都這樣做 養(yǎng)生新風(fēng)尚
暴雨來襲8個不 確保安全度汛期
鄭欽文：奧運(yùn)賽場會付出所有,，力爭夢想榮耀
一覺醒來,，美國發(fā)生歷史性大事
澤連斯基：如果特朗普勝選,，烏克蘭只能……
內(nèi)塔尼亞胡訪美與拜登會晤將按計(jì)劃進(jìn)行，具體時間未知
四大行新增貸款占半壁江山 金融供給側(cè)結(jié)構(gòu)性改革深化
果然,，美國政府還是有辦法……
重慶警方通報(bào)游樂場發(fā)生打人事件 5名嫌疑人被刑拘
瓜帥為根基的“教練樹”上 長出了多少好教練 傳承與變革并行
美“羅斯?！碧柡侥父凹t海小心翼翼,，在進(jìn)入印度洋后明顯放緩速度
拜登為何會推哈里斯上位 民主黨的無奈之舉,？
俄方回應(yīng)拜登退選 莫斯科立場不變,，靜觀美國內(nèi)政
日防相木原稔今起訪歐，同英意共同開發(fā)新戰(zhàn)機(jī)計(jì)劃有變數(shù),？
又扯“中俄威脅”,？“美國將明文承諾會用核武器保護(hù)日本”
相關(guān)新聞
零一萬物千億參數(shù)模型Yi-Large發(fā)布！
2024-05-13 14:27:59零一萬物千億參數(shù)模型Yi-Large發(fā)布！李開復(fù)呼吁關(guān)注TC-PMF李彥宏批“百模大戰(zhàn)”：“卷模型”造成巨大的算力浪費(fèi)
2024-07-04 15:59:30李彥宏批“百模大戰(zhàn)”：“卷模型”造成巨大的算力浪費(fèi)機(jī)構(gòu)：量子計(jì)算有望解決AI算力瓶頸,，開啟算力新紀(jì)元
2024-05-21 13:26:39機(jī)構(gòu)：量子計(jì)算有望解決AI算力瓶頸黃仁勛的“人肉快遞”，掀起900億美元算力戰(zhàn)爭 最強(qiáng)AI算力捐贈OpenAI
2024-04-30 09:08:51黃仁勛的“人肉快遞”阿里云發(fā)布開源模型Qwen2，宣稱性能超美國最強(qiáng)開源模型Llama3-70B
6月7日,，阿里云在技術(shù)博客上宣布了一個重要進(jìn)展：他們發(fā)布了名為Qwen2-72B的開源模型,，這款模型在全球范圍內(nèi)以其卓越的性能脫穎而出
2024-06-07 10:49:47阿里云發(fā)布開源模型Qwen2Claude3.5突然發(fā)布！GPT-4o不香了 Anthropic新模型奪魁
6月20日,，Anthropic發(fā)布了一款名為Claude 3.5 Sonnet的AI模型,，這款模型在多個領(lǐng)域超越了競爭對手，包括GPT-4o及自家的Claude 3 Opus
2024-06-21 10:45:07Claude3.5突然發(fā)布,！GPT-4o不香了
