Kimi創(chuàng)始人談Scaling laws 強化學(xué)習(xí)是關(guān)鍵

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-11-18 09:57:00 財聯(lián)社

在月之暗面Kimi Chat上線一周年之際，Kimi發(fā)布了新一代數(shù)學(xué)推理模型k0-math模型以及包含該模型強化版的Kimi探索版,。未來幾周內(nèi),，這些新功能將陸續(xù)上線Kimi網(wǎng)頁版和Kimi智能助手APP。

月之暗面創(chuàng)始人楊植麟表示,，如果長文本處理是登月的第一步,，那么提升模型深度推理能力就是第二步。除了數(shù)學(xué)推理模型外,，公司還在內(nèi)測幾個多模態(tài)能力,。

作為一家備受關(guān)注的AI獨角獸公司，楊植麟近期陷入了一場仲裁糾紛,，并面臨人才流失的質(zhì)疑,。對此，他回應(yīng)稱并沒有人才流失,，而是主動選擇減少業(yè)務(wù)范圍以保持團(tuán)隊規(guī)模,，從而保護(hù)創(chuàng)新力。他認(rèn)為先聚焦再全球化需要耐心,，團(tuán)隊規(guī)模過大對創(chuàng)新有致命性影響,。

目前,，Kimi每月活躍用戶已達(dá)3600萬。楊植麟強調(diào),，提高用戶留存是當(dāng)前最核心的任務(wù),，沒有上限限制。隨著“百模大戰(zhàn)”進(jìn)入新的階段,，業(yè)界焦點從模型轉(zhuǎn)向應(yīng)用,。楊植麟認(rèn)為預(yù)訓(xùn)練大模型仍有迭代空間，預(yù)計明年會有半代到一代的新模型出現(xiàn),。

關(guān)于大模型的Scaling laws，楊植麟表示這依然是關(guān)鍵,，但需找到更有效的方法來擴(kuò)展,。他認(rèn)為通過強化學(xué)習(xí)等方法可以更好地實現(xiàn)Scaling。AI的發(fā)展就像蕩秋千,，在算法數(shù)據(jù)完備但算力不足時,，需要做更多工程改進(jìn)；當(dāng)算力達(dá)到一定水平后,，高質(zhì)量數(shù)據(jù)成為瓶頸,，需要改變算法來釋放潛力。

楊植麟強調(diào),，AI不僅需要交互能力,，更需要思考能力。數(shù)學(xué)場景非常適合鍛煉這種能力,。盡管目前大模型在數(shù)學(xué)方面仍存在局限,，但進(jìn)步迅速。例如,，去年高考數(shù)學(xué)題準(zhǔn)確率約為20%-30%,，現(xiàn)在已達(dá)到90%。現(xiàn)場演示中,，Kimi展示了解答2024AIME數(shù)學(xué)競賽和高等數(shù)學(xué)題的能力,，通過強化學(xué)習(xí)確保每一步的正確性并進(jìn)行二次驗算。

月之暗面計劃在教育領(lǐng)域探索與Kimi搜索場景結(jié)合的應(yīng)用,，包括K12,、大學(xué)甚至競賽等多個場景。楊植麟透露,，今年三,、四月份決定聚焦Kimi，縮減其他業(yè)務(wù),。他認(rèn)為創(chuàng)業(yè)團(tuán)隊人數(shù)不宜過多,，應(yīng)專注于核心創(chuàng)新能力,。國內(nèi)大模型創(chuàng)業(yè)公司中，他們始終保持人數(shù)最少,，卡和人的比例最高,，這是非常關(guān)鍵的。此外,，他還提到幾個多模態(tài)能力正在內(nèi)測中,。

(責(zé)任編輯：張小花 TT1000)

關(guān)閉

Kimi創(chuàng)始人談Scaling laws 強化學(xué)習(xí)是關(guān)鍵

相關(guān)新聞

今日熱點

頻道熱點