Kimi創(chuàng)始人談Scaling laws 強化學習是關鍵

小大

用微信掃描二維碼
分享至好友和朋友圈

關鍵詞：

2024-11-18 09:57:00 財聯(lián)社

在月之暗面Kimi Chat上線一周年之際,，Kimi發(fā)布了新一代數(shù)學推理模型k0-math模型以及包含該模型強化版的Kimi探索版。未來幾周內，這些新功能將陸續(xù)上線Kimi網(wǎng)頁版和Kimi智能助手APP。

月之暗面創(chuàng)始人楊植麟表示,，如果長文本處理是登月的第一步，那么提升模型深度推理能力就是第二步,。除了數(shù)學推理模型外,，公司還在內測幾個多模態(tài)能力。

作為一家備受關注的AI獨角獸公司,，楊植麟近期陷入了一場仲裁糾紛，并面臨人才流失的質疑,。對此,，他回應稱并沒有人才流失，而是主動選擇減少業(yè)務范圍以保持團隊規(guī)模,，從而保護創(chuàng)新力,。他認為先聚焦再全球化需要耐心，團隊規(guī)模過大對創(chuàng)新有致命性影響,。

目前,，Kimi每月活躍用戶已達3600萬。楊植麟強調,，提高用戶留存是當前最核心的任務,，沒有上限限制。隨著“百模大戰(zhàn)”進入新的階段,，業(yè)界焦點從模型轉向應用,。楊植麟認為預訓練大模型仍有迭代空間，預計明年會有半代到一代的新模型出現(xiàn),。

關于大模型的Scaling laws,，楊植麟表示這依然是關鍵，但需找到更有效的方法來擴展,。他認為通過強化學習等方法可以更好地實現(xiàn)Scaling,。AI的發(fā)展就像蕩秋千，在算法數(shù)據(jù)完備但算力不足時,，需要做更多工程改進,；當算力達到一定水平后，高質量數(shù)據(jù)成為瓶頸,，需要改變算法來釋放潛力,。

楊植麟強調，AI不僅需要交互能力，更需要思考能力,。數(shù)學場景非常適合鍛煉這種能力,。盡管目前大模型在數(shù)學方面仍存在局限，但進步迅速,。例如,，去年高考數(shù)學題準確率約為20%-30%，現(xiàn)在已達到90%?，F(xiàn)場演示中,，Kimi展示了解答2024AIME數(shù)學競賽和高等數(shù)學題的能力，通過強化學習確保每一步的正確性并進行二次驗算,。

月之暗面計劃在教育領域探索與Kimi搜索場景結合的應用,，包括K12、大學甚至競賽等多個場景,。楊植麟透露,，今年三、四月份決定聚焦Kimi,，縮減其他業(yè)務,。他認為創(chuàng)業(yè)團隊人數(shù)不宜過多，應專注于核心創(chuàng)新能力,。國內大模型創(chuàng)業(yè)公司中,，他們始終保持人數(shù)最少，卡和人的比例最高,，這是非常關鍵的,。此外，他還提到幾個多模態(tài)能力正在內測中,。

(責任編輯：張小花 TT1000)

關閉

Kimi創(chuàng)始人談Scaling laws 強化學習是關鍵

相關新聞

今日熱點

頻道熱點