AI大?？ㄅ廖魇①滵eepSeek！近日,，OpenAI聯(lián)合創(chuàng)始人,、前特斯拉AI總監(jiān)安德烈·卡帕西在YouTube上發(fā)布了一則3.5小時的免費課程,，向普通觀眾全面介紹了大模型的相關(guān)知識,。他以最近爆火的DeepSeek-R1為例，詳細講解了強化學習技術(shù)路徑的巨大潛力,。

卡帕西指出，在大模型訓練體系中,，預訓練,、監(jiān)督微調(diào)和強化學習是三個主要階段。他認為強化學習是其中最關(guān)鍵的一環(huán),，盡管其本質(zhì)是“試錯學習”,，但在選擇最佳解決方案和提示詞分布等方面仍有許多細節(jié)需要解決,。這些問題目前僅限于各大AI實驗室內(nèi)部,，缺乏統(tǒng)一標準。

DeepSeek-R1的研究論文首次公開討論了強化學習在大語言模型中的應用,，并分享了這項技術(shù)如何使模型展現(xiàn)出推理能力?？ㄅ廖髡J為R1在強化學習過程中涌現(xiàn)出的思維能力是最令人難以置信的成效,。未來，如果繼續(xù)在大模型領(lǐng)域?qū)娀瘜W習進行擴展,，有望讓大模型解鎖像AlphaGo那樣的“神之一手”,，創(chuàng)造出前所未有的思考方式，例如用全新語言進行思考,。但前提是需要創(chuàng)造足夠大且多樣的問題集,，讓模型能夠自由探索解決方案。

強化學習的基本工作方式是讓模型在可驗證的問題上不斷試錯,，并根據(jù)答案正誤激勵正確行為，最終引導模型提升能力,。當前主流的大語言模型訓練體系包括預訓練,、監(jiān)督微調(diào)和強化學習,。預訓練和監(jiān)督微調(diào)已發(fā)展成熟，而強化學習仍處于早期階段,。DeepSeek-R1論文的重要意義在于它是第一篇公開討論強化學習在大語言模型應用的論文,，激發(fā)了AI界使用RL訓練大語言模型的興趣，并提供了許多研究結(jié)果和技術(shù)細節(jié),。

DeepSeek在R1論文中展示了R1-Zero在AIME競賽數(shù)學問題上的準確性提升過程。隨著強化學習步驟增加,，模型準確性持續(xù)上升,。更令人驚喜的是，模型在這一過程中形成了一套獨特的解題方法,，傾向于使用更多token來提高準確性,。R1在強化學習過程中展現(xiàn)了所謂的“aha moment”，即通過嘗試多種想法從不同角度解決問題,，顯著提升了準確率,。這種解決方式類似于人類解決數(shù)學問題的模式，但不是靠模仿或硬編碼,，而是自然涌現(xiàn)的,。R1重新發(fā)現(xiàn)了人腦的思維過程，自學了思維鏈（CoT）,，這是RL應用于大語言模型時最令人難以置信的成效,。

雖然OpenAI的一些模型也使用了RL技術(shù),，性能與DeepSeek-R1相當,，但卡帕西表示他大約80%-90%的查詢依然由GPT-4o完成，只有遇到非常困難的代碼和數(shù)學問題時才會使用思考模型,。

強化學習是一種強大的學習方式，這一點已在圍棋領(lǐng)域得到驗證,。DeepMind開發(fā)的AlphaGo通過自博弈和強化學習突破了人類棋手的實力上限,。AlphaGo通過廣泛嘗試制勝策略，甚至超越了頂級玩家李世石,。理論上,，強化學習可以持續(xù)運行，但由于成本原因,，DeepMind團隊選擇在某些時候停止,。通過DeepSeek-R1，我們開始看到強化學習在大語言模型推理問題上的巨大潛力。

未來,，如果我們繼續(xù)在大語言模型領(lǐng)域擴展強化學習,，可能解鎖那些讓人類難以理解的解決方案。這可能包括發(fā)現(xiàn)新的類比,、思考策略,，甚至是發(fā)明一種更適合思考的語言。實現(xiàn)這些的前提是為模型創(chuàng)造足夠大的問題集,，讓其不斷優(yōu)化和完善解決問題的策略,。

卡帕西還預言了未來幾大AI趨勢，包括多模態(tài)AI和測試時訓練,。由于音頻,、圖片、視頻等內(nèi)容都可以被token化,，采用大語言模型的訓練邏輯將提升模型在相關(guān)領(lǐng)域的表現(xiàn),。此外，測試時訓練將成為AI研究的前沿方向,，允許模型根據(jù)新數(shù)據(jù)微調(diào)參數(shù),，更好地應對特定問題。

強化學習作為上一個世代AI能力突破的重要方向,，由DeepSeek在生成式AI時代再度發(fā)揚光大,。盡管有一些質(zhì)疑聲音，但許多專注于技術(shù)本身的AI開發(fā)者認為,，DeepSeek的開源突破對整個AI界的發(fā)展是有利的,，他們期待DeepSeek帶來更多驚喜。AI大?？ㄅ廖魇①滵eepSeek,！