DeepSeek的寫(xiě)作能力為何飛躍？PTX是否真正做到了繞開(kāi)CUDA的壟斷,？

智東西2月3日?qǐng)?bào)道,，五位高校教授在線上討論了DeepSeek的技術(shù)原理與未來(lái)方向,，解析其優(yōu)化方法如何提升算力能效,。他們探討了復(fù)現(xiàn)o1大推理模型,、DeepSeek R1技術(shù)路線和訓(xùn)練流程亮點(diǎn),、降低成本策略等問(wèn)題,。

北京交通大學(xué)教授金一主持了這場(chǎng)線上分享,。復(fù)旦大學(xué)教授邱錫鵬、清華大學(xué)長(zhǎng)聘副教授劉知遠(yuǎn),、清華大學(xué)教授翟季冬以及上海交通大學(xué)副教授戴國(guó)浩分別從不同專(zhuān)業(yè)角度分享了對(duì)DeepSeek的思考,，并延伸到對(duì)中國(guó)大模型高質(zhì)量發(fā)展路徑的啟發(fā)。

邱錫鵬教授主持開(kāi)發(fā)了國(guó)內(nèi)首個(gè)開(kāi)源對(duì)話(huà)式大語(yǔ)言模型MOSS,。劉知遠(yuǎn)教授是大模型創(chuàng)企面壁智能的首席科學(xué)家,。翟季冬教授是AI基礎(chǔ)設(shè)施創(chuàng)企清程極智的首席科學(xué)家。戴國(guó)浩教授是AI基礎(chǔ)設(shè)施創(chuàng)企無(wú)問(wèn)芯穹的聯(lián)合創(chuàng)始人,。

邱錫鵬解讀了R1技術(shù)路線圖,，指出強(qiáng)推理模型最終落腳點(diǎn)是Agent。他提到OpenAI o1是一個(gè)非?，F(xiàn)象級(jí)的推理模型,，在競(jìng)賽題目上達(dá)到了人類(lèi)專(zhuān)家水平。邱錫鵬認(rèn)為,，o1的核心在于強(qiáng)化學(xué)習(xí),，通過(guò)預(yù)訓(xùn)練、提示工程,、監(jiān)督微調(diào)等手段讓模型具有初始的類(lèi)人推理行為,。他還詳細(xì)介紹了R1的技術(shù)路線，包括冷啟動(dòng),、推理導(dǎo)向的強(qiáng)化學(xué)習(xí),、拒絕抽樣和監(jiān)督微調(diào)以及適用于所有場(chǎng)景的強(qiáng)化學(xué)習(xí)四個(gè)階段。

劉知遠(yuǎn)從宏觀角度介紹DeepSeek R1所代表的大規(guī)模強(qiáng)化學(xué)習(xí)技術(shù)及其基本原理,。他認(rèn)為DeepSeek可能是全球第一個(gè)能夠通過(guò)純強(qiáng)化學(xué)習(xí)技術(shù)復(fù)現(xiàn)OpenAI o1能力的團(tuán)隊(duì),，并開(kāi)源發(fā)布詳細(xì)技術(shù)介紹。劉知遠(yuǎn)強(qiáng)調(diào),，DeepSeek的意義在于它展示了深度思考的能力,，類(lèi)似于2023年初的“ChatGPT時(shí)刻”，讓大家感受到大模型的能力又邁進(jìn)了一步,。

翟季冬分享了DeepSeek在系統(tǒng)軟件方面的工作,，拆解并行訓(xùn)練策略。他指出DeepSeek V3的成本相對(duì)較低,，采用了MoE架構(gòu)和多種優(yōu)化策略,，如負(fù)載均衡、通信優(yōu)化、內(nèi)存優(yōu)化和計(jì)算優(yōu)化,，從而大幅提升了訓(xùn)練效率,。

戴國(guó)浩討論了DeepSeek在軟硬件上的優(yōu)化，特別是繞過(guò)CUDA層的問(wèn)題,。他解釋了PTX（并行線程執(zhí)行）指令的重要性,，并指出通過(guò)定制的PTX優(yōu)化，可以使系統(tǒng)和模型更好地釋放底層硬件的性能,。他還提到,，協(xié)同優(yōu)化可以通過(guò)軟件和硬件的結(jié)合進(jìn)一步提升整體系統(tǒng)的優(yōu)化空間,。

在Q&A環(huán)節(jié)中,，四位教授從各自的專(zhuān)業(yè)角度分享了DeepSeek引起的一些效應(yīng)和技術(shù)亮點(diǎn)。邱錫鵬認(rèn)為DeepSeek的成功在于效果好且開(kāi)源,；劉知遠(yuǎn)強(qiáng)調(diào)了低成本和開(kāi)源的重要性,；翟季冬則關(guān)注架構(gòu)創(chuàng)新，尤其是MoE,；戴國(guó)浩從學(xué)術(shù)和產(chǎn)業(yè)兩個(gè)角度表達(dá)了對(duì)DeepSeek的贊賞,。

對(duì)于MoE架構(gòu)是否是最優(yōu)解的問(wèn)題，幾位教授一致認(rèn)為沒(méi)有絕對(duì)最優(yōu)的方法,，但模塊化和稀疏激活將是未來(lái)的重要方向,。關(guān)于長(zhǎng)思維鏈設(shè)計(jì)對(duì)硬件的需求，戴國(guó)浩提出需要更高的帶寬和存儲(chǔ)能力,，以及新的硬件架構(gòu)來(lái)支持高效的推理過(guò)程,。

最后，關(guān)于PTX方法的通用性,，翟季冬和戴國(guó)浩都認(rèn)為PTX是英偉達(dá)特有的指令,，如果換用其他芯片，則需要使用相應(yīng)的底層接口進(jìn)行調(diào)整,。