DeepSeek 風(fēng)靡全球，成為過(guò)去一周人們熱議的話(huà)題,。其每日流量遠(yuǎn)超Claude,、Perplexity甚至Gemini。對(duì)于長(zhǎng)期關(guān)注該領(lǐng)域的人來(lái)說(shuō),，DeepSeek 并不是新事物,，幾個(gè)月來(lái)一直在討論這家公司。雖然公司本身并不新,，但近期的炒作確實(shí)引人注目,。SemiAnalysis 一直認(rèn)為 DeepSeek 具有才華，但直到最近才引起美國(guó)公眾的關(guān)注,。

情況與上個(gè)月相比發(fā)生了變化,。隨著算法改進(jìn)速度加快，對(duì)Nvidia和GPU的需求減少,，導(dǎo)致產(chǎn)能過(guò)剩,。盡管杰文斯悖論被夸大了，但它確實(shí)反映了這些模型引發(fā)的需求變化,，影響了H100和H200的定價(jià),。

High-Flyer 是一家中國(guó)對(duì)沖基金，也是在交易算法中使用人工智能的早期采用者,。他們?cè)?021年投資了10,000個(gè)A100 GPU,，這筆投資后來(lái)獲得了回報(bào)。2023年5月,，High-Flyer 分拆出“DeepSeek”,，專(zhuān)注于進(jìn)一步的人工智能能力開(kāi)發(fā)。起初由于外部投資者興趣不大,，缺乏商業(yè)模式,，High-Flyer 自籌資金。如今,，High-Flyer 和 DeepSeek 經(jīng)常共享資源,，包括人力和計(jì)算資源。DeepSeek 已經(jīng)發(fā)展成為一個(gè)嚴(yán)肅且協(xié)調(diào)一致的努力項(xiàng)目,，GPU 投資超過(guò)5億美元,。

據(jù)估計(jì),，DeepSeek 擁有大約50,000個(gè)Hopper GPU，其中包括10,000臺(tái)H800和10,000臺(tái)H100,。他們還訂購(gòu)了更多H20,，這些GPU由High-Flyer和DeepSeek共享，用于交易,、推理,、培訓(xùn)和研究?？偡?wù)器資本支出接近13億美元,，運(yùn)營(yíng)成本高達(dá)7.15億美元。

DeepSeek 在招聘方面非常注重能力和好奇心,，定期在北大和浙江大學(xué)等頂尖大學(xué)舉辦招聘活動(dòng),。他們提供極具競(jìng)爭(zhēng)力的薪資，吸引了大量人才,。目前有約150名員工,，發(fā)展迅速。由于資金自足,，DeepSeek 能夠快速實(shí)施創(chuàng)意,，并擁有自己的數(shù)據(jù)中心，為實(shí)驗(yàn)提供了更多空間,。

DeepSeek 的預(yù)訓(xùn)練成本僅為600萬(wàn)美元,，但這只是總成本的一部分。實(shí)際硬件支出遠(yuǎn)高于5億美元,，包括研發(fā)和TCO等重要部分,。例如，Claude 3.5 Sonnet 的訓(xùn)練成本為數(shù)千萬(wàn)美元,。DeepSeek 通過(guò)出口管制滯后等因素獲得了龐大的集群,。

V3模型令人印象深刻，但相對(duì)于GPT-4o來(lái)說(shuō),，后者于2024年5月發(fā)布,。算法改進(jìn)允許更少的計(jì)算量實(shí)現(xiàn)相同或更強(qiáng)的功能。小型模型越來(lái)越好并不是新鮮事,。DeepSeek 實(shí)現(xiàn)了這一成本水平,，預(yù)計(jì)到今年年底成本會(huì)再次下降5倍。

R1能夠取得與o1相當(dāng)?shù)某煽?jī),，這得益于新的范式,，即通過(guò)合成數(shù)據(jù)生成和強(qiáng)化學(xué)習(xí)提高推理能力。這種范式具有更快的迭代速度和更低的進(jìn)入門(mén)檻,。R1是一個(gè)非常好的模型,，但并非每個(gè)指標(biāo)都勝出,。谷歌的Gemini Flash 2.0 Thinking也在一個(gè)月前發(fā)布,，比R1便宜且性能強(qiáng)大,。

DeepSeek 在技術(shù)上取得了顯著成就，包括多標(biāo)記預(yù)測(cè) (MTP) 和混合專(zhuān)家模型 (MoE),。MTP 提高了訓(xùn)練效率,，而MoE則通過(guò)高效路由提高了整體性能。此外,，多頭潛在注意力 (MLA) 顯著降低了推理成本,。DeepSeek 利用H20實(shí)現(xiàn)了更高的推理效率，并與華為建立了合作伙伴關(guān)系,。