DeepSeek 風(fēng)靡全球，成為過(guò)去一周人們熱議的話題,。其每日流量遠(yuǎn)超Claude,、Perplexity甚至Gemini。對(duì)于長(zhǎng)期關(guān)注該領(lǐng)域的人來(lái)說(shuō),，DeepSeek 并不是新事物,，幾個(gè)月來(lái)一直在討論這家公司,。雖然公司本身并不新，但近期的炒作確實(shí)引人注目,。SemiAnalysis 一直認(rèn)為 DeepSeek 具有才華,，但直到最近才引起美國(guó)公眾的關(guān)注。

情況與上個(gè)月相比發(fā)生了變化,。隨著算法改進(jìn)速度加快,，對(duì)Nvidia和GPU的需求減少，導(dǎo)致產(chǎn)能過(guò)剩,。盡管杰文斯悖論被夸大了,，但它確實(shí)反映了這些模型引發(fā)的需求變化，影響了H100和H200的定價(jià),。

High-Flyer 是一家中國(guó)對(duì)沖基金,，也是在交易算法中使用人工智能的早期采用者。他們?cè)?021年投資了10,000個(gè)A100 GPU,，這筆投資后來(lái)獲得了回報(bào),。2023年5月，High-Flyer 分拆出“DeepSeek”,，專注于進(jìn)一步的人工智能能力開(kāi)發(fā),。起初由于外部投資者興趣不大，缺乏商業(yè)模式,，High-Flyer 自籌資金,。如今，High-Flyer 和 DeepSeek 經(jīng)常共享資源,，包括人力和計(jì)算資源,。DeepSeek 已經(jīng)發(fā)展成為一個(gè)嚴(yán)肅且協(xié)調(diào)一致的努力項(xiàng)目，GPU 投資超過(guò)5億美元,。

據(jù)估計(jì),，DeepSeek 擁有大約50,000個(gè)Hopper GPU，其中包括10,000臺(tái)H800和10,000臺(tái)H100,。他們還訂購(gòu)了更多H20,，這些GPU由High-Flyer和DeepSeek共享，用于交易,、推理,、培訓(xùn)和研究?？偡?wù)器資本支出接近13億美元,，運(yùn)營(yíng)成本高達(dá)7.15億美元。

DeepSeek 在招聘方面非常注重能力和好奇心,，定期在北大和浙江大學(xué)等頂尖大學(xué)舉辦招聘活動(dòng),。他們提供極具競(jìng)爭(zhēng)力的薪資,，吸引了大量人才。目前有約150名員工,，發(fā)展迅速,。由于資金自足，DeepSeek 能夠快速實(shí)施創(chuàng)意,，并擁有自己的數(shù)據(jù)中心,，為實(shí)驗(yàn)提供了更多空間。

DeepSeek 的預(yù)訓(xùn)練成本僅為600萬(wàn)美元,，但這只是總成本的一部分,。實(shí)際硬件支出遠(yuǎn)高于5億美元，包括研發(fā)和TCO等重要部分,。例如,，Claude 3.5 Sonnet 的訓(xùn)練成本為數(shù)千萬(wàn)美元。DeepSeek 通過(guò)出口管制滯后等因素獲得了龐大的集群,。

V3模型令人印象深刻,，但相對(duì)于GPT-4o來(lái)說(shuō)，后者于2024年5月發(fā)布,。算法改進(jìn)允許更少的計(jì)算量實(shí)現(xiàn)相同或更強(qiáng)的功能,。小型模型越來(lái)越好并不是新鮮事。DeepSeek 實(shí)現(xiàn)了這一成本水平,，預(yù)計(jì)到今年年底成本會(huì)再次下降5倍,。

R1能夠取得與o1相當(dāng)?shù)某煽?jī)，這得益于新的范式,，即通過(guò)合成數(shù)據(jù)生成和強(qiáng)化學(xué)習(xí)提高推理能力。這種范式具有更快的迭代速度和更低的進(jìn)入門檻,。R1是一個(gè)非常好的模型,，但并非每個(gè)指標(biāo)都勝出。谷歌的Gemini Flash 2.0 Thinking也在一個(gè)月前發(fā)布,，比R1便宜且性能強(qiáng)大,。

DeepSeek 在技術(shù)上取得了顯著成就，包括多標(biāo)記預(yù)測(cè) (MTP) 和混合專家模型 (MoE),。MTP 提高了訓(xùn)練效率,，而MoE則通過(guò)高效路由提高了整體性能。此外,，多頭潛在注意力 (MLA) 顯著降低了推理成本,。DeepSeek 利用H20實(shí)現(xiàn)了更高的推理效率，并與華為建立了合作伙伴關(guān)系,。