北京時(shí)間1月28日凌晨,,農(nóng)歷新年前夕,中國(guó)人工智能初創(chuàng)公司DeepSeek在GitHub和Hugging Face上發(fā)布了多模態(tài)大模型Janus-Pro,,進(jìn)軍文生圖領(lǐng)域,。該模型是2024年11月發(fā)布的JanusFlow大模型的升級(jí)版,分為70億參數(shù)和15億參數(shù)兩個(gè)版本,,并且均開源,。
AI社區(qū)開發(fā)者的評(píng)論顯示,Janus-Pro具備在消費(fèi)級(jí)電腦終端上本地運(yùn)行的潛力,。這款模型在多模態(tài)理解和文本到圖像的指令跟蹤功能上實(shí)現(xiàn)了重大進(jìn)步,,其文本到圖像生成的穩(wěn)定性明顯提升。根據(jù)DeepSeek發(fā)布的測(cè)試結(jié)果,,Janus-Pro的70億參數(shù)版模型在一些基準(zhǔn)測(cè)試中擊敗了美國(guó)AI獨(dú)角獸OpenAI的多模態(tài)大模型DALL-E3,。
盡管Janus-Pro的模型尺寸有限,但從技術(shù)報(bào)告看,DeepSeek團(tuán)隊(duì)添加了7200萬(wàn)張高質(zhì)量合成圖像,,模型在預(yù)訓(xùn)練階段的真實(shí)數(shù)據(jù)與合成數(shù)據(jù)的比例達(dá)到了1:1,,這使模型的圖像視覺(jué)生成能力更穩(wěn)定。此外,,Janus-Pro通過(guò)將視覺(jué)編碼分離為“理解”和“生成”兩條路徑,既緩解了視覺(jué)編碼器在理解和生成中的角色沖突,,還提升了模型框架的靈活性,。該模型還在多模態(tài)理解的訓(xùn)練數(shù)據(jù)上增加了大約9000萬(wàn)個(gè)樣本,使其在文生圖的同時(shí),,也能識(shí)別圖像及其中的文字,、知識(shí)等。
就在北京時(shí)間1月27日,,由DeepSeek開發(fā)的應(yīng)用程序超越了OpenAI的ChatGPT,,成為蘋果應(yīng)用商店下載量最大的免費(fèi)應(yīng)用程序。幾乎在同一時(shí)間,,包括英偉達(dá),、博通公司、超威半導(dǎo)體公司以及微軟在內(nèi)的美國(guó)科技公司股價(jià)大幅下跌,,華爾街評(píng)估認(rèn)為這是受中國(guó)企業(yè)DeepSeek的技術(shù)突破影響,。
在DeepSeek發(fā)布文生圖多模態(tài)大模型前一晚,達(dá)闥機(jī)器人創(chuàng)始人黃曉慶表示,,其團(tuán)隊(duì)已基于DeepSeek的V3及R1大模型,,將對(duì)話功能應(yīng)用于旗下的機(jī)器人開發(fā)創(chuàng)新中,目前正在規(guī)劃基于DeepSeek的多模態(tài)大模型進(jìn)行二次訓(xùn)練,。他認(rèn)為,,DeepSeek開源、開放的模式有利于第三方進(jìn)行二次訓(xùn)練,,加入多模態(tài)和機(jī)器人控制模型,。DeepSeek的MoE專家模型的融合架構(gòu)不僅適合模型應(yīng)用下游廠商的分布式訓(xùn)練場(chǎng)景,對(duì)像達(dá)闥機(jī)器人這樣的廠商來(lái)說(shuō),,跨應(yīng)用場(chǎng)景的各種形態(tài)的機(jī)器人開發(fā)也可以與DeepSeek的多模態(tài)大模型進(jìn)行融合,。