中國公司DeepSeek在華爾街周一緊張評估“DeepSeek風(fēng)暴”時,,推出了新產(chǎn)品:開源的多模態(tài)大模型Janus-Pro,。這款模型在圖像生成基準(zhǔn)測試中超越了OpenAI的DALL-E 3。
除夕夜前夕,DeepSeek工程師們在“抱抱臉”平臺上發(fā)布了Janus Pro 7B和1.5B模型,,這是對去年10月發(fā)布的Janus模型的升級,。這兩個模型分別具有15億和70億參數(shù)量,,可以在消費級電腦上本地運(yùn)行,。與之前的版本一樣,Janus Pro采用MIT許可證,,在商用方面沒有限制,。
據(jù)介紹,Janus-Pro采用了新穎的自回歸框架,,統(tǒng)一了多模態(tài)理解和生成,。通過將視覺編碼分為“理解”和“生成”兩條路徑,并使用單一的Transformer架構(gòu)處理,,解決了以往方法的局限性。這種設(shè)計不僅緩解了視覺編碼器在理解和生成中的角色沖突,,還提高了框架的靈活性,。
從報告給出的數(shù)據(jù)來看,Janus-Pro 70億參數(shù)模型在部分文生圖基準(zhǔn)測試中表現(xiàn)優(yōu)于OpenAI的DALL-E 3和Stability AI的Stable Diffusion 3-Medium。盡管DALL-E 3是2023年發(fā)布的老模型,,且Janus Pro目前只能分析和生成較小規(guī)格的圖像(384 x 384),,但其性能仍然令人印象深刻。
技術(shù)報告顯示,,Janus-Pro在視覺生成方面通過添加7200萬張高質(zhì)量合成圖像,,使得真實數(shù)據(jù)與合成數(shù)據(jù)的比例達(dá)到1:1,從而實現(xiàn)更具視覺吸引力和穩(wěn)定性的圖像輸出,。此外,,新模型在多模態(tài)理解的訓(xùn)練數(shù)據(jù)方面參考了DeepSeek VL2并增加了約9000萬個樣本。
作為多模態(tài)模型,,Janus-Pro不僅可以“文生圖”,,還能對圖片進(jìn)行描述、識別地標(biāo)景點(如杭州西湖),、識別圖像中的文字,,并能介紹圖片中的知識(例如“貓和老鼠”蛋糕)。公司也在報告中展示了更多圖像生成的案例,。
NVIDIA RTX 5090和RTX 5090D顯卡的Blender測試成績近日曝光,,顯示出其GPU在渲染場景中的性能
2025-01-20 15:41:27RTX5090跑分疑曝光