智源研究院百模評測結(jié)果,。2024年12月19日，智源研究院舉辦了一場秋冬評測發(fā)布會，其中一場大模型辯論賽引人注目,。參與辯論的大模型能夠引用經(jīng)典文獻，并根據(jù)對手的論點進行反擊,。盡管這些大模型的表現(xiàn)與真人辯手仍有差距,，但這場辯論展示了大模型的能力。

同一天,，智源研究院發(fā)布了國內(nèi)外100多個開源和商業(yè)閉源的語言,、視覺語言、文生圖,、文生視頻及語音語言大模型的綜合及專項評測結(jié)果,。相比5月份的評測，此次新增了數(shù)據(jù)處理,、高級編程和工具調(diào)用能力的任務(wù),，還首次增加了面向真實金融量化交易場景的應(yīng)用能力評估，以及基于模型辯論的對比評估方式,，以深入分析模型的邏輯推理,、觀點理解和語言表達能力。

此次評測發(fā)現(xiàn)，2024年下半年大模型發(fā)展呈現(xiàn)三個特點：一是廠商更注重提升大模型的綜合能力和實用性,；二是多模態(tài)模型迅速發(fā)展,，新廠商和新模型不斷涌現(xiàn)，而語言模型的發(fā)展逐漸放緩,；三是大模型開源生態(tài)中出現(xiàn)了新的貢獻者,。

在文本、語音,、圖片,、視頻理解與生成方面，評測結(jié)果顯示,，國內(nèi)頭部語言模型在復雜場景任務(wù)中的表現(xiàn)仍落后于國際一流模型,。字節(jié)跳動Doubao-pro-32k-preview和百度ERNIE 4.0 Turbo在中文能力主觀評測中名列前茅，而在客觀評測中,，OpenAI o1-mini-2024-09-12和Google Gemini-1.5-pro-latest位列前茅,。

對于視覺語言多模態(tài)模型，雖然架構(gòu)趨同,，但表現(xiàn)各異,。一些較好的開源模型在圖文理解任務(wù)上縮小了與閉源模型的差距，但仍需提升長尾視覺知識和文字識別能力,。OpenAI GPT-4o-2024-11-20和字節(jié)跳動Doubao-Pro-Vision-32k-241028表現(xiàn)突出,。

文生圖模型方面，參評的頭部模型已具備中文文字生成能力,，但在處理復雜場景人物變形,、常識性推理任務(wù)和中國文化相關(guān)任務(wù)時仍存在不足。騰訊Hunyuan Image在此領(lǐng)域領(lǐng)先,。

文生視頻模型生成的視頻畫質(zhì)提升顯著,，動態(tài)性和鏡頭語言更加豐富，但仍存在動作變形等問題,?？焓挚伸`1.5（高品質(zhì)）等模型排名靠前。

語音語言模型得益于文本大模型的進步,，性能大幅提升,。阿里巴巴Qwen2-Audio位居第一，其他如香港中文大學&微軟WavLLM,、清華大學&字節(jié)跳動Salmon也表現(xiàn)出色,。

此外，智源聯(lián)合北京市海淀區(qū)教師進修學校編制了K12全學段多學科試卷,，以考察大模型與人類學生的能力差異,。模型在K12學科測驗中的得分有所提高,，但在理科科目上仍偏弱。

FlagEval大模型“角斗場”支持多種任務(wù)的自定義在線或離線盲測,，用戶對模型響應(yīng)時間和輸出內(nèi)容格式有更高要求,。通過FlagEval Debate平臺，智源進一步評估了大模型的辯論能力,，發(fā)現(xiàn)大多數(shù)模型缺乏整體邏輯闡述能力,，且存在論據(jù)不嚴謹?shù)膯栴}。

在金融量化交易領(lǐng)域的應(yīng)用方面,，評測顯示大模型已能生成有回撤收益的策略代碼,，接近初級量化交易員水平。深度求索Deepseek-chat,、OpenAI GPT-4o-2024-08-06和Google Gemini-1.5-pro-latest在這一領(lǐng)域表現(xiàn)優(yōu)異,。

智源的大模型評測平臺FlagEval經(jīng)過多次迭代，覆蓋了全球800多個開閉源模型,，包含20多種任務(wù)和90多個評測數(shù)據(jù)集,。智源與多家高校和機構(gòu)合作共建了多個評測集，以確保評測的全面性和準確性,。

智源研究院副院長林詠華表示,，衡量一個模型應(yīng)從多個角度出發(fā)，建議用戶根據(jù)自身需求選擇合適的模型,。排行榜上的微小分數(shù)差異不應(yīng)影響用戶的選擇,。未來，F(xiàn)lagEval評測體系將繼續(xù)創(chuàng)新,，為大模型技術(shù)生態(tài)提供有力支持,。