近日,中科院物理所在江蘇省溧陽市舉辦了“天目杯”理論物理競賽,,并用DeepSeek-R1,、GPT-o1和Claude-sonnet三個AI模型對競賽試題進(jìn)行了測試。結(jié)果顯示,,DeepSeek-R1表現(xiàn)最佳,。
我國“深度求索”公司發(fā)布的開源大模型DeepSeek-R1引起了全球關(guān)注。在此之前,,美國OpenAI公司的GPT-o1,、Anthropic公司的Claude以及Google公司的Gemini等模型都聲稱具備深度思考和推理能力。這些模型在各種測試中表現(xiàn)出色,,特別是Google的專用模型AlphaGeometry在國際奧林匹克數(shù)學(xué)競賽中取得了28/42的成績,,獲得銀牌。這引發(fā)了人們的好奇,,這些強(qiáng)大的AI在物理方面的水平如何,。
1月17日,中科院物理所舉辦了“天目杯”理論物理競賽,。命題組完成了試卷的出題工作,,七道題目大部分是原創(chuàng),旨在考察實際科研中的具體技術(shù)問題,。競賽結(jié)束后,,團(tuán)隊決定測試幾個有代表性的AI模型,。他們選擇了DeepSeek-R1,、GPT-o1和Claude-sonnet進(jìn)行測試。
測試過程包括8段對話,,首先交代任務(wù)和格式要求,,然后依次發(fā)送題干,每道題目由文字描述和圖片描述組成(第三,、五,、七題無圖)。所有模型收到的文字材料相同,。閱卷方式與人類選手相同,,最終匯總得分。