大模型“高考”考生數(shù)學(xué)都不及格語文英語顯優(yōu)勢,，數(shù)學(xué)能力待加強

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-06-20 06:07:10 第一財經(jīng)

高考,，作為一項涵蓋廣泛學(xué)科和題型的考試，因其考前的高度保密性,，被視為中國最具權(quán)威性的測試之一,。近期,，它成為了評估高級人工智能模型智力水平的重要工具。上海人工智能實驗室的OpenCompass平臺挑選了7個頂尖的人工智能模型,，讓它們參加了包括語文,、數(shù)學(xué)、英語在內(nèi)的全科目模擬高考,。

測試結(jié)果于6月19日公布,，阿里通義千問2-72B以303分的總分位居榜首，緊接著是OpenAI的GPT-4o,，得分為296分,，而上海人工智能實驗室的書生·浦語2.0則獲得第三名。這三個模型的得分均超過了70%的及格線,，而法國初創(chuàng)公司Mistral的模型則排名最后,。

參與這次測評的模型涵蓋了國內(nèi)外多家企業(yè)和機構(gòu)，既有開源的也有如GPT-4o這樣的閉源模型,。值得注意的是,，為了確保公平性，僅選取了在考前已公開的模型,，避免了可能的針對性訓(xùn)練,。

測試顯示,，盡管這些大模型在語文和英語科目中表現(xiàn)出色，但它們的數(shù)學(xué)成績普遍不佳,，無一及格,。其中數(shù)學(xué)最高分75分出自書生·浦語2.0，GPT-4o緊隨其后,，得了73分,。語文最高分歸于通義千問，而英語則是GPT-4o領(lǐng)先,。

數(shù)學(xué)成為大模型面臨的一大挑戰(zhàn),，它要求復(fù)雜的推理能力，這對于模型在金融,、工業(yè)等領(lǐng)域?qū)崿F(xiàn)可靠應(yīng)用至關(guān)重要,。上海人工智能實驗室的領(lǐng)軍人物林達(dá)華指出，復(fù)雜推理直接關(guān)聯(lián)到模型在諸如金融場景中的數(shù)據(jù)準(zhǔn)確性,，以及處理專業(yè)文檔時的精確計算能力,，這些是當(dāng)前大模型應(yīng)用向更嚴(yán)肅商業(yè)環(huán)境擴(kuò)展的障礙。

此次評測遵循全國新課標(biāo)I卷的標(biāo)準(zhǔn),，全面考核了客觀題與主觀題,，由具有高考閱卷經(jīng)驗的教師匿名評分。閱卷過程中,，教師們并不知道回答來自AI模型,，以確保評價的公正性。然而,，大模型的錯誤模式與人類不同,，這給教師評分帶來一定挑戰(zhàn)，故每題至少由三位教師評分并取平均值,，對于評分差異大的題目還進(jìn)行了復(fù)核,。

閱卷完成后，教師們得知他們評分的對象實為AI模型,，并受邀對模型的表現(xiàn)進(jìn)行了綜合分析,，為未來模型的改進(jìn)提供了方向。教師們的反饋揭示了模型在各個科目上的強項與不足：模型在現(xiàn)代文閱讀理解上表現(xiàn)良好,，但在文言文理解和作文創(chuàng)意表達(dá)上顯現(xiàn)出局限,；數(shù)學(xué)解題雖能記憶公式，卻缺乏靈活運用,；英語雖總體表現(xiàn)良好,，但在特定題型和作文字?jǐn)?shù)控制上仍有待提高,。此外,，由于電子文本的特性，作文評分可能存在細(xì)微的主觀偏差。

(責(zé)任編輯：張蕾)

關(guān)閉

大模型“高考”考生數(shù)學(xué)都不及格 語文英語顯優(yōu)勢,，數(shù)學(xué)能力待加強

相關(guān)新聞

今日熱點

頻道熱點

大模型“高考”考生數(shù)學(xué)都不及格語文英語顯優(yōu)勢,，數(shù)學(xué)能力待加強