AI審稿首次席卷ICLR 2025,12222條建議被接受,!ICLR 2025正式開啟了審稿周期,,并首次引入了大模型參與評審。根據最新公布的結果,,AI智能體提供了12,222條建議,,被審稿人采納,顯著提高了評審質量,。ICLR還發(fā)布了一份30頁的詳細報告,,介紹了實驗中AI在學術評審中的巨大潛力。
研究顯示,有26.6%的審稿人根據AI的建議更新了評審,,反饋使審稿意見平均增加了80個字,,從而提供了更豐富的反饋。此外,,AI反饋還在Rebuttal期間提升了討論活躍度,,作者和審稿人的回應篇幅都有所增加。然而,,在最終論文的錄用結果方面,,反饋組和對照組之間沒有顯著差異,這與設計目標一致。
ICLR是目前唯一允許AI參與審稿的AI頂會。此前,,CVPR 2025曾禁止使用LLM參與審稿,。ICLR組委會采納AI建議的原因在于同行評審面臨日益嚴峻的壓力,尤其是隨著論文投稿量的迅速增長,。低質量的反饋不僅讓作者不滿,,還影響了學術交流效率。據統計,,ICLR 2024年約有10.6%的審稿人利用LLM輔助完成評審,。
為了提升評審質量,,ICLR 2025為每位審稿人分配了最多3篇論文,并引入了“評審反饋智能體”,,識別審查中的問題并向審稿人提供改進建議,。這些建議包括鼓勵審稿人改寫含糊的評論,突出文章中可能已經回答的問題部分,,以及處理不專業(yè),、不恰當的言論。
這項試點研究由ICLR聯手OpenReview進行,以Claude Sonnet 3.5為核心模型,,構建了一個由五個大語言模型協作的系統,。在四周內,AI智能體為18,946份隨機選取的ICLR評審提供了反饋,,占總評審量的42.3%,。平均每份評審通過整個處理流程大約耗時1分鐘,成本約為50美分,。
實驗結果顯示,,收到反饋的評審比未收到反饋的評審更新可能性高17%,,且評審長度顯著增加。分析表明,,89%的評審者至少采納了一條反饋,總體共有12,222條反饋項被采納并融入修訂后的評審意見中。此外,,采納反饋的評審更清晰,、具體、可操作,,顯著提升了評審質量,。
在反駁過程中,,反饋組的作者反駁篇幅比對照組長6%,審稿人回應反駁的回復也更長,,修改評分的比例更高,。研究者對AI智能體提供的69,836條反饋進行了聚類分析,發(fā)現大多數反饋針對審稿意見的模糊評論,,旨在使其更具體,、可操作、論證充分,。
蛇年除夕夜,硅基流動創(chuàng)始人袁進輝沒有留在飯桌上,,而是抓緊時間與技術團隊開會,,解決DeepSeek模型在國產芯片上的適配問題
2025-02-16 09:01:22DeepSeek風暴席卷AI產業(yè)鏈摩根士丹利發(fā)布研報預計,生成式人工智能(以下簡稱AI)帶來的收入在未來三年可能增長超過20倍,,達到約1.1萬億美元,。在全球生成式AI浪潮中,香港正展現出強勁的發(fā)展勢頭
2025-03-11 10:11:59DeepSeek席卷金融行業(yè)新年剛開工,,幾乎所有大城市都陷入了極度焦慮——為什么DeepSeek誕生在杭州,而不是這里,?培養(yǎng)出“AI三杰”的廣東成為批評的對象,,淹沒在全國人民的議論中
2025-02-16 19:56:11杭州六小龍席卷中國背后