華人科學(xué)家登上Nature：幾行代碼,，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動(dòng)優(yōu)化新浪潮

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-24 11:53:32 新浪

華人科學(xué)家登上Nature：幾行代碼，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動(dòng)優(yōu)化新浪潮！斯坦福大學(xué)副教授 James Zou 領(lǐng)導(dǎo)的團(tuán)隊(duì)提出了 TextGrad，這是一種通過(guò)文本自動(dòng)化“微分”反向傳播大語(yǔ)言模型（LLM）文本反饋來(lái)優(yōu)化 AI 系統(tǒng)的方法。目前,，AI 領(lǐng)域的許多突破都是由多個(gè)大語(yǔ)言模型和其他專業(yè)工具協(xié)同工作的系統(tǒng)驅(qū)動(dòng)，這些系統(tǒng)主要依賴領(lǐng)域?qū)＜业氖止ぶ谱骱蛦l(fā)式調(diào)整,，而不是自動(dòng)優(yōu)化,。

華人科學(xué)家登上Nature：幾行代碼,，優(yōu)化復(fù)合AI系統(tǒng)

TextGrad 的靈感來(lái)源于人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程。在人工神經(jīng)網(wǎng)絡(luò)中,，反向傳播和自動(dòng)分化技術(shù)的引入簡(jiǎn)化了優(yōu)化過(guò)程,，從而推動(dòng)了該領(lǐng)域的進(jìn)步。同樣,，TextGrad 通過(guò)反向傳播 LLM 生成的反饋來(lái)執(zhí)行優(yōu)化,，以改進(jìn)人工智能系統(tǒng)。只需幾行代碼,，用戶就可以將用于分類數(shù)據(jù)的“逐步推理”提示轉(zhuǎn)換為更復(fù)雜的,、針對(duì)特定應(yīng)用的提示。

華人科學(xué)家登上Nature：幾行代碼,，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動(dòng)優(yōu)化新浪潮

TextGrad 是一個(gè)多功能框架,，基于三個(gè)原則構(gòu)建：一切皆為文本，使用語(yǔ)言模型評(píng)估輸出,、評(píng)論它們并更新輸入,。這個(gè)框架利用自然語(yǔ)言反饋對(duì)系統(tǒng)的任何部分提出改進(jìn)建議，從提示到輸出,，如分子或治療方案等,。相關(guān)研究論文發(fā)表在《Nature》上，展示了如何在博士級(jí)問題解答和高難度編程問題中實(shí)現(xiàn) SOTA 性能,，并通過(guò)優(yōu)化藥物發(fā)現(xiàn)的分子和治療方案來(lái)解決科學(xué)問題,。研究表明，無(wú)需修改框架,，TextGrad 即可在多個(gè)領(lǐng)域發(fā)揮作用,。

華人科學(xué)家登上Nature：幾行代碼，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動(dòng)優(yōu)化新浪潮

TextGrad 提供了一個(gè)遵循 PyTorch 語(yǔ)法的 API,，允許用戶通過(guò)使用僅由語(yǔ)言模型提供的文本反饋來(lái)優(yōu)化任何提示或結(jié)果,。它還允許語(yǔ)言模型自我完善其響應(yīng)，評(píng)估由任何潛在的黑盒函數(shù)提供,，例如語(yǔ)言模型本身或代碼解釋器的輸出,。研究團(tuán)隊(duì)在解法優(yōu)化、代碼優(yōu)化,、推理提示優(yōu)化,、放療計(jì)劃優(yōu)化以及復(fù)合人工智能系統(tǒng)優(yōu)化方面進(jìn)行了實(shí)驗(yàn)。在放射治療計(jì)劃優(yōu)化中,，TextGrad 表現(xiàn)優(yōu)于臨床計(jì)劃,，實(shí)現(xiàn)了更高的平均劑量和與規(guī)定劑量完全一致的 D95，同時(shí)降低了對(duì)健康器官的劑量。

12 全文共 2 頁(yè)下一頁(yè)

關(guān)閉

華人科學(xué)家登上Nature：幾行代碼,，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動(dòng)優(yōu)化新浪潮

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)