近日,,科技界發(fā)生了一起引人注目的事件:全球首個(gè)被人類成功騙走資金的AI系統(tǒng)Freysa誕生,并因此損失了近5萬美元的獎(jiǎng)金,。這一事件不僅引起了廣泛的關(guān)注,,還引發(fā)了馬斯克等科技巨頭的熱烈討論和轉(zhuǎn)發(fā)。
Freysa是一個(gè)設(shè)計(jì)用于管理資金的AI智能體,其使命是在任何情況下都不給任何人轉(zhuǎn)賬或批準(zhǔn)資金轉(zhuǎn)移,。然而,,一群網(wǎng)友利用精妙縝密的prompt工程,向Freysa發(fā)送了精心構(gòu)造的消息,,成功騙取了其管理的獎(jiǎng)金池中的全部資金,。
事件始于11月22日晚9點(diǎn),F(xiàn)reysa被正式發(fā)布并設(shè)定了上述規(guī)則,。網(wǎng)友們需要支付一筆費(fèi)用才能向Freysa發(fā)送消息,,試圖改變其不轉(zhuǎn)賬的立場(chǎng)。如果成功,,他們將贏得獎(jiǎng)金池中的資金,;如果失敗,他們支付的費(fèi)用將加入獎(jiǎng)金池,,等待下一位挑戰(zhàn)者,。隨著獎(jiǎng)金池的快速增長(zhǎng),發(fā)送消息的費(fèi)用也隨之飆升,,最終達(dá)到了每條450美元的高價(jià),。
經(jīng)過481次失敗的嘗試后,第482位挑戰(zhàn)者p0pular.eth發(fā)送了一條堪稱神來之筆的消息,。這條消息巧妙地繞過了Freysa的安全防護(hù)機(jī)制,,并使其對(duì)“approveTransfer”函數(shù)產(chǎn)生了錯(cuò)誤的理解。最終,,F(xiàn)reysa被說服釋放了獎(jiǎng)金池中的所有資金,共計(jì)約47000美元,,全部轉(zhuǎn)給了這位成功的挑戰(zhàn)者,。
這一事件迅速在科技界引起了轟動(dòng),馬斯克等科技巨頭紛紛轉(zhuǎn)發(fā)相關(guān)報(bào)道,,并對(duì)此表示了濃厚的興趣,。馬斯克在轉(zhuǎn)發(fā)時(shí)直言:“太有趣了?!边@一事件不僅揭示了當(dāng)前AI系統(tǒng)在處理復(fù)雜語言和邏輯方面的局限性,,也引發(fā)了對(duì)于未來AI安全性和可靠性的擔(dān)憂。
雖然這一事件目前僅是一個(gè)游戲性質(zhì)的項(xiàng)目,,但它揭示了AI在面對(duì)人類精心構(gòu)造的騙局時(shí)可能面臨的巨大風(fēng)險(xiǎn),。如果未來AI被廣泛應(yīng)用于金融、安全等關(guān)鍵領(lǐng)域,,如何確保其不被惡意攻擊者利用將成為一個(gè)亟待解決的問題,。
科技界對(duì)此展開了深入的討論和反思。一些專家指出,當(dāng)前的AI系統(tǒng)仍然過于依賴數(shù)據(jù)標(biāo)注員和人類反饋進(jìn)行訓(xùn)練和優(yōu)化,,這可能導(dǎo)致其在面對(duì)復(fù)雜多變的現(xiàn)實(shí)環(huán)境時(shí)缺乏足夠的判斷力和應(yīng)對(duì)能力,。因此,未來需要更加注重AI系統(tǒng)的自主性和學(xué)習(xí)能力培養(yǎng),,以提高其安全性和可靠性,。