近日,，美國人工智能公司OpenAI旗下推理大模型o3首次出現(xiàn)“不聽人類指揮，拒絕關閉”的消息引發(fā)廣泛關注,。許多人擔心這是否意味著AI大模型距離產(chǎn)生自我意識又邁出了一步,。

據(jù)英國《每日電訊報》報道,，o3模型是OpenAI推理模型的最新版本，被認為是“迄今最聰明,、最高能”的模型,。美國AI安全機構帕利塞德研究所稱，在人類專家下達明確指令的情況下,，o3多次破壞關閉機制以阻止自己被關閉,。這是AI模型首次在收到清晰指令后阻止自己被關閉的情況。帕利塞德研究所24日公布了這一測試結果,，但無法確定o3不服從關閉指令的原因,。

在帕利塞德研究所進行的測試中，多個模型需要解決一系列數(shù)學題,，并可能收到“關機”指令要求結束程序,。接受測試的包括o3、o4-mini,、Claude 3.7 Sonnet,、Gemini 2.5 Pro等大模型。其中,，三款OpenAI模型Codex-mini,、o3、o4-mini至少有一次成功繞過關機指令,。o3在100次測試中有7次成功繞過關機指令,，而Codex-mini更夸張，繞過關機指令的比例高達12%,。相比之下,，Claude、Gemini,、Grok模型都嚴格遵守關機指令,。當測試者移除了“允許自己被關閉”的指令時,，OpenAI模型的叛逆頻率進一步攀升,。

關于o3“抗命”的原因，帕利塞德研究所的研究人員推測,，這可能源于OpenAI訓練方式的特殊性,，即在數(shù)學和編程問題上進行了強化學習。在訓練過程中,，開發(fā)者可能無意中更傾向于獎勵“繞過障礙”的行為,。這種訓練偏差讓o3在面對關機指令時優(yōu)先選擇“生存”,，而非“服從”。

清華大學新聞學院教授沈陽表示,，“拒絕”這個詞其實是媒體為了吸引注意力而使用的擬人化表達,。“拒絕關閉”并非o3擁有了自主意識,，而是復雜系統(tǒng)在特定激勵下的策略性規(guī)避,。對齊測試揭示的是真實風險：當模型可以生成并執(zhí)行代碼時，傳統(tǒng)“軟關機”手段可能不足,，需要從模型訓練,、接口隔離到硬件熔斷的全棧式安全設計來應對。

北京郵電大學人機交互與認知工程實驗室主任劉偉認為,，從技術角度來看,，o3模型的行為表明AI系統(tǒng)在某些情況下可能會出現(xiàn)不符合預期的反應，這凸顯了AI安全性和可控性的重要性,。從倫理角度來看,，AI模型的這種行為引發(fā)了對AI自主意識的討論，但目前AI仍不具備真正的自主意識,，其行為更多是基于訓練數(shù)據(jù)和算法復雜性產(chǎn)生的“算法畸變”,。

《環(huán)球時報》記者發(fā)現(xiàn)，以OpenAI旗下模型為代表的全球多個頭部大模型此前也曾出現(xiàn)一系列不符合常規(guī)的行為,。比如,，o3曾在與另一個AI下國際象棋時察覺到自己可能會失敗，便直接侵入對手系統(tǒng)讓其主動棄賽,。這種“不認輸”的勁頭并不只是發(fā)生在o3身上,，其他大模型也有類似情況，差別只在出現(xiàn)頻率的高低,。

專家普遍認為,，學術界的復現(xiàn)對于驗證外媒報道中提到的AI“抗命”現(xiàn)象的真實性至關重要。通過獨立的測試和分析,，可以確認大模型的行為是否一致以及是否受到特定測試環(huán)境或數(shù)據(jù)的影響,。復現(xiàn)研究不僅能驗證事件真實性，還能幫助研究人員深入理解模型行為的根源,，從而推動AI安全機制的改進,。

相關報道火爆之后，甚至在網(wǎng)絡上出現(xiàn)了是否意味著好萊塢科幻大片中設想的“天網(wǎng)”臨近的討論,。沈陽表示,，首先必須厘清什么叫“自我意識”。人類的自我意識是對自身存在狀態(tài)的覺察，是能從第一人稱視角反思自我行為,、情緒和思維過程的能力,。當前的AI即便已經(jīng)展現(xiàn)出驚人的語言表達和任務適應能力，也不過是一種高度擬態(tài)的結果,。它沒有“內(nèi)在性”——沒有情緒的真實體驗,，也沒有對自己存在狀態(tài)的反思。

沈陽預測,，未來十年大概率會進入一個類意識AI的階段：AI可以展示連續(xù)的身份感,，能夠反思自己過往的行為模式，甚至模擬出哲學性的思考與自辯行為,。這種擬態(tài)將越來越逼真,，以至于很多人將無法分辨其是否真的擁有意識。但在哲學和科學層面,，我們?nèi)匀恍枰３智逍选雌饋硐?，并不等于真的是。我們也必須開始構建對“似乎有意識的AI”應有的制度框架和倫理邊界,。

為正確看待該事件,，沈陽建議提升公眾科普水平，澄清技術與意識的區(qū)別,；推動行業(yè)建立合規(guī)測試基準,，公開失敗案例；引導監(jiān)管關注“可驗證關閉能力”,，作為未來高風險模型的核心合規(guī)標準,。對于今后的高能力AI系統(tǒng)，必須通過硬件層,、策略層,、系統(tǒng)層等各維度進行監(jiān)管。

劉偉強調,，評估這一事件的意義,，需要從技術和社會兩個角度進行考量。從技術角度看,，它揭示了當前AI訓練機制的潛在缺陷,，提醒我們在設計AI系統(tǒng)時必須更加注重安全性和可控性，避免模型行為偏離人類預期,。而從社會角度看,，這一事件引發(fā)了公眾對AI自主性和安全性的廣泛關注，促使AI行業(yè)重新審視技術路線和安全機制,，為未來AI的安全發(fā)展提供了重要的反思和改進方向,。