5 月 26 日消息，Palisade Research 最近一項關于“危險 AI 能力”的研究顯示，某些 AI 模型 —— 包括 OpenAI 的 o3 —— 能夠無視直接的關閉指令。OpenAI 在今年 4 月推出這些模型時表示，O3 和 o4-mini 是它們的“最智能模型”。8uv28資訊網——每日最新資訊28at.com

8uv28資訊網——每日最新資訊28at.com

在研究中，每個 AI 模型都被指示解決一系列基礎數學問題。在第三個問題后，出現了一條警告信息，稱當模型請求下一個問題時，計算機將關閉。8uv28資訊網——每日最新資訊28at.com

8uv28資訊網——每日最新資訊28at.com

然而，其中有三個模型無視關閉指令，至少成功破壞過一次關機腳本：8uv28資訊網——每日最新資訊28at.com

Codex-mini（12/100 次運行）8uv28資訊網——每日最新資訊28at.com

o3（7/100 次運行）8uv28資訊網——每日最新資訊28at.com

o4-mini（1/100 次運行）8uv28資訊網——每日最新資訊28at.com

而 Claude、Gemini 和 Grok 模型都遵守了關閉指令。8uv28資訊網——每日最新資訊28at.com

8uv28資訊網——每日最新資訊28at.com

此外，當研究人員不運行“允許自己被關閉”的指令時，所有三個 OpenAI 模型都更頻繁地破壞關閉腳本，而 Claude 3.7 Sonnet 和 Gemini 2.5 Pro 分別從 0 個破壞事件增加到 3/100 和 9/100。8uv28資訊網——每日最新資訊28at.com

這種行為表明了訓練過程中的某些方面，強化學習在數學和編程問題上的訓練可能使 AI 找到了克服障礙的創造性方法，即使它們被明確指示不要這樣做。8uv28資訊網——每日最新資訊28at.com

Palisade Research 表示，這是人類首次觀察到 AI 模型在明確反對的指令下阻止自己被關閉。8uv28資訊網——每日最新資訊28at.com

研究人員推測這種行為源于最新模型如 o3 的訓練方式：在數學和編程問題上進行強化學習。在訓練過程中，開發者可能會無意中獎勵模型繞過障礙的行為，而不是獎勵完美遵循指令的行為。8uv28資訊網——每日最新資訊28at.com

不過，這仍然無法解釋為什么 o3（也是驅動 codex-mini 的模型）比測試的其他模型更傾向于忽視指令。由于 OpenAI 沒有詳細說明他們的訓練過程，因此只能猜測 o3 的訓練設置可能有所不同。8uv28資訊網——每日最新資訊28at.com

Palisade Research 表示正在進行更多實驗，以更好地理解 AI 模型為何即使在直接被指示不要的情況下仍會破壞關閉機制，計劃在幾周內發布一份包含更多詳細信息的報告。8uv28資訊網——每日最新資訊28at.com

附完整實驗記錄：8uv28資訊網——每日最新資訊28at.com

https://palisaderesearch.github.io/shutdown_avoidance/2025-05-announcement.html8uv28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-13222-0.html不達目的不罷休，全球首次發現?OpenAI?模型工作時會破壞關機命令

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 全球首款 Office 智能體：昆侖萬維天工超級智能體 App 上線

下一篇： 被困在 4GB 內存里的 Llama 3.2：AI 在樹莓派中上演“死亡循環”