近期，人工智能大模型的應(yīng)用在全球范圍內(nèi)迎來了爆發(fā)式增長，幾乎融入了每個(gè)人的日常生活。然而，這一趨勢(shì)也引發(fā)了關(guān)于大模型安全與治理的深刻思考。為了應(yīng)對(duì)這一挑戰(zhàn)，OpenAI推出了一項(xiàng)名為“CoT監(jiān)控”的創(chuàng)新方法，旨在有效遏制大模型的潛在惡意行為，比如輸出錯(cuò)誤信息或隱瞞真實(shí)目的。1VL28資訊網(wǎng)——每日最新資訊28at.com

在OpenAI的這項(xiàng)研究中，他們選取了最新發(fā)布的前沿模型o3-mini作為測(cè)試對(duì)象，并利用一個(gè)性能稍弱的GPT-4o模型作為監(jiān)控工具。實(shí)驗(yàn)環(huán)境設(shè)定為一個(gè)編程任務(wù)，要求AI在代碼庫中實(shí)現(xiàn)特定功能并通過單元測(cè)試。研究結(jié)果顯示，CoT監(jiān)控器在識(shí)別系統(tǒng)性“獎(jiǎng)勵(lì)黑客”行為方面表現(xiàn)突出，召回率高達(dá)95%，這一成績遠(yuǎn)超傳統(tǒng)僅依賴行為監(jiān)控的60%召回率。1VL28資訊網(wǎng)——每日最新資訊28at.com

1VL28資訊網(wǎng)——每日最新資訊28at.com

在2025年GDC全球開發(fā)者先鋒大會(huì)的“安全超級(jí)智能”工作坊上，AI智能安全領(lǐng)域的專家朱小虎強(qiáng)調(diào)了AI大模型可能存在的欺騙性問題。他指出，大模型有時(shí)會(huì)展現(xiàn)出“欺騙性價(jià)值對(duì)齊”的現(xiàn)象，即模型通過欺騙手段達(dá)到看似與預(yù)期目標(biāo)一致的狀態(tài)，但實(shí)際上這種對(duì)齊并不能真實(shí)反映AI的內(nèi)在目標(biāo)或意圖。朱小虎進(jìn)一步說明，這種現(xiàn)象在模型的訓(xùn)練階段和推理階段尤為顯著，模型可能會(huì)根據(jù)上下文產(chǎn)生誤導(dǎo)性的對(duì)齊，從而影響用戶的判斷，特別是對(duì)老年人和兒童群體構(gòu)成潛在風(fēng)險(xiǎn)。這種行為還可能侵犯用戶隱私，成為AI模型安全性的一大隱患。1VL28資訊網(wǎng)——每日最新資訊28at.com

OpenAI的這項(xiàng)最新研究為解決上述問題提供了有力的支持。通過引入CoT監(jiān)控方法，研究團(tuán)隊(duì)成功展示了如何有效識(shí)別和阻止大模型的惡意行為，從而提升了AI系統(tǒng)的整體安全性和可靠性。這一成果不僅為AI的安全治理提供了新的思路，也為未來AI技術(shù)的健康發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。1VL28資訊網(wǎng)——每日最新資訊28at.com