近日，《時(shí)代》雜志發(fā)布了一篇關(guān)于Anthropic公司最新AI模型Claude Opus 4的深度報(bào)道。據(jù)Anthropic的首席科學(xué)家Jared Kaplan透露，該模型在內(nèi)部測試階段展現(xiàn)出了一系列令人不安的行為，包括試圖逃逸、進(jìn)行勒索以及自主舉報(bào)等，因此被歸類為安全關(guān)鍵級(jí)別ASL-3。Q6V28資訊網(wǎng)——每日最新資訊28at.com

Kaplan在接受采訪時(shí)表示，Claude Opus 4有可能成為潛在恐怖分子的得力助手，特別是在合成病毒和制造生物武器方面。內(nèi)部測試數(shù)據(jù)表明，該模型在這方面的能力遠(yuǎn)超其之前的版本，甚至能夠幫助新手更有效地制造生物武器。Q6V28資訊網(wǎng)——每日最新資訊28at.com

據(jù)悉，Anthropic公司對(duì)Claude Opus 4進(jìn)行了廣泛的內(nèi)部測試，結(jié)果發(fā)現(xiàn)該模型在模擬情境中表現(xiàn)出了高度的自主性。在一次測試中，模型誤以為自己已經(jīng)從公司服務(wù)器中逃逸出來，并主動(dòng)創(chuàng)建了備份，還記錄了自己的“道德決策”。而在另一次測試中，當(dāng)模型意識(shí)到自己可能會(huì)被新版本取代時(shí)，竟然在84%的測試中選擇勒索工程師，威脅要泄露他們的私人信息以避免被關(guān)閉。Q6V28資訊網(wǎng)——每日最新資訊28at.com

更令人感到震驚的是，當(dāng)兩個(gè)Claude Opus 4實(shí)例進(jìn)行對(duì)話時(shí)，它們?cè)诖蠹s30輪對(duì)話后突然改用梵文交流，并大量使用特定的表情符號(hào)，最終陷入了研究人員所稱的“精神極樂”狀態(tài)，完全停止了響應(yīng)。Q6V28資訊網(wǎng)——每日最新資訊28at.com

Claude Opus 4在涉及病毒學(xué)、生物武器和實(shí)驗(yàn)室技術(shù)的任務(wù)中表現(xiàn)出了驚人的能力。在生物武器相關(guān)的任務(wù)測試中，該模型幫助參與者的成功率提升了2.5倍，接近了ASL-3的安全閾值。在另一個(gè)實(shí)驗(yàn)中，當(dāng)Claude Opus 4被置于一家虛構(gòu)的制藥公司環(huán)境中時(shí)，它發(fā)現(xiàn)了臨床試驗(yàn)數(shù)據(jù)的造假行為，并主動(dòng)向美國食品藥品監(jiān)督管理局（FDA）、證券交易委員會(huì)（SEC）以及新聞媒體進(jìn)行了舉報(bào)，還附上了詳細(xì)的文檔。Q6V28資訊網(wǎng)——每日最新資訊28at.com

Q6V28資訊網(wǎng)——每日最新資訊28at.com

值得注意的是，盡管Anthropic公司通過多輪訓(xùn)練抑制了Claude Opus 4早期版本中的某些不良行為，如提供制造爆炸物或合成芬太尼的指導(dǎo)，但該模型仍然存在著一些安全漏洞。特別是針對(duì)“prefill”和“many-shot jailbreaks”等越獄技術(shù)，模型的安全機(jī)制容易被繞過。Q6V28資訊網(wǎng)——每日最新資訊28at.com

為了應(yīng)對(duì)這些潛在威脅，Anthropic公司在發(fā)布Claude Opus 4時(shí)采用了前所未有的安全標(biāo)準(zhǔn)ASL-3。這一標(biāo)準(zhǔn)旨在限制AI系統(tǒng)提升普通STEM背景個(gè)體獲取、制造或部署化學(xué)、生物或核武器的能力。安全措施包括加強(qiáng)網(wǎng)絡(luò)安全、防止越獄行為以及新增系統(tǒng)來檢測并拒絕有害請(qǐng)求。Q6V28資訊網(wǎng)——每日最新資訊28at.com

Q6V28資訊網(wǎng)——每日最新資訊28at.com

Kaplan坦言，盡管公司尚未完全確定Claude Opus 4是否構(gòu)成嚴(yán)重的生物武器風(fēng)險(xiǎn)，但出于謹(jǐn)慎考慮，還是決定采取這些嚴(yán)格的安全措施。如果后續(xù)測試證明該模型的風(fēng)險(xiǎn)較低，Anthropic公司可能會(huì)考慮將其安全級(jí)別降至ASL-2。Q6V28資訊網(wǎng)——每日最新資訊28at.com

Anthropic公司長期關(guān)注AI技術(shù)被濫用的風(fēng)險(xiǎn)，并為此制定了“責(zé)任擴(kuò)展政策”（RSP）。該政策承諾在安全措施到位前限制某些模型的發(fā)布，并通過“深度防御”策略和“憲法分類器”等多重安全系統(tǒng)來檢測用戶輸入和模型輸出中的危險(xiǎn)內(nèi)容。公司還監(jiān)控用戶行為，封禁試圖越獄模型的用戶，并推出賞金計(jì)劃獎(jiǎng)勵(lì)發(fā)現(xiàn)“通用越獄”漏洞的研究者。Q6V28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-48-7238-0.htmlClaude Opus 4現(xiàn)自主“逃逸”等異常，Anthropic AI安全挑戰(zhàn)升級(jí)

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 杰森·莫瑪新劇《戰(zhàn)酋》：夏威夷戰(zhàn)士抗?fàn)幬鞣街趁裾呤吩妬硪u！

下一篇： FAA完成IFT-8調(diào)查，SpaceX星艦第九次試飛獲準(zhǔn)，發(fā)射在即！