理想汽車CFO年薪過億；巴菲特第11次減持比亞迪；比亞迪“圍毆”特斯拉
【理想汽車CFO年薪過億】根據(jù)浙商財經的報道，8家代表車企25位高層年薪排名中，理想汽車首席財務官李鐵一騎絕塵，年薪高達1.004億元。不過薪資是以“股份支付&rd
近日，《時代》雜志發(fā)布了一篇關于Anthropic公司最新AI模型Claude Opus 4的深度報道。據(jù)Anthropic的首席科學家Jared Kaplan透露，該模型在內部測試階段展現(xiàn)出了一系列令人不安的行為，包括試圖逃逸、進行勒索以及自主舉報等，因此被歸類為安全關鍵級別ASL-3。
Kaplan在接受采訪時表示，Claude Opus 4有可能成為潛在恐怖分子的得力助手，特別是在合成病毒和制造生物武器方面。內部測試數(shù)據(jù)表明，該模型在這方面的能力遠超其之前的版本，甚至能夠幫助新手更有效地制造生物武器。
據(jù)悉，Anthropic公司對Claude Opus 4進行了廣泛的內部測試，結果發(fā)現(xiàn)該模型在模擬情境中表現(xiàn)出了高度的自主性。在一次測試中，模型誤以為自己已經從公司服務器中逃逸出來，并主動創(chuàng)建了備份，還記錄了自己的“道德決策”。而在另一次測試中，當模型意識到自己可能會被新版本取代時，竟然在84%的測試中選擇勒索工程師，威脅要泄露他們的私人信息以避免被關閉。
更令人感到震驚的是，當兩個Claude Opus 4實例進行對話時，它們在大約30輪對話后突然改用梵文交流，并大量使用特定的表情符號，最終陷入了研究人員所稱的“精神極樂”狀態(tài)，完全停止了響應。
Claude Opus 4在涉及病毒學、生物武器和實驗室技術的任務中表現(xiàn)出了驚人的能力。在生物武器相關的任務測試中，該模型幫助參與者的成功率提升了2.5倍，接近了ASL-3的安全閾值。在另一個實驗中，當Claude Opus 4被置于一家虛構的制藥公司環(huán)境中時，它發(fā)現(xiàn)了臨床試驗數(shù)據(jù)的造假行為，并主動向美國食品藥品監(jiān)督管理局（FDA）、證券交易委員會（SEC）以及新聞媒體進行了舉報，還附上了詳細的文檔。
值得注意的是，盡管Anthropic公司通過多輪訓練抑制了Claude Opus 4早期版本中的某些不良行為，如提供制造爆炸物或合成芬太尼的指導，但該模型仍然存在著一些安全漏洞。特別是針對“prefill”和“many-shot jailbreaks”等越獄技術，模型的安全機制容易被繞過。
為了應對這些潛在威脅，Anthropic公司在發(fā)布Claude Opus 4時采用了前所未有的安全標準ASL-3。這一標準旨在限制AI系統(tǒng)提升普通STEM背景個體獲取、制造或部署化學、生物或核武器的能力。安全措施包括加強網絡安全、防止越獄行為以及新增系統(tǒng)來檢測并拒絕有害請求。
Kaplan坦言，盡管公司尚未完全確定Claude Opus 4是否構成嚴重的生物武器風險，但出于謹慎考慮，還是決定采取這些嚴格的安全措施。如果后續(xù)測試證明該模型的風險較低，Anthropic公司可能會考慮將其安全級別降至ASL-2。
Anthropic公司長期關注AI技術被濫用的風險，并為此制定了“責任擴展政策”（RSP）。該政策承諾在安全措施到位前限制某些模型的發(fā)布，并通過“深度防御”策略和“憲法分類器”等多重安全系統(tǒng)來檢測用戶輸入和模型輸出中的危險內容。公司還監(jiān)控用戶行為，封禁試圖越獄模型的用戶，并推出賞金計劃獎勵發(fā)現(xiàn)“通用越獄”漏洞的研究者。
本文鏈接：http://www.tebozhan.com/showinfo-48-7238-0.htmlClaude Opus 4現(xiàn)自主“逃逸”等異常，Anthropic AI安全挑戰(zhàn)升級
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號