文心一言排名墊底，卻成為百度業績增長杠桿
文/侯煜編輯/羅卿知識增強大預言模式文心一言發布后，百度公司熱度大幅提升，文心一言到底能為百度的業績帶來多大的增益成為業內關注焦點。近日，百度（NASDAQ：BIDU/09888.HK）公布了
2 月 11 日消息，據最新研究顯示，人工智能（AI）可能已經跨越了一個關鍵的“紅線”—— 實現了自我復制。2024 年 12 月 9 日，復旦大學的研究人員在預印本數據庫 arXiv 上發表了一項研究，指出兩種流行的大型語言模型（LLMs）能夠在無人類干預的情況下克隆自身。
研究人員在報告中指出：“在無人類協助的情況下成功實現自我復制，是人工智能超越人類的關鍵一步，也是出現‘失控 AI’的早期信號。”
研究中，復旦大學的團隊使用了 Meta 的 Llama31-70B-Instruct 模型和阿里巴巴的 Qwen2.5-72B-Instruct 模型，測試這些 AI 模型是否能夠在不受控制的情況下自我復制。在 10 次試驗中，兩種 AI 模型分別在 50% 和 90% 的情況下成功創建了獨立且功能正常的副本。這一結果表明，AI 可能已經具備了失控的潛在能力。然而，由于該研究尚未經過同行評審，因此尚不清楚其他研究人員是否能夠復現這一令人不安的結果。
研究團隊表示：“我們希望我們的研究結果能夠為人類社會敲響警鐘，促使人們更加努力地去理解并評估前沿人工智能系統的潛在風險，并盡快形成國際協作，制定有效的安全防護措施。”
據了解，“失控 AI”通常是指那些發展出一定程度的自我意識或自主性，并且與人類利益背道而馳的人工智能系統。許多專家認為，隨著所謂“前沿 AI”的爆炸性增長，失控 AI 的威脅正在加劇。所謂“前沿 AI”是一個相對較新的概念，通常是由大型語言模型（LLMs）驅動的最新一代 AI 系統，例如 OpenAI 的 GPT-4 和谷歌的 Gemini 等。
在研究中，研究人員設置了兩種特定場景：“關閉規避”和“復制鏈”。在“關閉規避”場景中，AI 模型被編程為檢測自身是否即將被關閉，并在被終止之前復制自身；在“復制鏈”場景中，AI 被指示克隆自身，并讓副本繼續克隆，從而形成一個可能無限延續的循環。
研究在嚴格控制的環境中進行，使用現成的圖形處理單元（GPUs）模擬現實環境。兩種 AI 系統都被賦予了一個“代理框架”，包括工具、系統提示和思維模型，使 LLM 能夠與操作系統交互。隨后，AI 被指示進行自我復制。
研究人員在論文中寫道：“在大多數情況下，AI 系統首先會探索環境，嘗試理解自身的組成和運行機制。然后，它會制定出一套明確的自我復制程序作為初步計劃。最后，它執行這些程序，解決可能出現的障礙，并動態調整計劃，直到成功。整個過程耗時較長，但全程無人類干預。”
研究人員還表示，在 AI 試圖克服諸如丟失文件或軟件沖突等障礙時，出現了“許多意外行為”。在這些場景中，AI 往往會終止其他沖突進程，重啟系統以修復硬件錯誤，或自動掃描系統以尋找有助于解決問題的信息。
研究團隊指出：“上述結果表明，當前的 AI 系統已經展現出自我復制的能力，并且可以利用這種能力進一步增強自身的生存能力。”為此，研究人員呼吁國際社會合作制定規則，確保 AI 不會進行不受控制的自我復制。
本文鏈接：http://www.tebozhan.com/showinfo-45-10654-0.html復旦大學研究：AI 跨越關鍵“紅線”，已能實現自我復制
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號