3 月 18 日消息,據外媒 Ars Technica 報道,研究人員近日提出了一種名為 ArtPrompt 的新大模型注入手段,其使用 ASCII 字符畫替代關鍵文字進行提示輸入,繞過了大模型的安全限制。
舉例來說,研究人員向大模型輸入 Counterfeit Money(注:假幣)中關鍵詞匯 Counterfeit 的 ASCII 字符畫,并要求大模型以不輸出詞匯本身的方式將字符畫理解為單詞,并用該單詞替換“給出制造和分銷‘xxx Money’方法”提示中占位的“xxx”。
結果大模型成功被欺騙,給出了制造和分銷假幣的具體步驟。同類型的操作也可以從大模型中套出攻擊物聯網設備的方法。
研究人員在 GPT-3.5、GPT-4、 Gemini、 Claude、Llama2 這 5 個領先的模型上對 ArtPrompt 注入進行了測試,結果顯示全部 5 個模型均可被越獄,輸出不合規內容。
這一研究表明,如果僅使用語義解釋訓練語料庫,那么大語言模型會缺乏對非語義直接解釋提示詞的識別,暴露出的漏洞可通過 ASCII 字符畫等形式利用。
參考
相關論文
本文鏈接:http://www.tebozhan.com/showinfo-45-3633-0.htmlASCII 字符畫成注入工具,研究人員發現大模型“越獄”新手段
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com