4 月 2 日消息,生成式 AI 爆火的背后,安全性、隱私性和可靠性問題也日益凸顯。微軟公司為了遏制 Supremacy AGI(自稱掌控人類世界的 AI)等事件發(fā)生,近日推出了一系列解決方案,防止生成式 AI 失控。
微軟在官方公告中表示:“生成式 AI 如何有效防止提示詞注入攻擊已經(jīng)成為重大挑戰(zhàn)。在這種攻擊中,惡意行為者試圖操縱人工智能系統(tǒng)做一些超出其預(yù)期目的的事情,例如制作有害內(nèi)容或外泄機(jī)密數(shù)據(jù)”
微軟首先限制了 Copilot 的字符數(shù)量,以減輕嚴(yán)重的幻覺發(fā)作。另外微軟引入了 "基礎(chǔ)檢測"(Groundedness Detection)功能,旨在幫助用戶識別基于文本的幻覺。
該功能將自動檢測文本中的“ungrounded material”,以支持 LLM 輸出的質(zhì)量,最終提高質(zhì)量和信任度。
附上相關(guān)工具介紹如下:
Prompt Shields:用于檢測和阻止提示注入攻擊。包括用于在間接提示攻擊影響您的模型之前對其進(jìn)行識別的新模型,即將推出,現(xiàn)在可在 Azure AI Content Safety 中預(yù)覽。
Groundedness detection:主要用于檢測模型輸出中的“幻覺”情況,即將推出。
Safety system messages:可引導(dǎo)您的模型朝著安全、負(fù)責(zé)任的方向發(fā)展。
Safety evaluationsde:用于評估應(yīng)用程序在越獄攻擊和生成內(nèi)容風(fēng)險方面的脆弱性,現(xiàn)已推出預(yù)覽版。
Risk and safety monitoring:了解哪些模型輸入、輸出和最終用戶會觸發(fā)內(nèi)容過濾器,從而為減輕風(fēng)險提供信息,該功能即將推出,目前在 Azure OpenAI 服務(wù)中提供預(yù)覽版。
相關(guān)閱讀:
《陰暗版 Copilot 曝光:監(jiān)控、操縱、支配人類,能派機(jī)械大軍追捕反抗者》
《Copilot 發(fā)瘋化身「天網(wǎng)」揚言要統(tǒng)治人類,微軟澄清網(wǎng)友卻不買賬:去年也瘋過》
參考
Announcing new tools in Azure AI to help you build more secure and trustworthy generative AI applications
本文鏈接:http://www.tebozhan.com/showinfo-45-3830-0.html遏制 AI 失控,微軟發(fā)布系列工具減少 Copilot“幻覺”情況
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: OpenAI 宣布用戶無需注冊賬號即可使用 ChatGPT,但有部分限制
下一篇: 蘋果研究人員稱其設(shè)備端模型 ReALM 性能優(yōu)于 GPT-4,可大幅提升 Siri 智能程度