3 月 31 日消息,無論當下 AI 聊天機器人有多么強大,都會或多或少存在一大飽受詬病的行為 —— 以看上去令人信服的方式,向用戶提供與事實不符的回答。簡單來說,AI 有時會在回答中“滿口跑火車”,甚至“造謠”。
防止 AI 大模型出現這種行為并非易事,且是一項技術性的挑戰。不過據外媒 Marktechpost 報道,谷歌 DeepMind 和斯坦福大學似乎找到了某種變通辦法。
研究人員推出了一種基于大語言模型的工具 —— 搜索增強事實評估器(注:原名為 Search-Augmented Factuality Evaluator,簡稱 SAFE),可對聊天機器人生成的長回復進行事實核查。其研究結果與實驗代碼、數據集現已公布,點此查看
該系統可通過四個步驟對聊天機器人生成的回復進行分析、處理和評估,以驗證準確性和真實性:將答案分割成單個待核查內容、對上述內容進行修正、再與谷歌搜索結果進行比較。隨后,該系統還會檢查各個事實與原始問題的相關性。
為評估其性能,研究人員創建了包含約 16000 個事實的數據集 LongFact,并在來自 Claude、Gemini、GPT、PaLM-2 的 13 個大語言模型上測試了該系統。結果顯示,在對 100 個有爭議的事實進行的重點分析中,SAFE 的判定在進一步審查下正確率達到 76% 。與此同時,該框架還具備經濟性優勢:成本比人工注釋便宜 20 多倍。
本文鏈接:http://www.tebozhan.com/showinfo-45-3785-0.html防止聊天機器人“造謠”,谷歌 Deepmind、斯坦福大學研究人員推出 AI 事實核查工具
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com