近期,人工智能(AI)技術在企業界的應用呈現出爆炸性增長,然而,AI生成的“幻覺”信息——即那些不真實或缺乏根據的內容——一直是制約其廣泛應用的關鍵因素。盡管業界已經提出了多種旨在減輕這一問題的技術和策略,例如檢索增強生成(RAG)、數據質量優化、防護機制以及邏輯推理驗證等,但它們的實際成效并不盡如人意。在此背景下,Vectara公司推出了一項名為“Vectara 幻覺矯正器”的全新解決方案,為企業級AI應用的安全性和可靠性帶來了新的曙光。
Vectara公司早期便積極倡導RAG技術的應用,該技術通過從給定內容中提取準確信息來減少AI幻覺的產生。然而,RAG技術也并非無懈可擊。與現有的側重于檢測或預防幻覺的方案不同,Vectara的幻覺矯正器采用了一種創新的主動糾正策略。這一矯正器實質上是一個監控AI工作流程并實施保護措施的軟件組件,它以代理式AI的形式工作,能夠在保留整體內容的同時,對AI生成的錯誤信息進行精準修改,并為用戶提供詳細的修改原因說明。
Vectara的首席產品官Eva Nahari指出,隨著企業越來越多地采用代理式工作流程,AI幻覺可能帶來的負面影響將成倍增加。這正是Vectara推出這一創新矯正器的原因,旨在構建一個更加可靠和值得信賴的企業級AI系統。據Vectara聲稱,該系統已經成功將小型語言模型(參數少于70億)的幻覺率降低到了1%以下,這無疑是AI技術發展的一大突破。
為了推動幻覺矯正技術的進一步發展,Vectara還發布了一個開源的評估工具包——HCMBench。這一基準工具提供了一個標準化的方法來評估不同幻覺矯正模型的效果,支持多種評估指標,旨在幫助整個社區驗證幻覺矯正聲明的準確性,包括Vectara自身的解決方案。HCMBench的發布,無疑為AI幻覺矯正技術的發展注入了新的活力。
Vectara的創新方法為企業應對AI幻覺風險提供了一個全新的視角。與僅僅檢測幻覺或在高風險場景中避免使用AI的做法相比,企業現在可以考慮部署能夠主動糾正錯誤的AI方案。這一方法尤其適用于那些對準確性要求極高的高價值工作流程。當然,企業在引入此類自動糾正機制的同時,也需要保持一定的人工監督能力,并利用HCMBench等基準工具進行充分的評估,以確保AI系統的準確性和可靠性。
本文鏈接:http://www.tebozhan.com/showinfo-45-12835-0.htmlVectara守護代理:企業級AI“幻覺”精準矯正新方案問世
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com