6 月 28 日消息,當地時間 27 日,OpenAI 宣布基于 GPT-4 訓練了一個名為 CriticGPT 的模型,用于查找 ChatGPT 聊天機器人輸出內容中的錯誤。它可以撰寫評論,強調 ChatGPT 生成答案中不準確的地方。
據介紹,CriticGPT 旨在協助人類 AI 訓練員完成工作 —— 使用一種名為“從人類反饋中強化學習(注:Reinforcement Learning from Human Feedback,RLHF)”的技術來訓練、改進 GPT-4 的回答。
然而隨著 ChatGPT 的準確性日益提升,錯誤越來越隱蔽,導致 AI 訓練員的工作越來越“難做”。OpenAI 對此解釋稱,這是 RLHF 的基本局限之一 —— 模型逐漸變得比任何可以提供反饋的人都更博學,模型的協調可能也會隨之變得越來越困難。
目前,當 CriticGPT 試圖從 ChatGPT 的回答中發現錯誤時,它的一雙“鷹眼”就會發揮作用。OpenAI 指出,現實世界中的錯誤可能遍布答案的多個部分,這是 CriticGPT 未來需要解決的問題。“我們的工作重點是可以在一個地方指出錯誤,但將來我們也需要解決分散的錯誤。”
本文鏈接:http://www.tebozhan.com/showinfo-45-4879-0.html專給 ChatGPT“找茬”,OpenAI 訓練 CriticGPT 模型以檢索輸出內容錯誤
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 開源 AI 大模型“洗牌”:阿里通義千問 Qwen2-72B 成“王者”,傲視 Meta Llama-3、微軟 Phi-3 等群雄