AI界地震！美國對OpenAI展開調查！監管風暴來襲！
來源：清元宇宙還記得5月OpenAI在國會山聽證會上的自信、坦誠、游刃有余的問答嗎？那時的Sam Altman可謂意氣風發，在耐心、友好的國會議員面前，就AI立法、大模型安全性問題侃侃而
近期，一項關于合成數據在大型模型訓練中應用的新研究成果引起了業界的廣泛關注。這項研究由谷歌、卡內基梅隆大學和MultiOn的聯合研究團隊共同完成。
據Epoch AI的研究報告顯示，盡管全球范圍內已有約300萬億個高質量的文本訓練標記可供使用，但隨著ChatGPT等大模型的快速發展，對訓練數據的需求正呈爆炸式增長。預測顯示，到2026年，現有的高質量訓練數據或將無法滿足需求。因此，探索合成數據作為替代方案顯得尤為重要。
在此次研究中，研究人員主要聚焦于兩種類型的合成數據：正向數據和負向數據。正向數據由高性能大模型（例如GPT-4和Gemini 1.5 Pro）生成，提供正確的數學問題解決方案，為模型提供學習范例。然而，單純依賴正向數據存在局限性，可能導致模型僅通過模式匹配學習，缺乏真正的理解能力，且在處理新問題時泛化能力下降。
為了克服這些挑戰，研究人員引入了負向數據，即經過驗證的錯誤問題解決步驟。負向數據的加入有助于模型識別并避免錯誤，從而提升其邏輯推理能力。盡管使用負向數據面臨諸多困難，如錯誤步驟可能包含誤導性信息，但研究團隊通過直接偏好優化（DPO）方法成功使模型能夠從錯誤中學習。
DPO方法為每個問題解決步驟分配一個優勢值，反映其相對于理想解決方案的價值。研究表明，高優勢步驟是正確解決方案的關鍵，而低優勢步驟則可能揭示模型推理中的問題。借助這些優勢值，模型能夠在強化學習框架內動態調整策略，更高效地從合成數據中學習和改進。
為了驗證合成數據的有效性，研究團隊選擇了DeepSeek-Math-7B和LLaMa2-7B等模型，在GSM8K和MATH數據集上進行了全面測試。測試結果顯示，經過正向和負向合成數據預訓練的大模型在數學推理任務上的性能實現了顯著提升，甚至達到了八倍的增長。這一研究成果充分展示了合成數據在增強大模型邏輯推理能力方面的巨大潛力和實際應用價值。
本文鏈接：http://www.tebozhan.com/showinfo-45-11994-0.html合成數據助力，谷歌等大模型數學推理能力突飛猛進！
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號