《從營銷AIGC化到AIGC營銷化》報告發(fā)布
來源：清元宇宙7月2日上午，清華大學元宇宙文化實驗室舉辦元宇宙在線沙龍“AIGC熱潮與應用”。會議中，清華大學新聞與傳播學院教授、元宇宙文化實驗室主任、新媒體研究
除了 OpenAI 自己，居然還有別人能用上 GPT-4-Base 版？？也就是未經(jīng)微調(diào)的預訓練版，還不會對話聊天，只會補全句子的模型。
EPFL（瑞士洛桑聯(lián)邦理工）團隊申請到了訪問權限，用于研究“上下文學習足以讓大模型跟隨指令嗎？”。
也就是不用監(jiān)督微調(diào)、也不用 RHLF 或其他強化學習對齊方法，只靠提示詞能走多遠？
預訓練模型，究竟能不能一步登天，直接改造成聊天機器人或 AI 助手？
如果可行，將大大降低類 ChatGPT 大模型的開發(fā)難度。
免微調(diào)對齊靠譜嗎？免微調(diào)對齊，讓剛出爐的預訓練模型不止會“文本補全”，只從提示詞中學會和用戶對話、跟隨指令，一直是業(yè)界關注的研究方向。
目前的 SOTA 方法（指某個領域在之前的研究中效果最好的方法）URIAL 來自艾倫研究所，使用系統(tǒng)提示詞 + 少數(shù)風格示例就能達到不錯的效果。
但 EPFL 團隊發(fā)現(xiàn)，URIAL 仍無法完全彌補與指令微調(diào)模型的差距，尤其在多輪對話中的表現(xiàn)更差一些。
實驗中，在 Llama 系列、Mistral 系列和一般人接觸不到的 GPT-4-Base 都觀察到這種現(xiàn)象。
其中 GPT-4-Base 的 API 訪問權限從 OpenAI Researcher Access Program 項目中申請到。
EPFL 團隊從這里出發(fā)，嘗試了各種辦法來提升上下文學習的效果。
首先他們增加示例的數(shù)量，但發(fā)現(xiàn)幫助不大，沒有隨著例子數(shù)目增加性能就提升的趨勢。這一點跟圖像分類、機器翻譯等任務還不太一樣。
然后他們使用了貪心搜索算法，從一大堆示例中選擇最佳的添加到上下文。
這種方法可以進一步提高性能，但與指令微調(diào)模型的差距仍然存在，特別是在 AlpacaEval 2.0 基準測試中。
此外他們還發(fā)現(xiàn)，貪心搜索為某個特定模型找到的最佳示例，對于其他模型不能可靠地遷移。
也就是說，不同的示例適合不同的模型。
團隊還進行了一系列消融實驗（指移除或變換某個組件，來研究該組件對系統(tǒng)功能的影響），以更多地了解上下文學習的工作原理。
他們發(fā)現(xiàn)，在 MT-Bench 這樣的綜合評測中，示例包含正確的“問題-答案對”至關重要。
這與此前大模型在分類任務中，只要有大量示例，部分標簽錯了也無所謂的發(fā)現(xiàn)非常不同。
所以最終得出的結論是：
即使采用更多復雜的改進方法，完全縮小上下文學習和指令微調(diào)之間的差距也有挑戰(zhàn)，即使對于非常長上下文的大模型也是如此。
論文最后分析，大語言模型可能通過上下文學習只學會了如何模仿例子里的回答風格，但還沒有真正理解執(zhí)行指令的邏輯。
指令跟隨任務相對還是比較復雜和開放的，沒那么容易掌握。
想讓 AI 助手更“聽話”，暫時還是很難有捷徑可走。
論文地址：
https://arxiv.org/abs/2405.19874
參考鏈接：
[1]https://x.com/maksym_andr/status/1796574297894318136
本文來自微信公眾號：量子位 （ID：QbitAI），作者：夢晨
本文鏈接：http://www.tebozhan.com/showinfo-45-4512-0.htmlOpenAI 把 GPT-4 原始版給了瑞士洛桑聯(lián)邦理工團隊：研究不微調(diào)只靠提示詞能走多遠
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號