3 月 24 日消息,科技媒體 marktechpost 昨日(3 月 23 日)發(fā)布博文,報道稱 Meta AI 公司攜手加州大學(xué)伯克利分校,合作推出名為 SWEET-RL 的強(qiáng)化學(xué)習(xí)框架,并發(fā)布了 CollaborativeAgentBench(ColBench)基準(zhǔn)測試。
這一創(chuàng)新旨在提升大語言模型(LLMs)在多輪人機(jī)協(xié)作任務(wù)中的表現(xiàn),特別是在后端編程和前端設(shè)計領(lǐng)域。SWEET-RL 通過逐輪優(yōu)化決策,顯著提高了模型的任務(wù)完成率,并展示了其在開源模型(如 Llama-3.1-8B)與專有模型(如 GPT-4o)競爭中的潛力。
項(xiàng)目背景援引博文介紹,大語言模型正逐漸演變?yōu)槟軌驁?zhí)行復(fù)雜任務(wù)的自主智能體,但在多輪決策任務(wù)中仍面臨挑戰(zhàn)。
傳統(tǒng)訓(xùn)練方法依賴于單輪反饋或模仿高概率行為,無法有效處理長期依賴和累積目標(biāo)。這導(dǎo)致模型在協(xié)作場景中表現(xiàn)不佳,特別是在理解人類意圖和多步驟推理方面。
SWEET-RL 的創(chuàng)新之處SWEET-RL 采用非對稱的“演員-評論家”結(jié)構(gòu),評論家在訓(xùn)練過程中可以訪問額外信息(如正確答案),從而更精確地評估演員的決策。
該框架直接建模逐輪的優(yōu)勢函數(shù),簡化了信用分配過程,并與 LLMs 的預(yù)訓(xùn)練架構(gòu)更好地對齊。實(shí)驗(yàn)結(jié)果顯示,SWEET-RL 在后端編程任務(wù)中通過率提升至 48.0%,前端設(shè)計任務(wù)的余弦相似度達(dá)到 76.9%,顯著優(yōu)于其他多輪強(qiáng)化學(xué)習(xí)方法。
ColBench 包含超過 10000 個訓(xùn)練任務(wù)和 1000 個測試案例,模擬真實(shí)的人機(jī)協(xié)作場景。任務(wù)設(shè)計涵蓋后端編程(如 Python 函數(shù)編寫)和前端設(shè)計(如 HTML 代碼生成),并限制每輪交互最多 10 次。
這一基準(zhǔn)測試通過單元測試通過率(代碼)和余弦相似度(設(shè)計)評估模型表現(xiàn),為多輪任務(wù)提供了可靠的評估標(biāo)準(zhǔn)。
本文鏈接:http://www.tebozhan.com/showinfo-45-11623-0.htmlMeta 推出強(qiáng)化學(xué)習(xí)新框架 SWEET-RL,讓 AI 更懂人類意圖
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com