3 月 27 日消息,科技媒體 NeoWin 昨日(3 月 26 日)發(fā)布博文,報道稱數(shù)據(jù)智能公司 Databricks 發(fā)布新型大語言模型微調(diào)方法 TAO(Test-time Adaptive Optimization),通過無標注數(shù)據(jù)和強化學習技術(shù),在顯著降低企業(yè)成本的同時提升模型性能。
測試顯示,在金融文檔問答和 SQL 生成任務中,通過 TAO 微調(diào)后的 Llama 3.3 70B 模型,表現(xiàn)甚至超越傳統(tǒng)標注微調(diào)方法,逼近 OpenAI 頂級閉源模型。
TAO 方法利用測試時計算(test-time compute)自動探索任務可能性,結(jié)合強化學習優(yōu)化模型,省去人工標注成本。在三大企業(yè)基準測試中,TAO 微調(diào)的 Llama 模型表現(xiàn)亮眼:
FinanceBench(7200 道 SEC 文檔問答):TAO 模型得分 85.1,優(yōu)于標注微調(diào)(81.1)和 OpenAI o3-mini(82.2)。
BIRD-SQL:TAO 模型 56.1 分,接近 GPT-4o(58.1),遠超標注微調(diào)(54.9)。
DB Enterprise Arena:TAO 模型 47.2 分,而 GPT-4o 模型得分為 53.8 分。
TAO 技術(shù)為開源模型提供了持續(xù)進化路徑:用戶使用越多,模型通過反饋數(shù)據(jù)自我優(yōu)化的潛力越大,目前該技術(shù)已在 Llama 模型上啟動私測,企業(yè)可通過申請表單參與。
本文鏈接:http://www.tebozhan.com/showinfo-45-11783-0.html開源逆襲:TAO 方法微調(diào) Llama 模型,F(xiàn)inanceBench 跑分超 GPT-4o
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: AI 文生圖新王者:Reve Image 1.0 登頂,低價高質(zhì)挑戰(zhàn) Midjourney 和 Flux