新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經(jīng)忘記了，在OpenAI創(chuàng)造出ChatGPT這一殺器的前夜，生成式AI也曾經(jīng)是一道窄門，窄到連馬斯克都差點失去了信心。在當(dāng)時的輿論眼中，AGI的道路不夠性感，不夠
3 月 27 日消息，科技媒體 NeoWin 昨日（3 月 26 日）發(fā)布博文，報道稱數(shù)據(jù)智能公司 Databricks 發(fā)布新型大語言模型微調(diào)方法 TAO（Test-time Adaptive Optimization），通過無標(biāo)注數(shù)據(jù)和強化學(xué)習(xí)技術(shù)，在顯著降低企業(yè)成本的同時提升模型性能。
測試顯示，在金融文檔問答和 SQL 生成任務(wù)中，通過 TAO 微調(diào)后的 Llama 3.3 70B 模型，表現(xiàn)甚至超越傳統(tǒng)標(biāo)注微調(diào)方法，逼近 OpenAI 頂級閉源模型。
TAO 方法利用測試時計算（test-time compute）自動探索任務(wù)可能性，結(jié)合強化學(xué)習(xí)優(yōu)化模型，省去人工標(biāo)注成本。在三大企業(yè)基準(zhǔn)測試中，TAO 微調(diào)的 Llama 模型表現(xiàn)亮眼：
FinanceBench（7200 道 SEC 文檔問答）：TAO 模型得分 85.1，優(yōu)于標(biāo)注微調(diào)（81.1）和 OpenAI o3-mini（82.2）。
BIRD-SQL：TAO 模型 56.1 分，接近 GPT-4o（58.1），遠超標(biāo)注微調(diào)（54.9）。
DB Enterprise Arena：TAO 模型 47.2 分，而 GPT-4o 模型得分為 53.8 分。
TAO 技術(shù)為開源模型提供了持續(xù)進化路徑：用戶使用越多，模型通過反饋數(shù)據(jù)自我優(yōu)化的潛力越大，目前該技術(shù)已在 Llama 模型上啟動私測，企業(yè)可通過申請表單參與。
本文鏈接：http://www.tebozhan.com/showinfo-45-11783-0.html開源逆襲：TAO 方法微調(diào) Llama 模型，F(xiàn)inanceBench 跑分超 GPT-4o
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： AI 文生圖新王者：Reve Image 1.0 登頂，低價高質(zhì)挑戰(zhàn) Midjourney 和 Flux
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號