AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當(dāng)前位置：首頁 > 元宇宙 > AI

騰訊攜手創(chuàng)新“無監(jiān)督前綴微調(diào)”技術(shù)：訓(xùn)練 tokens 最多減少 95%，提升 AI 推理效率

來源： 責(zé)編： 時(shí)間：2025-03-04 15:06:33 44觀看
導(dǎo)讀 3 月 2 日消息，科技媒體 marktechpost 昨日（3 月 1 日）發(fā)布博文，報(bào)道稱騰訊 AI Lab 攜手香港中文大學(xué)，提出名為“無監(jiān)督前綴微調(diào)”（UPFT）的創(chuàng)新方法，顯著提升了大型語言模型的推理效率。該方法無需處理完整的推理過程

3 月 2 日消息，科技媒體 marktechpost 昨日（3 月 1 日）發(fā)布博文，報(bào)道稱騰訊 AI Lab 攜手香港中文大學(xué)，提出名為“無監(jiān)督前綴微調(diào)”（UPFT）的創(chuàng)新方法，顯著提升了大型語言模型的推理效率。lpE28資訊網(wǎng)——每日最新資訊28at.com

該方法無需處理完整的推理過程，只需關(guān)注模型輸出的前 8 至 32 個詞元（token），即可有效改進(jìn)模型的推理能力。UPFT 抓住了不同推理路徑中共同的關(guān)鍵早期步驟，在降低計(jì)算開銷的同時(shí)，實(shí)現(xiàn)了推理性能的提升。lpE28資訊網(wǎng)——每日最新資訊28at.com

大型語言模型在語言理解和生成方面表現(xiàn)出色，但提升其推理能力仍然是一項(xiàng)挑戰(zhàn)。傳統(tǒng)微調(diào)方法依賴大量標(biāo)注數(shù)據(jù)或復(fù)雜的拒絕采樣，資源消耗巨大。UPFT 則另辟蹊徑，通過聚焦模型輸出的初始 tokens，解決了效率和對昂貴監(jiān)督的依賴問題。lpE28資訊網(wǎng)——每日最新資訊28at.com

研究發(fā)現(xiàn)，針對同一問題，模型生成的各種推理路徑的初始步驟往往高度相似，UPFT 正是基于這種“前綴自洽性”，無需完整推理軌跡或大量標(biāo)注數(shù)據(jù)，僅使用這些初始標(biāo)記進(jìn)行訓(xùn)練。lpE28資訊網(wǎng)——每日最新資訊28at.com

lpE28資訊網(wǎng)——每日最新資訊28at.com

UPFT 采用貝葉斯推理原理，將正確推理的概率分解為“覆蓋率”和“準(zhǔn)確性”兩部分。通過訓(xùn)練早期 tokens，UPFT 在探索多樣化推理路徑的同時(shí)，確保了結(jié)果的可靠性。實(shí)驗(yàn)表明，UPFT 可將訓(xùn)練中處理的 tokens 數(shù)量減少高達(dá) 95%，并顯著降低時(shí)間和內(nèi)存需求。lpE28資訊網(wǎng)——每日最新資訊28at.com

UPFT 在 GSM8K、MATH500、AIME2024 和 GPQA 等推理基準(zhǔn)測試中表現(xiàn)優(yōu)異。例如，在 Qwen2.5-Math-7B-Instruct 模型上，UPFT 在減少訓(xùn)練和推理 tokens 的同時(shí)，提升了平均準(zhǔn)確率。在復(fù)雜推理任務(wù)中，UPFT 的性能提升尤為顯著，表明早期推理步驟包含解決問題的關(guān)鍵信息。lpE28資訊網(wǎng)——每日最新資訊28at.com

lpE28資訊網(wǎng)——每日最新資訊28at.com

附上參考地址lpE28資訊網(wǎng)——每日最新資訊28at.com

The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning ModelslpE28資訊網(wǎng)——每日最新資訊28at.com

Tencent AI Lab Introduces Unsupervised Prefix Fine-Tuning (UPFT): An Efficient Method that Trains Models on only the First 8-32 Tokens of Single Self-Generated SolutionslpE28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-11338-0.html騰訊攜手創(chuàng)新“無監(jiān)督前綴微調(diào)”技術(shù)：訓(xùn)練 tokens 最多減少 95%，提升 AI 推理效率

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 清華大學(xué) 2025 年將適度擴(kuò)招本科生，重點(diǎn)培養(yǎng)“AI+”拔尖創(chuàng)新人才

下一篇： GPT-4.5 性能提升有限、成本卻激增 30 倍，OpenAI 面臨性價(jià)比質(zhì)疑

標(biāo)簽：
  • 熱門焦點(diǎn)

  • AI網(wǎng)紅能年賺百萬，普通人的新機(jī)會來了？

    來源｜運(yùn)營研究社作者 | 張知白編輯 | 楊佩汶設(shè)計(jì) | 晏談夢潔2023 年 ，數(shù)字人成為了當(dāng)紅的“流量話題”和“商業(yè)機(jī)會"。不管是 AI 孫燕姿走紅網(wǎng)絡(luò)，還是 AI 數(shù)字

  • ChatGPT訪問量增速下滑，AI真的是一場泡沫嗎？

    來源：首席商業(yè)評論2023年，最火的莫過于ChatGPT，席卷全球的同時(shí)也引發(fā)了生成式AI（人工智能）的投資熱潮。在美股，ChatGPT相關(guān)概念股飆漲，以AI算力龍頭英偉達(dá)為例，其股價(jià)年內(nèi)一度累計(jì)上

  • 《從營銷AIGC化到AIGC營銷化》報(bào)告發(fā)布

    來源：清元宇宙7月2日上午，清華大學(xué)元宇宙文化實(shí)驗(yàn)室舉辦元宇宙在線沙龍“AIGC熱潮與應(yīng)用”。會議中，清華大學(xué)新聞與傳播學(xué)院教授、元宇宙文化實(shí)驗(yàn)室主任、新媒體研究

  • 2022 區(qū)塊鏈 50 強(qiáng)榜單；垃圾NFT項(xiàng)目的十三個特性

    本期關(guān)鍵字TerraZero在Decentraland完成元宇宙住房抵押貸款；騰訊發(fā)行齊白石畫作數(shù)字藏品；Ripple成為數(shù)字歐元協(xié)會成員；Gem上線稀有度排名功能；2022 區(qū)塊鏈 50 強(qiáng)榜

  • 元宇宙社交時(shí)代，華麗歸來的超級QQ秀重構(gòu)虛擬社交場景

    作者:狂人 不知不覺間，QQ已經(jīng)迎來了第23個生日。作為國內(nèi)社交平臺的起點(diǎn)，QQ可謂是睥睨全網(wǎng)，不僅有龐大的用戶群體，還將虛擬形象及QQ整合成在線虛擬社區(qū)，開啟了時(shí)髦

  • NFT：新騙局的狩獵場

    騙局的自動化需要更好的防御，從數(shù)字身份開始。前幾天我在OpenSea上購買了一個NFT，是才華橫溢的藝術(shù)家海倫·福爾摩斯 (Helen Holmes) 的漫畫，來自她的 "原作 "收

  • 就業(yè)年齡歧視如何解決？來Web3看看

    上周，我突然想到我的第一份工作實(shí)際上是在為一家失敗的航空公司制定破產(chǎn)退出計(jì)劃，那年我們的協(xié)議實(shí)習(xí)生剛出生。在一陣恐慌后，我又花了一點(diǎn)時(shí)間反思我這個擁有近1

  • NFT領(lǐng)域，我們是否應(yīng)該遵守版權(quán)法

    NFTs中最有爭議的因素之一是你是否真的 "擁有 "你所購買的藝術(shù)品。除此之外，圍繞著NFT行業(yè)內(nèi)的版權(quán)和知識產(chǎn)權(quán)盜竊的問題也同樣重要，因?yàn)槿藗兒苋菀渍`解這些事情

  • 盤點(diǎn)9個主流元宇宙平臺，你都知道哪些？

    隨著NFT的持續(xù)升溫，它也加入了現(xiàn)在的元宇宙浪潮。本文介紹元宇宙的基本概念以及 九個最流行的元宇宙NFT平臺，如Decentraland、sandbox等。用熟悉的語言學(xué)習(xí) 以太
Top