虛擬人再升級(jí)，企業(yè)可以解放雙手了？
來源：伯虎財(cái)經(jīng)今天想跟大家來嘮嘮AI，其實(shí)聊到這個(gè)話題很多人都不陌生了。在ChatGPT和AIGC大熱背后，還有一位低調(diào)的“大佬”——虛擬人。比如咱們熟知的虛
32B 推理模型，僅用 1/8 數(shù)據(jù)，與同尺寸 DeepSeek-R1 打成平手。
就在剛剛，來自斯坦福、UC 伯克利、華盛頓大學(xué)等機(jī)構(gòu)聯(lián)手發(fā)布了一款 SOTA 級(jí)推理模型 ——OpenThinker-32B，并同時(shí)開源了高達(dá) 114k 的訓(xùn)練數(shù)據(jù)。
項(xiàng)目主頁：https://www.open-thoughts.ai/blog/scale
Hugging Face：https://huggingface.co/open-thoughts/OpenThinker-32B
數(shù)據(jù)集：https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k
團(tuán)隊(duì)發(fā)現(xiàn)：采用經(jīng) DeepSeek-R1 驗(yàn)證標(biāo)注（基于 R1 蒸餾）的大規(guī)模優(yōu)質(zhì)數(shù)據(jù)集，便可訓(xùn)練出 SOTA 的推理模型。
具體方法，就是通過數(shù)據(jù)規(guī)模化、推理過程驗(yàn)證以及模型規(guī)模擴(kuò)展。
由此得到的 OpenThinker-32B，在數(shù)學(xué)、代碼和科學(xué)等多個(gè)基準(zhǔn)測(cè)試中，OpenThinker-32B 性能直接碾壓了李飛飛團(tuán)隊(duì) s1 和 s1.1 模型，直逼 R1-Distill-32B。
值得一提的是，相比于使用了 800k 數(shù)據(jù)（包含 600k 個(gè)推理樣本）的 R1-Distill，OpenThinker-32B 僅用了 114k 數(shù)據(jù)，就能拿下幾乎同等的優(yōu)異成績(jī)。
除此之外，OpenThinker-32 還把模型權(quán)重、數(shù)據(jù)集、數(shù)據(jù)生成代碼、訓(xùn)練代碼上，全部都給公開了！
研究人員使用了與之前訓(xùn)練 OpenThinker-7B 模型相同的 OpenThoughts-114k 數(shù)據(jù)集來訓(xùn)練 OpenThinker-32B。
他們利用 DeepSeek-R1 模型，收集了精心挑選的 17.3 萬個(gè)問題的推理過程和解答嘗試。然后將這些原始數(shù)據(jù)作為 OpenThoughts-Unverfied-173k 數(shù)據(jù)集公開發(fā)布。
整個(gè)流程的最后一步是，如果推理過程未能通過驗(yàn)證，就過濾掉相應(yīng)的數(shù)據(jù)樣本。
下圖可視化地展示了整個(gè)過程。
研究團(tuán)隊(duì)首先輸入源數(shù)據(jù)或問題提示，這些內(nèi)容可以來自不同的領(lǐng)域和平臺(tái)，如 BAAI / TACO、DeepMind、Python 提交等，涉及代碼、謎題、科學(xué)和數(shù)學(xué)等多個(gè)方面。
接著這些多元的輸入會(huì)進(jìn)入核心的處理模塊 ——DeepSeek-R1，在這里對(duì)數(shù)據(jù)進(jìn)行分析與處理。這些問題會(huì)被分成三個(gè)方面，分別是：科學(xué)類問題、數(shù)學(xué)與謎題和代碼。
有些結(jié)果不需要驗(yàn)證，可能是簡(jiǎn)單的分析或直接輸出。對(duì)于一些需要深入驗(yàn)證的內(nèi)容，利用大語言模型（LLM）采用與 GT（Ground Truth）對(duì)比的方式進(jìn)行評(píng)判。如果是代碼，執(zhí)行代碼并進(jìn)行單元測(cè)試，確保代碼的正確性和有效性。
最后能將不同方向的結(jié)果結(jié)合起來，生成開放的思考和更為綜合的解決方案。
研究團(tuán)隊(duì)更新了最終的 OpenThoughts-114k 數(shù)據(jù)集，加入了一個(gè)名為「metadata」的配置，其中包含了一些用于數(shù)據(jù)集構(gòu)建的額外列：
problem
ground_truth_solution
test_cases (code only)
starter_code (code only)
DeepSeek_reasoning
DeepSeek_solution
domain
source
這些額外的元數(shù)據(jù)將使得這個(gè)數(shù)據(jù)集更容易用于新的場(chǎng)景，例如數(shù)據(jù)過濾、領(lǐng)域切換、驗(yàn)證檢查以及更改推理過程的模板。
這些額外的元數(shù)據(jù)將得使該數(shù)據(jù)集使用起來更加容易，僅需一行代碼就能完成例如過濾、更換領(lǐng)域、檢查驗(yàn)證和更改推理跟蹤模板等。
load_dataset("open-thoughts/OpenThoughts-114k","metadata",split="train")研究團(tuán)隊(duì)表示，他們期待看到社區(qū)利用這些問題和標(biāo)準(zhǔn)答案，在 OpenThinker 模型上進(jìn)行強(qiáng)化學(xué)習(xí)（RL）的研究。DeepScaleR 已經(jīng)證明，規(guī)模較小時(shí)，這種方法效果特別好。
驗(yàn)證為了得到最終的 OpenThoughts-114k 數(shù)據(jù)集，研究團(tuán)隊(duì)對(duì)答案進(jìn)行了驗(yàn)證，并剔除了不正確的回答。
如下表所示，保留那些未通過驗(yàn)證的推理過程可能會(huì)損害性能，盡管未經(jīng)驗(yàn)證的模型與其他 32B 推理模型相比仍然表現(xiàn)良好。
驗(yàn)證的作用在于，在擴(kuò)大訓(xùn)練提示集的多樣性和規(guī)模的同時(shí)，保持 R1 注釋的質(zhì)量。另一方面，未經(jīng)驗(yàn)證的數(shù)據(jù)可以更容易地?cái)U(kuò)展，因此也值得進(jìn)一步探索。
對(duì)于代碼問題，他們通過對(duì)照已有的測(cè)試用例來驗(yàn)證解答嘗試，從而完成推理過程的驗(yàn)證。
受到代碼執(zhí)行過程中所面臨挑戰(zhàn)的啟發(fā)，他們?cè)?Curator 中實(shí)現(xiàn)了一個(gè)代碼執(zhí)行框架，使用戶能夠大規(guī)模、安全地執(zhí)行代碼，并對(duì)照預(yù)期輸出進(jìn)行驗(yàn)證。
對(duì)于數(shù)學(xué)問題，研究團(tuán)隊(duì)使用一個(gè) LLM（大語言模型）評(píng)判器來進(jìn)行驗(yàn)證，它會(huì)同時(shí)接收標(biāo)準(zhǔn)答案和 DeepSeek-R1 的解答嘗試。
結(jié)果發(fā)現(xiàn)，在數(shù)據(jù)生成過程中，使用 LLM 評(píng)判器而不是更嚴(yán)格的解析引擎（Math-Verify）進(jìn)行驗(yàn)證，可以獲得更高的有效數(shù)據(jù)率，并能訓(xùn)練出性能更好的下游模型。
研究團(tuán)隊(duì)使用 LLaMa-Factory 對(duì) Qwen2.5-32B-Instruct 在 OpenThoughts-114k 數(shù)據(jù)集上進(jìn)行了三輪微調(diào)，上下文長(zhǎng)度為 16k。完整訓(xùn)練配置可在 GitHub 中找到。
OpenThinker-32B 在 AWS SageMaker 集群上使用四個(gè) 8xH100 P5 節(jié)點(diǎn)訓(xùn)練了 90 小時(shí)，累計(jì)使用了 2,880 個(gè) H100 小時(shí)。
同時(shí)，OpenThinker-32B-Unverified 在 Leonardo 超級(jí)計(jì)算機(jī)上使用 96 個(gè) 4xA100 節(jié)點(diǎn)（每個(gè) GPU64GB）訓(xùn)練了 30 小時(shí)，累計(jì)使用了 11,520 個(gè) A100 小時(shí)。
評(píng)估研究團(tuán)隊(duì)使用開源評(píng)估庫 Evalchemy（煉金術(shù)）對(duì)所有模型進(jìn)行評(píng)估。
對(duì)于 AIME24 和 AIME25，他們通過平均五次運(yùn)行的結(jié)果來計(jì)算準(zhǔn)確率。評(píng)估配置使用 0.7 的溫度參數(shù)，將模型響應(yīng)限制在 32,768 個(gè) token 以內(nèi)，不添加任何額外的系統(tǒng)或用戶提示詞，也不使用任何特殊的解碼策略（如預(yù)算強(qiáng)制）。
當(dāng)啟動(dòng) OpenThoughts 項(xiàng)目時(shí)，他們?cè)O(shè)定了一個(gè)目標(biāo)，即創(chuàng)建一個(gè)性能可以達(dá)到 DeepSeek-R1-Distill-Qwen-32B 的開放數(shù)據(jù)模型。
現(xiàn)在這個(gè)差距已經(jīng)幾乎消除。
最后，研究團(tuán)隊(duì)為社區(qū)在過去幾周在構(gòu)建開放數(shù)據(jù)推理模型方面取得的快速進(jìn)展感到振奮，并期待基于彼此的洞見繼續(xù)向前發(fā)展。
OpenThinker-32B 的開源，證明了數(shù)據(jù)、驗(yàn)證和模型規(guī)模的協(xié)同作用是提升推理能力的關(guān)鍵。
這一成果不僅推動(dòng)了開源推理模型的發(fā)展，也為整個(gè) AI 社區(qū)提供了寶貴的資源和啟示。
本文來自微信公眾號(hào)：新智元（ID：AI_era），原標(biāo)題《直逼 DeepSeek-R1-32B，碾壓李飛飛 s1！UC 伯克利等開源全新 SOTA 推理模型》
本文鏈接：http://www.tebozhan.com/showinfo-45-10780-0.html直逼 DeepSeek-R1-32B，UC 伯克利等開源全新 SOTA 推理模型 OpenThinker-32B
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 阿里巴巴蔡崇信：AI 競(jìng)爭(zhēng)很激烈，DeepSeek 轉(zhuǎn)變行業(yè)思路
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)