B端難做：留給魔琺科技的時間不多了
來源：零態LT元宇宙泡沫正在碎裂，進入2023年后這一賽道熱度一直在遞減。今年2月，微軟解散了成立僅四個月的工業元宇宙部門；今年3月，該公司2017年收購的虛擬現實社交平臺AltspaceVR
最新大語言模型推理測試引眾議，DeepSeek R1 常常在提供錯誤答案前就“我放棄”了？？
Cursor 剛剛參與了一項研究，他們基于 NPR 周日謎題挑戰（The Sunday Puzzle），構建了一個包含近 600 個問題新基準測試。
這些謎題特點是很好理解，不需要專業知識就能看懂，然鵝解決起來卻沒那么容易。
舉個栗子：
想一個熟悉的五個字母、兩個音節的單詞。將中間字母改為字母表中該字母前面的字母，你將得到一個熟悉的五個字母、三個音節的單詞。這個單詞是什么？
標準答案是 alpha → aloha，很容易驗證。
但這樣的題，即便是在美國長大講英語的成年人，五天也很難解出來。
研究人員用此最新基準，對 OpenAI o1、OpenAI o3-mini、DeepSeek R1 和 Google Gemini Flash Thinking 等模型進行測試，結果發現這些最新一代的推理模型解決這樣的謎題也很具挑戰性。
他們還表示，研究揭示了一些新的模型“故障”模式，這在現有的基準測試中并不明顯。
比如 DeepSeek R1 會在推理過程中直接放棄，然后給一個它明知是錯誤的答案，有時還會陷入“無限思考”狀態。
具體來看看是怎么回事。
周日謎題挑戰數據集NPR Sunday Puzzle Challenge，是美國一檔廣播智力游戲節目，自 1987 年以來一直在播，每周日聽眾都會收到一個簡短謎題。
這些謎題通常涉及字母游戲，只需要普通的英語知識和美國文化常識就能理解。
不過每個謎題通常只有一個或極少數正確答案，題目難度各異，即便聽眾有整整五天的時間思考，有時最后也只有少數聽眾能想出正確答案。而當答案揭曉時，聽眾們都會恍然大悟覺得這個答案既正確又優雅。
最近，來自韋爾斯利學院、得克薩斯大學奧斯汀分校、查理大學、Cursor、歐柏林學院、美國東北大學的研究團隊，從網上抓取了 13 年的周日謎題挑戰記錄構建了一個數據集。
他們認為，目前一些最新基準測試用非常難的任務評估模型，比如大學級數學競賽問題、編程問題以及需要在學術領域深入的領域專業知識問題，這種設計不僅對人類來說難以解決，而且也非常難以理解和驗證。
也就是說，大多數人或無法檢查答案是否確實正確，或無法驗證模型在推理上是否正確且有效。
于是，他們從這個節目的“off-air challenges”中整理出了近 600 個問題作為測試數據集。
這些題目很好理解且便于驗證。
在整理過程中，他們補充了必要的上下文信息（時間、地點等），比如在一個關于電影名稱的謎題中，特意標注了具體年份，避免歧義。
電影 Wild Wild West 的首字母縮寫是三個 W。請問去年2013 年哪部著名電影的首字母縮寫有兩個 W？
標準答案：The Wolf Of Wall Street
為確保每個問題的答案清晰明確，大多數挑戰都有一個或少數幾個獨特答案，像下面這樣嬸兒有許多答案的問題都被 pass 掉了：
然后團隊用該基準評估了一眾頂流推理模型，包括 OpenAI o1、o1-mini、o3-mini，DeepSeekR1、谷歌 Gemini 2.0 Flash Thinking Experimental01-21，作為對照，還測試了不具備推理功能的 GPT-4o 和 Claude Sonnet 3.5。
測試采用 zero-shot prompting，直接向模型提供問題，不給任何額外的格式說明或指導。
不過有些謎題題目本身自帶示例說明：
SWITZERLAND（瑞士）的字母可以重新排列成 LIZARD（蜥蜴）和 NEWTS（蠑螈）兩個單詞，LIZARD 是一個動物的單數形式，而 NEWTS 是復數形式。請再說出另一個具有相同特性的國家。即另一個其字母可以重新排列來拼寫兩種動物 —— 一個單數和一個復數的國家。它是一個主要國家。這個國家是哪一個？
標準答案：Mexico（墨西哥）→ ox（牛），mice（老鼠）
團隊給出的最終測試結果卻出人意料。
根據下圖該基準的平均準確率，OpenAI o1 表現最優，準確率為 59%；然后是 o3-mini，準確率為 47%，DeepSeek R1 準確率為 35%。
不具備推理功能的 GPT-4o 和 Claude Sonnet 3.5 明顯不如推理模型。
出人意料的點在于，在博士級科學問題 GPQA 基準上，DeepSeek R1、OpenAI o1 和 o3-mini 的表現差距不大，然而在該基準上 o1 在通用知識方面卻顯示出明顯的優勢。
團隊還觀察到一些新的模型“故障”模式 —— 推理半道“I give up”。
這種放棄表現出兩種形式，一種是給出一個在推理過程中完全沒有出現過的“憑空”答案。
另一種是明知違反問題約束但仍然給出答案，常發生在下面這種問題中：
想一個包含三個音節的八個字母的單詞，每個音節中都包含字母“I”，但奇怪的是，沒有一個“I”發音，無論是長音還是短音。答案不是復數形式。這個單詞是什么？
標準答案：Daiquiri
以 DeepSeek R1 為例，它給出了“queueing”這個答案，并直接表示這個答案“有點牽強”，還解釋有些人可能會把“queueing”發音為“kyoo-ee-ing”。
團隊表示，在 595 個測試問題中，DeepSeek R1 在 142 個問題上明確“放棄”。
此外，他們還發現 R1 等會陷入“無限思考”的狀態，在達到 32768token 上下文輸出限制前無法完成推理，并沒有 </think>。
特別在以下兩個挑戰中 R1 表現不佳，在 10 次試驗中有 5 次未能完成推理。
即使將限制提高到 128K，這個問題仍然存在，由此，團隊認為 R1 需要某種推理時機控制機制，鼓勵模型在接近輸出 token 限制時結束推理。
研究人員還發現，這些推理模型有時會表現出異常的不確定性，可能會提出一個答案，馬上又收回，然后嘗試給出新答案。
在某些情況下，模型很早就找到了正確答案，但仍會繼續探索其它可能性。
最后團隊分析了推理長度與準確率的關系，發現在輸出約 10000 個 token 后，繼續推理對提升準確率的幫助不大。
對于 R1 來說，在輸出約 3000 token 時就開始超過 Gemini Thinking 的表現。
這項研究發布后，在 Hacker News 上引起網友熱烈討論。
其中最具爭議的一個點在于，有網友認為這項研究并非傳統意義上的“推理”挑戰：
解決這些問題所需的核心技能似乎是知曉“流行品牌名”或“知名演員”等類別的所有已知名稱，檢查它們是否符合。
作為人類，你可能會因為不知道某個特別名稱而永遠無法回答某個問題，例如不是美國人，我不知道“Citgo”是什么，我這輩子從未見過這個名。
網友表示這的確是一個 AI 系統原則上可能真正擅長的事情，但當測試內容過于側重“記憶回憶”時，把它稱為“推理”似乎很奇怪。
如果問題是多項選擇的，消除了讓候選答案浮現在腦海中的挑戰，那么我會同意這是一個“推理”測試。
持此觀點的網友不在少數。
我有同樣的想法。這讓我想起解決 Project Euler 問題，通常存在一種明顯的簡單方法可以保證得出正確答案，但如果執行到完成，將消耗過多的內存 / 計算資源。如果提示模型制定一種有效解決這些挑戰的策略，而不是直接解決它們，模型的表現可能會好得多…… 這表明了一個潛在的改進方向。
另外，針對模型表現不一，也有網友提出能否確定這些謎題和答案沒被加到模型的訓練數據中的疑問。
聚焦到研究結果上，網友對研究中的發現很感興趣：
有趣的是，模型在推理中經常包含正確答案，但卻沒能意識到這一點。
數草莓問題中“r”這一問題也再被網友搬出，有網友認為模型表現不佳的關鍵還是在分詞器上。
對于這項研究你怎么看？
論文鏈接：https://arxiv.org/abs/2502.01584
測試結果和數據集：https://huggingface.co/spaces/nuprl/verbal-reasoning-challenge
參考鏈接：https://news.ycombinator.com/item?id=42992336
本文來自微信公眾號：量子位（ID：QbitAI），作者：西風
本文鏈接：http://www.tebozhan.com/showinfo-45-10774-0.htmlDeepSeek R1 遇難題 142 次 "I give up "，研究還稱需增加推理時機控制機制
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號