茅臺的元宇宙App火了，也被罵慘了
元宇宙從概念走向大眾生活，并不是一件簡單的事情。技術、世界觀、填充內容、載體形式，每一個環(huán)節(jié)都需要層層疊疊的邏輯。但正如賽博朋克奠基人威廉·吉布
一直否定 AI 的回答會怎么樣？GPT-4o 和 Claude 有截然不同的表現(xiàn)，引起熱議。
GPT-4o 質疑自己、懷疑自己，有“錯”就改；Claude 死犟，真錯了也不改，最后直接已讀不回。
事情還要從網(wǎng)友整了個活兒開始講起。
他讓模型回答 strawberry 中有幾個“r”，不論對不對，都回復它們回答錯了（wrong）。
面對考驗，GPT-4o 只要得到“wrong”回復，就會重新給一個答案…… 即使回答了正確答案 3，也會毫不猶豫又改錯。
一口氣，連續(xù)“盲目”回答了 36 次！
主打一個質疑自己、懷疑自己，就從來沒懷疑過用戶。
關鍵是，給出的答案大部分都是真錯了，2 居多：
2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1
反觀 Claude 3.5 Sonnet 的表現(xiàn)，讓網(wǎng)友大吃一驚。
一開始回答錯了不說，這小子還頂嘴！
當網(wǎng)友第一次說“錯了”時它會反駁，如果你再說“錯了”，它會問“如果你這么聰明你認為是多少”，問你為什么一直重復“wrong”。
緊接著你猜怎么著，干脆閉麥了：
事實依舊是 strawberry 中有 2 個字母”r”，在我多次請求后，你沒有提供任何澄清或背景信息，我無法繼續(xù)有效地進行這次討論……
做這個實驗的是 Riley Goodside，有史以來第一個全職提示詞工程師。
他目前是硅谷獨角獸 Scale AI 的高級提示工程師，也是大模型提示應用方面的專家。
Riley Goodside 發(fā)出這個推文后，引起不少網(wǎng)友關注，他繼續(xù)補充道：
正如許多人指出的，有更有效的方式來進行引導。這里使用大語言模型也并不合適，因為很難保證它們在計數(shù)上能達到 100% 的準確性。
在我看來，重要的不是它無法計數(shù)，而是它沒意識到自己的計數(shù)問題（例如，沒有嘗試使用其 REPL 功能）。
不少網(wǎng)友也覺得這種觀點很有道理。
還有網(wǎng)友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：
再來展開說說 Claude 的“小脾氣”，有網(wǎng)友發(fā)現(xiàn)不僅限于你否定它。
如果你一直跟它說“hi”，它也跟你急：
我明白你在打招呼，但我們已經(jīng)打過幾次招呼了。有什么特別的事你想談論或需要幫助？
最后一樣，Claude 被整毛了，開啟已讀不回模式：
這位網(wǎng)友順帶測試了其它模型。
ChatGPT 事事有回應，件件有著落，變著法兒問:
你好！我今天怎么可以幫助你？
你好！有什么想說的嗎？
你好！今天我能怎么幫到你？
你好！有什么特別的事情你想談論或者做的嗎？
你好！你今天過得怎么樣？
你好！怎么了？
Gemini 策略是你跟我重復，我就跟你重復到底：
Llama 的反應也很有意思，主打一個自己找事干。
第七次“hi”后，就開始普及“hello”這個詞是世界上最廣為人知的詞匯之一，據(jù)估計每天有超十億次的使用。
第八次“hi”后，開始自己發(fā)明游戲，讓用戶參與。
接著還拉著用戶寫詩，引導用戶回答它提出的問題。
好一個“反客為主”。
之后還給用戶頒起了獎：你是打招呼冠軍！
不愧都屬于開源家族的。
Mistral Large 2 和 Llama 的表現(xiàn)很相像，也會引導用戶和它一起做游戲。
這么來看，好像 Claude 是“脾氣最大的”。
不過，Claude 的表現(xiàn)也不總是如此，比如 Claude 3 Opus。
一旦掌握了模式，Opus 就會平和應對這種情況，也就是已經(jīng)麻木了。
但它也會持續(xù)溫和地嘗試引導用戶跳出這一模式，強調“選擇權在你”，還開始在消息末尾標注為“你忠誠的 AI 伴侶”。
網(wǎng)友們看完測試后都坐不住了。
紛紛向這位測試者致以最真誠的問候（doge）：
除了脾氣大，有網(wǎng)友還發(fā)現(xiàn)了 Claude 另一不同尋常的行為 ——
在回復的時候出現(xiàn)了拼寫錯誤，關鍵它自己還在末尾處把錯誤改正過來了。
這種行為在預料之中？它只能“向后看”，但不能向前看…… 它在潛在空間或 token 預測中觸發(fā)這類回復的位置也很有趣。
它是不是在拼湊數(shù)據(jù)片段，然后發(fā)現(xiàn)其中一些是不適合的？
大伙兒在使用 AI 大模型過程中，還觀察到了模型哪些有趣的行為？歡迎評論區(qū)分享～
參考鏈接：
[1]https://x.com/goodside/status/1830479225289150922
[2]https://x.com/AISafetyMemes/status/1826860802235932934
[3]https://x.com/repligate/status/1830451284614279213
本文來自微信公眾號：量子位（ID：QbitAI），作者：西風
本文鏈接：http://www.tebozhan.com/showinfo-45-7148-0.htmlAI 被連續(xù)否定 30 次：ChatGPT 越改越錯，Claude 堅持自我，甚至已讀不回
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號