K6：面向開發人員的現代負載測試工具
K6 是一個開源負載測試工具，可以輕松編寫、運行和分析性能測試。它建立在 Go 和 JavaScript 之上，它被設計為功能強大、可擴展且易于使用。k6 可用于測試各種應用程序，包括 Web
有網友找到了GPT-4變“笨”的又一證據。
他質疑：
OpenAI會緩存歷史回復，讓GPT-4直接復述以前生成過的答案。
明顯的例子就是講笑話。
證據顯示，即使他將模型的temperature值調高，GPT-4仍重復同一個“科學家與原子”的回答。
就是那個“為什么科學家不信任原子？因為萬物都是由它們編造/構造（make up）出來的”的冷笑話。
在此，按理說temperature值越大，模型越容易生成一些意想不到的詞，不該重復同一個笑話了。
不止如此，即使咱們不動參數，換一個措辭，強調讓它講一個新的、不同的笑話，也無濟于事。
發現者表示：
這說明GPT-4不僅使用緩存，還是聚類查詢而非精準匹配某個提問。
這樣的好處不言而喻，回復速度可以更快。
不過既然高價買了會員，享受的只是這樣的緩存檢索服務，誰心里也不爽。
還有人看完后的心情是：
如果真這樣的話，我們一直用GPT-4來評價其他大模型的回答是不是不太公平？
當然，也有人不認為這是外部緩存的結果，可能模型本身答案的重復性就有這么高：
此前已有研究表明ChatGPT在講笑話時，90%的情況下都會重復同樣的25個。
具體怎么說？
證據實錘GPT-4用緩存回復
不僅是忽略temperature值，這位網友還發現：
更改模型的top_p值也沒用，GPT-4就跟那一個笑話干上了。
（top_p：用來控制模型返回結果的真實性，想要更準確和基于事實的答案就把值調低，想要多樣化的答案就調高）
唯一的破解辦法是把隨機性參數n拉高，這樣我們就可以獲得“非緩存”的答案，得到一個新笑話。
不過，它的“代價”是回復速度變慢，畢竟生成新內容會帶來一定延遲。
值得一提的是，還有人似乎在本地模型上也發現了類似現象。
有人表示：截圖中的“prefix-match hit” （前綴匹配命中）似乎可以證明確實是用的緩存。
那么問題就來了，大模型到底是如何緩存我們的聊天信息的呢？
好問題，從開頭展現的第二個例子來看，顯然是進行了某種“聚類”操作，但具體如何應用于深度多輪對話咱不知道。
姑且不論這個問題，倒是有人看到這里，想起來ChatGPT那句“您的數據存在我們這兒，但一旦聊天結束對話內容就會被刪除”的聲明，恍然大悟。
這不禁讓一些人開始擔憂數據安全問題：
這是否意味著我們發起的聊天內容仍然保存在他們的數據庫中？
當然，有人分析這個擔憂可能過慮了：
也許只是我們的查詢embedding和回答緩存被存下來了。
因此，就像發現者本人說的：
緩存這個操作本身我不太擔心。
我擔心的是OpenAI這樣簡單粗暴地匯總我們的問題進行回答，毫不關心temperature等設置，直接聚合明顯有不同含義的提示，這樣影響很不好，可能“廢掉”許多（基于GPT-4的）應用。
當然，并不是所有人都同意以上發現能夠證明OpenAI真的就是在用緩存回復。
他們的理由是作者采用的案例恰好是講笑話。
畢竟就在今年6月，兩個德國學者測試發現，讓ChatGPT隨便講個笑話，1008次結果中有90%的情況下都是同樣25個笑話的變體。
像“科學家和原子”這個更是尤其出現頻率高，它講了119次。
因此也就能理解為什么看起來好像是緩存了之前的回答一樣。
因此，有網友也提議用其他類型的問題測一測再看。
不過作者堅持認為，不一定非得換問題，光通過測量延遲時間就能很容易地分辨出是不是緩存了。
后，我們不妨再從“另一個角度”看這個問題：
GPT-4一直講一個笑話怎么了？
一直以來，咱們不都是強調要讓大模型輸出一致、可靠的回答嗎？這不，它多聽話啊（手動狗頭）。
所以，GPT-4究竟有沒有緩存，你有觀察到類似現象嗎？
參考鏈接： https://twitter.com/hammer_mt/status/1719150885559812379
本文鏈接：http://www.tebozhan.com/showinfo-17-16587-0.htmlGPT-4更笨了！一個笑話講八百遍：讓換新的也不聽
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號