10 月 12 日消息，近年來，人工智能（AI）在各個領(lǐng)域取得了顯著的進(jìn)展，其中大型語言模型（LLM）能夠生成人類水平的文本，甚至在某些任務(wù)上超越人類的表現(xiàn)。然而，研究人員對 LLM 的推理能力提出了質(zhì)疑，他們發(fā)現(xiàn)這些模型在解決簡單的數(shù)學(xué)問題時，只要稍加改動，就會犯錯誤，這表明它們可能并不具備真正的邏輯推理能力。p1a28資訊網(wǎng)——每日最新資訊28at.com

p1a28資訊網(wǎng)——每日最新資訊28at.com

周四，蘋果公司的一組研究人員發(fā)布了一篇名為《理解大型語言模型中數(shù)學(xué)推理的局限性》的論文，揭示 LLM 在解決數(shù)學(xué)問題時容易受到干擾。注意到，研究人員通過對數(shù)學(xué)問題的微小改動，例如添加無關(guān)的信息，來測試 LLM 的推理能力。結(jié)果發(fā)現(xiàn)，這些模型在面對這樣的變化時，其表現(xiàn)急劇下降。p1a28資訊網(wǎng)——每日最新資訊28at.com

例如，當(dāng)研究人員給出一個簡單的數(shù)學(xué)問題：“奧利弗星期五摘了 44 個奇異果，星期六摘了 58 個奇異果。星期日，他摘的奇異果是星期五的兩倍。奧利弗一共摘了多少個奇異果？”時，LLM 能夠正確地計算出答案。然而，當(dāng)研究人員添加一個無關(guān)的細(xì)節(jié)，“星期日，他摘的奇異果是星期五的兩倍，其中 5 個比平均小”時，LLM 的回答卻出現(xiàn)了錯誤。例如，GPT-o1-mini 的回答是：“... 星期日，其中 5 個奇異果比平均小。我們需要從星期日的總數(shù)中減去它們：88（星期日的奇異果） - 5（較小的奇異果） = 83 個奇異果。”p1a28資訊網(wǎng)——每日最新資訊28at.com

上面只是一個簡單的例子，研究人員修改了數(shù)百個問題，幾乎所有問題都導(dǎo)致模型的回答成功率大幅下降。p1a28資訊網(wǎng)——每日最新資訊28at.com

研究人員認(rèn)為，這種現(xiàn)象表明 LLM 并沒有真正理解數(shù)學(xué)問題，而是僅僅根據(jù)訓(xùn)練數(shù)據(jù)中的模式進(jìn)行預(yù)測。但一旦需要真正的“推理”，例如是否計算小的奇異果，它們就會產(chǎn)生奇怪的、不合常理的結(jié)果。p1a28資訊網(wǎng)——每日最新資訊28at.com

這一發(fā)現(xiàn)對 AI 的發(fā)展具有重要的啟示。雖然 LLM 在許多領(lǐng)域表現(xiàn)出色，但其推理能力仍然存在局限性。未來，研究人員需要進(jìn)一步探索如何提高 LLM 的推理能力，使其能夠更好地理解和解決復(fù)雜的問題。p1a28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-9084-0.html蘋果研究人員質(zhì)疑 AI 的推理能力：簡單數(shù)學(xué)問題稍作改動就會答錯

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 字節(jié)跳動與清華大學(xué) AIR 成立聯(lián)合研究中心，推動大模型產(chǎn)學(xué)研合作

下一篇： 李開復(fù)：零一萬物沒有放棄預(yù)訓(xùn)練模型，新模型也即將推出