元宇宙風口下，視覺中國如何重估？
要說橫跨2021年和2022年，到目前仍然很火的概念，元宇宙肯定要算一個。不僅互聯網巨頭們紛紛布局，上市公司們趨之若鶩，還被不少地方政府寫入了產業規劃，大有在2022年
【ITBEAR】9月25日消息，近日，亞利桑那州立大學的科研團隊利用PlanBench基準對OpenAI的o1模型進行了規劃能力的測試。測試結果顯示，盡管o1模型在某些方面取得了顯著的進步，但其仍然存在較大的局限性。
PlanBench基準于2022年開發，主要用于評估人工智能系統在規劃方面的能力。該基準包含了600個來自Blocksworld領域的任務，要求積木必須按照特定的順序進行堆疊。
據ITBEAR了解，在Blocksworld任務中，OpenAI的o1模型展現出了驚人的表現，其準確率高達97.8%，遠遠超過了之前的最佳語言模型LLaMA 3.1 405B的62.6%。在更具挑戰性的“Mystery Blocksworld”加密版本中，傳統模型幾乎全部失敗，而o1模型的準確率仍能達到52.8%。
為了驗證o1模型的性能是否源于其訓練集中的基準數據，研究人員還測試了一種新的隨機變體。在這次測試中，o1模型的準確率降至37.3%，但仍遠超其他得分接近零的模型。
然而，隨著任務的復雜性增加，o1模型的表現也急劇下降。在需要20到40個規劃步驟的問題上，o1模型在較簡單測試中的準確率從97.8%驟降至23.63%。此外，該模型在識別無法解決的任務方面也顯得力不從心，只有27%的時間能夠正確識別，而在54%的情況下，它錯誤地生成了完整但不可能完成的計劃。
盡管o1模型在基準性能上實現了顯著的改進，但它并不能保證解決方案的正確性。與經典的規劃算法相比，如快速向下算法，這些算法可以在更短的計算時間內實現完美的準確性。
研究還指出，o1模型的高資源消耗是一個不容忽視的問題。運行這些測試需要花費近1900美元，而經典算法在標準計算機上運行則幾乎不需要任何成本。
研究人員強調，對人工智能系統進行公平比較時，必須綜合考慮準確性、效率、成本和可靠性。他們的研究結果表明，盡管像o1這樣的人工智能模型在復雜推理任務方面取得了進步，但這些能力仍然有待提升。
關鍵詞：#OpenAI o1模型# #規劃能力測試# #PlanBench基準# #局限性# #資源消耗#
本文鏈接：http://www.tebozhan.com/showinfo-45-7677-0.htmlOpenAI o1模型實測：PlanBench規劃能力，準確率高達97.8%！
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號