10月06日消息，麻省理工學院與metaAI的研究人員最近宣布他們成功開發了一項名為StreamingLLM的創新框架，該框架被認為能夠解決大型語言模型面臨的內存和泛化問題，使其能夠輕松處理無限長度的文本內容。fSP28資訊網——每日最新資訊28at.com

fSP28資訊網——每日最新資訊28at.com

這一研究的關鍵焦點在于克服實現高效流式語言模型(Efficient Streaming LanguageModels，ESLM)時所面臨的障礙，尤其是在長時間多輪對話等場景下可能出現的問題。fSP28資訊網——每日最新資訊28at.com

據ITBEAR科技資訊了解，研究人員指出，構建流式語言模型主要面臨兩大挑戰。解碼階段獲取標記(token)的鍵(Key)和值(Value)狀態會耗費大量內存。其次，現有的大型語言模型很難泛化到處理超出其訓練序列長度的長文本。fSP28資訊網——每日最新資訊28at.com

過去的研究嘗試解決這些挑戰，例如擴展注意力窗口以處理長文本或建立一個固定大小的活動窗口，只關注最近的標記狀態以維護內存使用和解碼速度。然而，這些策略在處理超出緩存大小的序列時表現不佳。fSP28資訊網——每日最新資訊28at.com

fSP28資訊網——每日最新資訊28at.com

StreamingLLM采用了一種名為"注意力下沉"的策略，通過觀察到自回歸語言模型中，某些標記會獲得大量的注意力，即使它們在語義上并不重要，這些標記也會吸引模型的關注。這種策略確保了無論輸入序列的長度如何，模型的注意力計算都能保持穩定。fSP28資訊網——每日最新資訊28at.com

StreamingLLM的重要貢獻在于提供了一種簡單而高效的解決方案，使語言模型能夠處理無限長度的文本，而無需進行微調。這將有助于解決當前流式應用中語言模型面臨的問題。雖然流式語言模型在未來將變得更加重要，但由于內存效率和長序列處理性能等方面的限制，相關模型的發展仍面臨挑戰。fSP28資訊網——每日最新資訊28at.com

據研究團隊驗證，StreamingLLM能夠使Llama2、MPT、Falcon和Pythia等模型可靠地處理長達400萬個標記的文本，從而為流式語言模型的部署提供了更多可能性。這一創新有望推動自然語言處理領域的發展，并為各種應用場景帶來更強大的語言模型支持。fSP28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-2093-0.htmlStreamingLLM框架亮相：突破文本長度限制

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 華為鴻蒙原生應用全面啟動，全面布局移動生態鏈

下一篇： OpenAI或將收購目標公司，推進AI芯片自主研發計劃