10月06日消息，麻省理工學(xué)院與metaAI的研究人員最近宣布他們成功開發(fā)了一項(xiàng)名為StreamingLLM的創(chuàng)新框架，該框架被認(rèn)為能夠解決大型語(yǔ)言模型面臨的內(nèi)存和泛化問題，使其能夠輕松處理無(wú)限長(zhǎng)度的文本內(nèi)容。Mz228資訊網(wǎng)——每日最新資訊28at.com

Mz228資訊網(wǎng)——每日最新資訊28at.com

這一研究的關(guān)鍵焦點(diǎn)在于克服實(shí)現(xiàn)高效流式語(yǔ)言模型(Efficient Streaming LanguageModels，ESLM)時(shí)所面臨的障礙，尤其是在長(zhǎng)時(shí)間多輪對(duì)話等場(chǎng)景下可能出現(xiàn)的問題。Mz228資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR科技資訊了解，研究人員指出，構(gòu)建流式語(yǔ)言模型主要面臨兩大挑戰(zhàn)。解碼階段獲取標(biāo)記(token)的鍵(Key)和值(Value)狀態(tài)會(huì)耗費(fèi)大量?jī)?nèi)存。其次，現(xiàn)有的大型語(yǔ)言模型很難泛化到處理超出其訓(xùn)練序列長(zhǎng)度的長(zhǎng)文本。Mz228資訊網(wǎng)——每日最新資訊28at.com

過去的研究嘗試解決這些挑戰(zhàn)，例如擴(kuò)展注意力窗口以處理長(zhǎng)文本或建立一個(gè)固定大小的活動(dòng)窗口，只關(guān)注最近的標(biāo)記狀態(tài)以維護(hù)內(nèi)存使用和解碼速度。然而，這些策略在處理超出緩存大小的序列時(shí)表現(xiàn)不佳。Mz228資訊網(wǎng)——每日最新資訊28at.com

Mz228資訊網(wǎng)——每日最新資訊28at.com

StreamingLLM采用了一種名為"注意力下沉"的策略，通過觀察到自回歸語(yǔ)言模型中，某些標(biāo)記會(huì)獲得大量的注意力，即使它們?cè)谡Z(yǔ)義上并不重要，這些標(biāo)記也會(huì)吸引模型的關(guān)注。這種策略確保了無(wú)論輸入序列的長(zhǎng)度如何，模型的注意力計(jì)算都能保持穩(wěn)定。Mz228資訊網(wǎng)——每日最新資訊28at.com

StreamingLLM的重要貢獻(xiàn)在于提供了一種簡(jiǎn)單而高效的解決方案，使語(yǔ)言模型能夠處理無(wú)限長(zhǎng)度的文本，而無(wú)需進(jìn)行微調(diào)。這將有助于解決當(dāng)前流式應(yīng)用中語(yǔ)言模型面臨的問題。雖然流式語(yǔ)言模型在未來(lái)將變得更加重要，但由于內(nèi)存效率和長(zhǎng)序列處理性能等方面的限制，相關(guān)模型的發(fā)展仍面臨挑戰(zhàn)。Mz228資訊網(wǎng)——每日最新資訊28at.com

據(jù)研究團(tuán)隊(duì)驗(yàn)證，StreamingLLM能夠使Llama2、MPT、Falcon和Pythia等模型可靠地處理長(zhǎng)達(dá)400萬(wàn)個(gè)標(biāo)記的文本，從而為流式語(yǔ)言模型的部署提供了更多可能性。這一創(chuàng)新有望推動(dòng)自然語(yǔ)言處理領(lǐng)域的發(fā)展，并為各種應(yīng)用場(chǎng)景帶來(lái)更強(qiáng)大的語(yǔ)言模型支持。Mz228資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-16-11921-0.htmlStreamingLLM框架亮相：突破文本長(zhǎng)度限制

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 華為鴻蒙原生應(yīng)用全面啟動(dòng)，全面布局移動(dòng)生態(tài)鏈

下一篇： OpenAI或?qū)⑹召?gòu)目標(biāo)公司，推進(jìn)AI芯片自主研發(fā)計(jì)劃