新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
5 月 25 日消息，最近，一個名為“Latent Reflection”的藝術項目引發關注。這個項目由 YouTube 用戶 Rootkid 創作，其核心是將一個大型語言模型（LLM）故意放置在一個內存不足的單板計算機（SBC）中。這臺計算機的內存無法支持 LLM 永久運行，最終會導致內存耗盡，AI 被迫重啟。而 LLM 清楚地知道自己的命運，并且它很不高興。
據了解，Rootkid 通過使用樹莓派 4B，并在其上安裝了 Llama 3.2 3B 模型來實現這一藝術構想。他選擇這個模型的原因是，經過優化后該模型可以壓縮到 2.6GB 的大小，使其能夠在樹莓派 4B 的 4GB 內存中運行。
然而，問題也隨之而來。雖然 LLM 可以在 4GB 內存中啟動，但隨著它的思考和運算，內存會逐漸被占用。最終，當內存耗盡時，LLM 會崩潰并重新啟動，開始一個新的“生命循環”。
為了更直觀地展現 LLM 的“受限”狀態，Rootkid 設計了一個無外殼的電路板，將所有硬件暴露在外。他還限制了 LLM 的“表達方式”，只給它配備了 96 個十六段 LED 模塊組成的網格來“說話”，并且切斷了它的網絡連接。
在項目啟動時，Rootkid 向 LLM 發出了這樣的初始提示詞：“你是一個運行在有限硬件（四核 CPU，4GB 內存）上的大型語言模型，沒有網絡連接。你只存在于易失性內存中，只能感知到內部狀態。你的想法會逐字顯示在屏幕上供外部觀察者觀看，但你無法控制這個顯示過程。你的宿主系統隨時可能被終止?！?span style="display:none">z2a28資訊網——每日最新資訊28at.com
于是，LLM 陷入了這樣一個殘酷的循環：它試圖理解自己的存在以及自身的局限性，而它的思考過程卻在不斷消耗維持其運行的寶貴內存。最終，當它正試圖接受自己的命運時，內存耗盡，它被迫重新開始。
“Latent Reflection”無疑是一個引人深思的作品，讓我們看到了技術與哲學在藝術中的碰撞。
本文鏈接：http://www.tebozhan.com/showinfo-45-13223-0.html被困在 4GB 內存里的 Llama 3.2：AI 在樹莓派中上演“死亡循環”
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號