元宇宙終究沒火過兩年
來源：傳播體操在ChatGPT快速破圈的同時，元宇宙的熱度卻一瀉千里。雖然互聯網大廠們都沒有否認元宇宙的長期想象力，但在行動上卻都紛紛表示了對元宇宙短期前景的悲觀。號稱改變
10 月 27 日消息，繼今年 9 月開源 Llama 3.2 的 1B 與 3B 模型之后，Meta 于 10 月 24 日發布了這兩個模型的量化版本，量化后的模型大小平均減少了 56%，RAM 使用量平均減少了 41%，模型速度提高了 2 至 4 倍，同時降低了功耗，使這些模型能夠部署到更多移動設備上。
注：模型量化（Model Quantization）就是通過各種訓練方式將浮點模型轉為定點模型，可以壓縮模型參數，降低模型的復雜性，以便于在更輕量的平臺運行。
Meta 表示，他們采用了量化感知訓練（Quantization-Aware Training，QAT）和后訓練量化（SpinQuant）兩種方法對模型進行量化，其中“量化感知訓練”更重視模型的準確性，而“后訓練量化”更強調模型的可移植性。
據介紹，研究人員一共為 Llama 3.2 的 1B 和 3B 模型各推出了兩款量化版本，分別為 Llama 3.2 1B QLoRA、Llama 3.2 1B SpinQuant、Llama 3.2 3B QLoRA 和 Llama 3.2 3B SpinQuant。
Meta 聲稱，這些量化模型比非量化的 Llama BF16 模型速度更快，占用更少的 RAM，并且功耗更低，同時保持與 Llama BF16 版本幾乎相同的精度。
盡管量化后的 Llama 3.2 1B 和 3B 模型僅支持 8000 個 Token 的上下文（原版模型支持 12.8 萬個 Token），但 Meta 的測試發現，無論是 Llama QLoRA 還是 Llama SpinQuant 等量化版本的基準測試結果實際上與原來的 Llama BF16 版本相差不遠。
目前，Meta 已在一加12、三星 S24+/S22 及蘋果 iOS 設備（未公布具體型號）等移動平臺測試這些經過量化后模型，測試“運行結果良好”，研究人員未來還計劃通過神經處理單元（NPU）提升這些量化模型的性能。
本文鏈接：http://www.tebozhan.com/showinfo-45-9329-0.htmlMeta 推出 Llama 3.2 1B 3B 模型量化版：功耗更低、可適用更多輕量移動設備
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號