3 月 22 日消息,當地時間周四,AMD 宣布推出專為本地運行大語言模型(LLM)設計的應用GAIA(發音為/?ɡa?.?/)并在 Github 開源,目前僅限于 Windows 平臺。
GAIA 是一款生成式 AI 應用,能夠在 Windows PC 上實現本地化私密運行 LLM,并針對銳龍 AI 300 系列處理器進行了優化,標志著 AMD 在邊緣計算領域的又一重要布局。
在 NPU 上運行 GAIA 可提高 AI 特定任務的性能。從 Ryzen AI 軟件版本 1.3 開始,混合支持部署同時使用 NPU 和核顯的量化 LLM。
其核心組件基于 ONNX TurnkeyML 的 Lemonade SDK 開發,采用檢索增強生成(RAG)技術框架,通過本地向量索引實現 YouTube、GitHub 等外部數據的實時檢索與分析。
系統工作流包含 LLM 連接器、LlamaIndex RAG 管道和代理 Web 服務器三大模塊,支持 Llama、Phi 等主流模型。功能模塊包含四大 AI 智能體:
Chaty:支持歷史對話的聊天機器人
Clip:YouTube 視頻搜索與問答專家
Joker:具備幽默風格的笑話生成器
Simple Prompt:模型直接交互測試工具
硬件方面,AMD 提供普通版與混合版兩種安裝方案。普通安裝包兼容任意 Windows PC(含非 AMD 硬件設備),通過Ollama后端實現跨平臺支持。
混合安裝包專為配備銳龍 AI 300 系列處理器的設備進行優化,可智能分配 NPU 與集成顯卡的計算負載。AMD 表示,Ryzen AI 軟件自 1.3 版本起支持量化模型在 NPU 和集成顯卡間的混合部署。
隱私與性能優勢方面:
本地化處理確保醫療、金融等敏感行業數據不出境
響應延遲降低至毫秒級(相較云端方案縮短 40-60%)
NPU 專用架構實現每瓦性能提升,支持離線環境運行
該項目采用 MIT 開源協議,代碼庫已在 GitHub 開放。AMD 特別鼓勵開發者貢獻自定義代理模塊,目前已有多個行業定制化代理處于開發階段。
此外,盡管 GAIA 目前暫不支持 Linux / macOS 系統,但 AMD 官方文檔透露未來可能擴展多平臺支持。
附 Github 地址:https://github.com/amd/gaia
本文鏈接:http://www.tebozhan.com/showinfo-45-11632-0.htmlAMD 推出開源項目“GAIA”實現本地大模型高效運行:針對銳龍 AI 300 系列處理器優化,目前僅適用于 Windows
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com