人間誠實周鴻祎：360 All in 大模型的六個解讀
主筆 / 村口有牛文章架構師 / 毛自聰出品 / 巨頭財經5月至今，人間躁動，各路大模型你方唱罷我登場，VC圈互聯網圈媒體圈已近癲狂。誰也沒想到，今日，360再度刷屏，老牌互聯網巨頭展現
人工智能正迎來前所未有的變革，其中，大語言模型（LLM）的崛起推動了智能系統從信息處理向自主交互邁進。
以 DeepSeek 為代表的 LLM，憑借強大的語言理解與推理能力，在文本創作、編程輔助、復雜任務規劃等領域展現出卓越表現。
然而，LLM 的潛力遠不止于文本生成，它們正在塑造一種全新的智能體形態 ——GUI 代理（GUI Agents）。這類智能體不僅能理解指令，還能像人類一樣直接操作計算機和手機，擺脫對預設規則或 API 的依賴，帶來更自然、高效的交互方式，使 AI 真正融入軟件生態，成為智能操作系統的一部分。
問題在于，目前的 LLM 代理雖然具備強大的推理能力，卻在任務執行效率上存在明顯瓶頸。
為了解決這個問題，現在，西湖大學 AGI 實驗室張馳團隊推出了 AppAgentX—— 一款具備自我進化能力的 GUI 代理。它能夠在不斷執行任務的過程中學習并優化自身的行為模式，實現更加高效的操作。
AppAgentX 的核心創新在于：
自動歸納高效操作模式：代理能夠在執行任務時，檢測重復性操作模式，并自動總結成更高級別的“一鍵”操作。
任務執行更快，減少重復計算：傳統的 LLM 代理每次執行任務都需要重新思考操作流程，而 AppAgentX 能夠記住并復用執行策略，從而避免重復推理，使得任務執行更加流暢高效。
完全基于視覺操作，適用于各種軟件：傳統自動化方法通常需要訪問后端 API，而 AppAgentX 僅依賴屏幕視覺信息進行操作，無需后端訪問，因此能夠在不同軟件、不同設備上通用，真正做到“即插即用”。
AppAgentX：讓智能體學會“進化”過去，計算機的自動化操作主要依賴 RPA（機器人流程自動化），通過預設規則或 API 進行固定任務的執行。然而，這種方式需要大量手動配置，缺乏靈活性。
GUI 代理的出現，改變了這一局面，被譽為軟件世界中的具身智能。
GUI 代理不依賴后端 API，而是像人類一樣，通過屏幕視覺、鼠標和鍵盤直接操作軟件界面。這意味著，智能體可以自主學習如何操作各種應用程序，甚至能夠在不同軟件之間切換，執行復雜的跨應用任務。例如：
辦公場景：自動整理文檔、批量發送郵件
娛樂與創作：使用 Photoshop 處理圖像、生成視頻內容
自動化操作：批量錄入數據、自動處理訂單
跨應用任務：從網頁爬取信息后填入 Excel、在多個軟件之間進行聯動操作
正因如此，GUI 代理被視為智能助手、數字員工、自動化測試等領域的下一代解決方案，但現階段的挑戰也很突出：現有的智能體聰明但不夠高效。
現有的 LLM 代理通常采用逐步推理（Step-by-step Reasoning）的方式，即每次執行操作前，模型都要推理下一步動作。例如，在進行網頁搜索時，它可能會這樣決策：
識別需要搜索的信息；
點擊搜索框；
輸入關鍵詞；
點擊搜索按鈕。
這種方式賦予了智能體極強的泛化能力，使其能夠適應新任務場景，但也帶來了執行低效、重復計算嚴重的問題。AppAgentX 解決這一痛點的核心思路，是讓智能體學會“進化”。
下面是一個 AppAgentX 執行播放音樂的一個例子示意圖，當找到了“一鍵”操作，就不需要每一步都耗費大量時間思考下一步需要做什么，從而快速完成任務。
這里可以看出智能體進化出一個高級操作“搜索”，它取代了一系列低效的低級操作。這種進化避免了重復耗時的逐步推理，顯著提高了代理的效率。
在執行任務時，AppAgentX 會將整個過程分解成多個重疊的三元組（即由三個部分組成的組合）。這些三元組包含了頁面內容和用戶界面（UI）元素的功能描述。具體來說，智能體會：
生成功能描述：利用大語言模型（LLM），為每個頁面和界面元素生成詳細的功能描述。這些描述幫助智能體理解每個部分的作用。
合并重復描述：如果某些頁面的描述是重復生成的，智能體會將這些描述合并，以減少冗余信息。
記錄交互歷史：整個交互過程會被記錄成一個節點鏈，形成一個完整的操作歷史，便于后續調用。
進化機制與執行過程在任務執行過程中，AppAgentX 還引入了一種進化機制，使得智能體能夠更高效地執行操作。這個機制的核心在于生成“捷徑節點”，允許智能體在執行一系列操作時，跳過逐步推理的過程。具體步驟如下：
生成捷徑節點：當智能體識別到某些操作具有固定的執行順序時，它會創建捷徑節點。這些節點將多個底層操作整合為一個更高級的動作。
高效執行：通過調用這些捷徑節點，智能體可以快速執行一系列操作，而無需逐步推理每一步。這大大提高了任務執行的效率。
從實驗結果來看，AppAgentX 從單步的執行效率到總體的 API token 消耗，在多個 GUI 交互任務上展現出了顯著的“降本增效”。
總體來說，AppAgentX 作為一項創新的移動終端交互技術，通過構建鏈式知識存儲架構與動態匹配執行機制，在保持大型語言模型代理靈活性的同時顯著提升執行效能，實現了無需后端訪問的圖形界面智能操作系統。
該技術突破性地解決了傳統智能體在響應速度與認知能力間的平衡難題，為移動端 AI 應用開辟了新的技術路徑。此項研究不僅標志著智能體技術在效率與智能動態平衡方面取得重要突破，更為人機交互領域提供了可擴展的技術范式。
項目地址：https://appagentx.github.io/
Github 地址：https://github.com/Westlake-AGI-Lab/AppAgentX
Arxiv 地址：https://arxiv.org/abs/2503.02268
本文來自微信公眾號：量子位（ID：QbitAI），作者：西湖大學，原標題《AI 玩手機越玩越 6！西湖大學發布新智能體：會自我進化的 AppAgentX》
本文鏈接：http://www.tebozhan.com/showinfo-45-11369-0.htmlAI 玩手機越玩越 6，西湖大學發布會自我進化的智能體 AppAgentX
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號