6 月 12 日消息,蘋果在昨日的 WWDC24 上重磅公布了Apple Intelligence(蘋果智能),將為iPhone、Mac 等設備引入一系列 AI 功能。
隨后,蘋果機器學習官網公布了 Apple Intelligence 的詳細信息。據蘋果官方介紹,Apple Intelligence 擁有兩個基礎模型:
本地模型:設備上約 30 億參數的語言模型,測試得分高于諸多 70 億參數的開源模型(Mistral-7B 或 Gemma-7B);
云上模型:可通過私有云計算并在 Apple 芯片服務器上運行的更大云端語言模型。
蘋果表示,Apple Intelligence 由多個高性能生成模型組成,這些模型專門針對用戶的日常任務,并且可以動態適應他們當前的活動。Apple Intelligence 中內置的基礎模型針對用戶體驗進行了微調,例如編寫和精煉文本、對通知進行優先級排序和總結、為用戶與家人和朋友的對話創建有趣圖像,以及采取應用內操作來簡化應用之間的交互。
在預訓練方面,蘋果的基礎模型在 AXLearn 框架上進行訓練,這是蘋果于 2023 年發布的開源項目。它構建在 JAX 和 XLA 之上,使蘋果能夠在各種訓練硬件和云平臺上可擴展地訓練模型,包括 TPU 以及云和本地 GPU。
IT酷哥注意到,蘋果承諾在訓練基礎模型時,該公司從不使用用戶的私人個人數據或用戶交互,并且會使用過濾器來刪除互聯網上公開的個人身份信息,例如社會保障和信用卡號碼。蘋果還過濾了臟話和其他低質量內容,以防止其包含在訓練語料庫中。除了過濾之外,蘋果還執行數據提取、重復數據刪除以及應用基于模型的分類器來識別高質量文檔。
在優化方面,蘋果在設備端模型和服務器端模型都使用了 grouped-query-attention,設備上模型使用 49K 的詞匯大小,而服務器模型使用 100K 的詞匯大小,其中包括額外的語言和技術標記。
通過優化,蘋果號稱在 iPhone 15 Pro 上,能夠實現每個 prompt token 約 0.6 毫秒的首次 token 延遲,以及每秒 30 個 token 的生成速率。
在指令跟蹤評估(IFEval)測試中,蘋果本地模型性能優于包括 Phi-3-mini、Mistral-7B 和 Gemma-7B 等模型,且與 DBRX-Instruct、Mixtral-8x22B 和 GPT-3.5-Turbo 相比毫不遜色;而云上模型水平基本與 GPT-4-Turbo 持平。
蘋果計劃在今年夏天推出的 iOS 18、iPadOS 18 和 macOS Sequoia 測試版中,開放 Apple Intelligence,然后會以測試版的形式,于今年秋季向公眾開放,但部分功能、更多語言和平臺支持需要等到明年。
Apple Intelligence 可以免費使用,但僅限于配備 A17 Pro 芯片或任何 M 系列芯片的設備。這意味著要使用這些功能,你需要一部iPhone15 Pro 或iPhone 15 Pro Max,即將推出的iPhone 16系列也將支持 Apple Intelligence。
在 Mac 方面,你需要一臺配備 M1 或更高版本的 Mac,而對于 iPad,你需要一臺配備 M1 芯片或更高版本的iPad Pro或iPad Air。
蘋果 WWDC24 開發者大會主題演講專題
本文鏈接:http://www.tebozhan.com/showinfo-26-93218-0.html蘋果牌“AI”官方詳解:Apple Intelligence 本地 30 億參數模型,云端基于蘋果芯片服務器
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com