8 月 11 日消息,OpenAI 于 8 月 6 日推出了其最小開源模型 gpt-oss-20b,在常見基準測試中與 OpenAI o3?mini 模型取得類似結果。高通今日宣布,這是 OpenAI 首個可在搭載驍龍平臺的終端側運行的開源推理模型。
從官方新聞稿獲悉,高通稱 gpt-oss-20b 思維鏈推理模型可直接在搭載驍龍旗艦處理器的終端上運行。此前 OpenAI 的復雜模型僅限云端部署,這是 OpenAI 首次實現模型支持終端側推理。通過提前獲取模型,并結合高通 ? AI 引擎和 Qualcomm? AI Stack 進行集成測試,我們發現這款 200 億參數的模型表現極為出色,能夠完全在終端側進行思維鏈推理。
高通認為這是一個關鍵轉折點:預示著 AI 的未來方向,即豐富復雜的助手式推理也將在本地實現。這也展現了 AI 生態系統的成熟性,合作伙伴和開發者可以利用驍龍處理器,實時采用 OpenAI 等領軍企業的開源創新成果。OpenAI 的 gpt-oss-20b 將助力終端設備利用終端側推理,帶來隱私保護和時延方面的優勢,同時通過 AI 智能體為云端解決方案提供支持。
高通稱,通過提前獲取 gpt-oss-20b 模型,并結合 Qualcomm AI Stack 進行集成測試,見證了該模型的卓越能力,它能完全在終端側進行復雜推理。開發者將可通過 Hugging Face 和 Ollama 等主流平臺獲取該模型,并在搭載驍龍平臺的終端上發揮其性能。更多部署詳情即將在 Qualcomm AI Hub 上公布。
將 Ollama 的輕量級的開源 LLM 服務框架和強大的驍龍平臺集成,開發者和企業不僅可以直接在搭載驍龍計算平臺的終端上運行 gpt-oss-20b 模型,還能夠進行網頁搜索等多個默認特性,無需額外配置。用戶也可以在 Ollama 上嘗試 Turbo 模式,以探索該模型的更多功能。
本文鏈接:http://www.tebozhan.com/showinfo-45-26013-0.html高通:OpenAI 最小開源模型 gpt-oss-20b 可在驍龍終端運行
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com