8 月 6 日消息,OpenAI 當地時間昨日以 Apache 2.0 許可證的形式推出了兩款 gpt-oss 系列開放推理模型,其中參數規模較小的 gpt-oss-20b 模型可在僅配備 16GB 內存的邊緣設備上運行、參數更多的 gpt-oss-120b 則能在單個 80GB GPU 上高效運行。
AMD 與高通均宣布旗下硬件支持 gpt-oss 系列開放模型,具體是 AMD 銳龍 AI Max+ 395 處理器支持 gpt-oss-120b、AMD Radeon RX 9070 16GB 顯卡支持 gpt-oss-20b、高通旗艦驍龍平臺支持 gpt-oss-20b。
AMD 宣稱銳龍 AI Max+ 395 是全球首款能運行 gpt-oss-120b 模型的消費級 AI PC 處理器:采用 GGML 框架轉換的 MXFP4 格式 gpt-oss-120b 大約需要 61GB 顯存,而 "Strix Halo" 平臺在 128GB 統一內存下支持將 96GB 分配給 GPU,輕松滿足這一需求。
銳龍 AI Max+ 395 在 gpt-oss-120b 上有 30 Token / s 的輸出速率,同時支持該模型的 MCP 模型上下文協議實現。
而 Radeon RX 9070 16GB 顯卡則能在 gpt-oss-20b 上實現出色的首 Token 輸出時間 (TTFT) 和每秒 Token 輸出數量表現。
高通表示根據早期測試 gpt-oss-20b 可在端側實現出色思維鏈推理表現,開發者可通過 Hugging Face 和 Ollama 等熱門平臺在搭載驍龍芯片的設備上訪問 gpt-oss-20b 模型并充分發揮其功能。
本文鏈接:http://www.tebozhan.com/showinfo-45-25913-0.htmlAMD、高通宣布旗下硬件支持 OpenAI gpt-oss 開放推理模型
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com