FMIFAwards獎項即將揭曉！
來源：X增強現實FMIF Awards未來元宇宙創新獎是由未來元宇宙創新論壇、ARinChina以及多家投資機構、媒體、研究院聯合發起的一項評選活動。旨在推動新技術的融合與集成低成本
8 月 28 日消息，Cerebras Systems 今日宣布推出 Cerebras Inference，官方稱這是全球最快的 AI 推理解決方案。該新解決方案為 Llama 3.1 8B 提供每秒 1800 個 token，為 Llama 3.1 70B 提供每秒 450 個 token，速度是微軟 Azure 等超大規模云中提供的基于英偉達 GPU 的 AI 推理解決方案的 20 倍。
除了令人難以置信的性能之外，這款新型推理解決方案的定價也比流行的 GPU 云低得多，起價僅為每百萬個 token 10 美分，從而為 AI 工作負載提供 100 倍更高的性價比。
該方案將允許 AI 應用程序開發人員構建下一代 AI 應用程序，而不會影響速度或成本。該方案使用了 Cerebras CS-3 系統及其 Wafer Scale Engine 3（WSE-3）AI 處理器，其中 CS-3 的內存帶寬是 Nvidia H100 的 7000 倍，解決了生成式 AI 的內存帶寬技術挑戰。
據了解，Cerebras Inference 提供以下三個層級：
免費層為登錄的任何人提供免費的 API 訪問和慷慨的使用限制。
開發者層專為靈活的無服務器部署而設計，為用戶提供一個 API 端點，其成本只是市場上替代方案的一小部分，Llama 3.1 8B 和 70B 模型的定價分別為每百萬 token 10 美分和 60 美分。
企業層提供微調模型、定制服務級別協議和專門支持。企業可以通過 Cerebras 管理的私有云或客戶場所訪問 Cerebras Inference，非常適合持續的工作負載。
Cerebras 團隊稱：“憑借創紀錄的性能、業界領先的定價和開放的 API 訪問，Cerebras Inference 為開放的 LLM 開發和部署設定了新標準。作為唯一能夠同時提供高速訓練和推理的解決方案，Cerebras 為 AI 開辟了全新的可能性。”
AI 領域正在迅速發展，雖然英偉達目前在 AI 市場占據主導地位，但 Cerebras 和 Groq 等公司的出現預示著行業動態可能發生變化。隨著對更快、更具成本效益的 AI 推理解決方案需求的不斷增加，這些挑戰者在顛覆英偉達的霸主地位，尤其是在推理領域方面。
本文鏈接：http://www.tebozhan.com/showinfo-45-6517-0.htmlCerebras 推出全球最快 AI 推理解決方案，速度是英偉達方案的 20 倍
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號