沉寂3年，大模型激活小度天貓精靈？
Tech星球（微信ID：tech618）文 | 何煦陽 沉寂了許久的智能音箱，在今年大模型橫空出世之后，又再次燃起了新的希望。 2月9日，小度宣布將融合文心一言，打造針對智能設備場景的AI模型&ldq
2 月 12 日消息，據 ZDNET 2 月 10 日報道，AI 芯片廠商 Cerebras 的 CEO Andrew Feldman 接受采訪時說，該公司已經被運行 DeepSeek-R1 大語言模型的訂單壓垮。
據此前報道，Cerebras 曾推出用于 AI 的晶圓級芯片，一塊芯片就提供 125 PFLOPS 的峰值算力，搭配片外內存可以實現至高 1.2PB 的內存容量。
DeepSeek-R1 的預訓練成本可以低到 GPTo1 等主流模型的十分之一，且效果相近甚至更好，被一些人認為是 AI 的分水嶺。
Feldman 認為，DeepSeek 對人工智能的影響不僅在當下，更在于將刺激出更大的 AI 系統。隨著成本的降低，市場正在變得越來越大。
Cerebras 在官網展示，Cerebras 的晶圓級 AI 芯片，部署 DeepSeek-R1 70B 可以達到 1508 tokens / s 的性能，比 GPU 快很多。
用戶在使用包括 DeepSeek-R1 等“推理模型”時，輸入提示詞后需要時間等待是一大痛點。因為采用了名為 Chain-of-thought（CoT）的方法來增強模型的推理能力，將多步問題分解為中間步驟，允許模型在需要時執行額外的計算。推理時逐字進行推理，對整段提示詞的推理需要進行多次，需要大量算力。
客戶可以通過蒸餾將大模型的“知識”轉移到小模型來緩解痛點，大模型通常被稱為教師模型，較小的模型被稱為學生模型。
為了改善使用 DeepSeek 模型的體驗，Cerebras 為客戶提供的標準做法是利用 DeepSeek 開源在 Hugging Face 的模型參數（權重）作為教師模型，蒸餾出一個較小的學生模型用于實際部署，Cerebras 在官網表示 DeepSeek R1 蒸餾到 Llama 70B 后精度幾乎沒有下降。
Feldman 表示，DeepSeek 是第一個頂級的開源推理模型，是開源 AI 的重大勝利。通過蒸餾技術，開源模型只需要公開模型參數（權重），研究人員不需要訪問源碼也可以復制新 AI 模型的進步。他認為，DeepSeek 的經濟性不僅震驚整個人工智能行業，更可以使尖端 AI 芯片和網絡技術獲得更多投資。
有些人認為計算成本的下降將導致市場萎縮，但過去 50 年都表現出降低成本反而擴大市場容量。無論是電腦還是智能手機，價格的降低都推動了普及。
Cerebras 從去年 8 月開始提供公共推理服務，自稱是“世界上最快的人工智能推理服務提供商”。該公司目前只提供蒸餾后的 70B 模型，Feldman 表示，405B 的模型太貴了，客戶更青睞價格實惠的模型，當然也有一部分客戶認為準確性的提升值得更高的成本而選擇更大的模型。
相關閱讀：
《中小 AI 芯片企業感謝 DeepSeek R1：給了我們機會和訂單》
本文鏈接：http://www.tebozhan.com/showinfo-45-10741-0.htmlAI 芯片廠商 Cerebras 部署 DeepSeek 服務爆單，降低成本反而擴大市場容量
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號