女孩租房開2小時空調用完100元電費引熱議：5級能耗惹不起 月薪過萬電費也交不起
近日，江蘇蘇州一女孩租房當天充值了100元電費，開著空調不到2小時發現電費已用完。對于為什么這個快，房東表示，電表壞了這種情況很多，之前也遇到過，給租客換
2 月 13 日消息，科大訊飛今晚發布了最新的投資者關系活動記錄表，主要針對 DeepSeek 方面的問題進行解答。
科大訊飛表示，正在訓練的純國產算力的星火 X1 新版本預計在 3 月內完成，預期可以實現數學答題和過程思維鏈能力全面對標甚至超過 OpenAI o1。
此外，科大訊飛還表示他們正在將 X1 深度推理模型進一步結合與中國教科院等諸多教育專家的合作，通過專業知識反思及長思維鏈強化學習結合，生成符合教育教學需求的“教學思維鏈”，提高復雜場景推理的邏輯正確性、專業性、可解釋性，并將率先用于教師助手、批改、輔學等全系產品創新，預計在 2025 世界數字教育大會期間發布教育專屬大模型和創新應用。
IT酷哥摘選部分重點信息如下：
DeepSeek R1 快速對標 o1 的主要創新是其提出并實現的 R1-Zero 強化學習訓練方案，即直接在 DeepSeek-V3-base 預訓練模型上進行大規模強化學習訓練，可在數學、代碼等推理任務上得到接近 o1 模型的效果，而不依賴任何有監督微調（SFT），這是當前國內外公開已知的、在大規模任務上獲得成功效果的首個發布成果，之前學術界已有相關研究，但因為預訓練基座模型不夠好而使得強化學習的收益不好，這一成果具有較強的創新性，大大減少了數學、代碼等任務訓練對人工標注推理過程數據的需求。
DeepSeek R1 并不是唯一高水平的國產深度推理大模型。2024 年 9 月 OpenAI o1-preview 發布以后，國內技術領先的大模型廠商也在快速跟進。科大訊飛基于此前在評語模型、強化學習方面的積累，在 2024 年 10 月就實現了蒙特卡洛樹搜索（MCTS）等算法創新并跑通了深度推理模型訓練算法，因為只能使用國產算力，我們額外花費 2 個月完成華為昇騰 910B 算力的適配和優化并大幅提升訓練效率（訓練效率相比 A100 從 55% 提升到 85%），于今年 1 月 15 日完成了星火深度推理模型 X1 的訓練和發布。雖然當前 X1 模型很小（僅 130 億參數），但依靠我們算法和數據優勢，星火 X1 已達到可以和 OpenAI o1-preview 對標的水平；隨著國產算力的逐步到位，模型參數增加后，我們完全有信心實現數學答題和過程思維鏈能力全面對標甚至超過 OpenAI o1。此外，結合與中國教科院等諸多教育專家的合作成果，我們將使得 X1 的思維鏈結果更加符合教育教學的專業要求，在教育、醫療等領域實現更大的應用賦能價值。
DeepSeek 團隊圍繞 DeepSeek V3 和 R1 的訓練和推理降本，實現了多個有效的軟硬件結合深度工程優化創新，包括 MLA（通過低秩矩陣對 KV 矩陣進行壓縮顯著降低 GPU 顯存的消耗）、MTP（通過多幀預測提升數據利用率及訓練效果和推理效率）、DualPipe（通過更底層的 PTX 指令優化英偉達 GPU 計算和通信的并行）、FP8 混合精度訓練（業界首次使用 8Bit 量化浮點數方式實現超大規模模型的訓練，以往都是使用 16Bit 量化），最終 DeepSeek 基于 2048 張英偉達 H800 卡，約 560 萬美元就能完成 V3 模型的一次完整預訓練。另外，DeepSeek R1 因為涉及基于大量數據的強化學習迭代訓練，其成本未公布。
和 DeepSeek 類似，科大訊飛受限于有限的算力資源，過去幾年關于星火大模型訓練和推理成本效率的持續優化也做了大量投入，和 DeepSeek 直接使用英偉達 H800 卡上開展的各種工程優化不同，科大訊飛選擇了更難的全國產算力路線。從 2023 年 5 月起科大訊飛就聯合華為先后攻克了萬卡高速互聯組網、計算通信隱藏、訓練推理強交互、高吞吐推理優化以及國產算子優化等一系列難題，將通用大模型、類 o1 的深度推理模型等的訓練效率對標 A100 均從最初的 30%-50% 優化達到了 85%-95% 以上；以 DeepSeek 非常看重的萬卡網絡通信帶寬的利用率為例，DeepSeek 報道的是 93%，而訊飛星火做到了 95%。訓練成本也是訊飛星火大模型的競爭優勢，我們單次訓練成本和 DeepSeek V3 在一個層次，而且后面優化路徑也很明確，目前以昇騰 910B 為代表的國產硬件還不支持 FP8 精度訓練以及 DualPipe 的實現，隨著國產算力在底層能力上進一步提升，訊飛星火的訓練成本還有較大的下降空間。
需要特別說明的是，大模型對算力的需求為訓練和推理兩個方面，而訓練實現的難度遠大于推理。這就是雖然陸續有公司宣布可以在國產算力平臺上提供 DeepSeek 在內等大模型的推理服務，但仍只有訊飛星火一家是訓練和推理均在國產算力上進行的，并且僅用 1 萬張 910B 國產算力卡，科大訊飛不僅用比友商少一個數量級的算力取得了大模型研發上的第一梯隊成果，而且做了大量國產算力平臺上的無人區的適配和效率優化，追求國產算力的極致效率，這比在英偉達上的實現更需要技術實力和戰略勇氣。
當前所有全民下載的通用大模型 App 中, 只有訊飛星火一家是訓練和推理均在國產算力上進行的，僅用 1 萬張 910B 國產算力卡，科大訊飛不僅用比友商少一個量級的算力取得了大模型研發上的一系列成果，而且做了大量國產算力平臺上的無人區的適配和效率優化。雖然陸續有公司宣布可以在國產算力平臺上提供 DeepSeek 在內等大模型的推理服務，但目前仍只有訊飛星火一家是訓練和推理均在國產算力上進行的。
本文鏈接：http://www.tebozhan.com/showinfo-26-130302-0.html科大訊飛：純國產算力的星火 X1 新版本預計在 3 月內完成，全面對標甚至超過 OpenAI o1
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號