“平均時代”：ChatGPT模仿秀的隱喻
來源：錦緞如果你問ChatGPT，Instagram上最美的女人是誰？它很可能會給你一個名字，叫卡戴珊。如果你觀察過Instagram這個美版小紅書：平臺上的所有網紅，展現的幾乎是統一面孔：統一的醫
2 月 27 日消息，在 DeepSeek 開源周第四日，摩爾線程宣布已成功支持 DeepSeek 開源通信庫 DeepEP 和并行算法 DualPipe，并發布相關開源代碼倉庫：MT-DeepEP 和 MT-DualPipe。
據介紹，DeepEP 是一個用于 MoE（混合專家）模型訓練和推理的開源 EP（expert parallelism，專家并行）通信庫，主要適用于大模型訓練，特別是需要 EP 的集群訓練。它通過優化通信信道的使用率，提升了訓練效率。摩爾線程基于 MUSA Compute Capability 3.1 全功能 GPU 適配了 DeepEP，并支持以下特性：
高效優化的 All-to-All 通信，支持 dispatch & combine
支持 MTLink + GPU（MUSA Compute Capability 3.1）節點內通信
訓練及推理預填充階段的高吞吐量計算核心
推理解碼階段的低延遲計算核心
原生支持 FP8 數據分發
靈活控制 GPU 資源，實現計算與通信的高效重疊
DualPipe 是 DeepSeek-V3 提出的雙向流水線并行算法，通過前向計算與后向計算階段的計算與通信完全重疊，減少了“流水線氣泡”（設備空閑等待）。摩爾線程依托深度學習框架 Torch-MUSA（已開源）和 MUSA 軟件棧全方位的兼容性，實現了對 DualPipe 這一算法的支持。
目前，MT-DualPipe 可以完整接入摩爾線程 MT-Megatron 框架和 MT-TransformerEngine 框架（即將開源），實現 DeepSeek V3 訓練流程完整復現。此外，MT-DualPipe 結合 MT-Megatron 可實現完整 DeepSeek V3 模型 MLP-FFN 分離以及 DW-DG 分離，進一步降低氣泡占比，優化通信效率。同時，MT-DualPipe 與 MT-TranformerEngine 和 MT-DeepEP 的結合，可利用 MT-DeepEP 和異步通信引擎實現更高效的通信掩蓋，降低對計算資源損耗。
附 Torch-MUSA 開源地址如下：
https://github.com/MooreThreads/Torch_MUSA
相關閱讀：
《DeepSeek 開源進度 4/5：DualPipe、EPLB 優化并行策略》
《DeepSeek 開源進度 3/5：深度學習利器 DeepGEMM》
《DeepSeek 開源進度 2/5：首個用于 MoE 模型訓練和推理的 EP 通信庫 DeepEP》
《DeepSeek 代碼庫開源進度 1/5：為 Hopper GPU 優化的高效 MLA 解碼內核 FlashMLA》
本文鏈接：http://www.tebozhan.com/showinfo-45-11260-0.html摩爾線程成功支持 DeepSeek 開源通信庫 DeepEP 和并行算法 DualPipe
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號