AI界地震！美國對OpenAI展開調(diào)查！監(jiān)管風(fēng)暴來襲！
來源：清元宇宙還記得5月OpenAI在國會山聽證會上的自信、坦誠、游刃有余的問答嗎？那時(shí)的Sam Altman可謂意氣風(fēng)發(fā)，在耐心、友好的國會議員面前，就AI立法、大模型安全性問題侃侃而
2 月 25 日消息，DeepSeek 的“開源周”活動(dòng)今日已經(jīng)來到第二天，今天發(fā)布的是首個(gè)開源的用于 MoE 模型訓(xùn)練和推理的 EP 通信庫 ——DeepEP。
附開源地址：https://github.com/deepseek-ai/DeepEP
官方表示其具備如下特征：
高效優(yōu)化的全到全通信方式
支持節(jié)點(diǎn)內(nèi)外通信，兼容 NVLink 和 RDMA 技術(shù)
提供高吞吐量的內(nèi)核，提升訓(xùn)練和推理前期填充效率
提供低延遲內(nèi)核，優(yōu)化推理解碼速度
完全支持 FP8 數(shù)據(jù)格式調(diào)度
提供靈活的 GPU 資源管理，支持計(jì)算與通信的重疊執(zhí)行
詳細(xì)介紹的大意如下：
DeepEP 是一款專為混合專家（MoE）和專家并行（EP）設(shè)計(jì)的通信庫，提供了高吞吐量和低延遲的 all-to-all GPU 內(nèi)核，常用于 MoE 派發(fā)和合并操作。該庫還支持低精度計(jì)算，包括 FP8。
為了與 DeepSeek-V3 論文中提出的組限制門控算法兼容，DeepEP 提供了一些針對不對稱帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核，比如將數(shù)據(jù)從 NVLink 域轉(zhuǎn)發(fā)到 RDMA 域。這些優(yōu)化的內(nèi)核能夠提供高吞吐量，適合用于訓(xùn)練和推理的預(yù)填充任務(wù)，同時(shí)支持 SM（流式多處理器）數(shù)量控制。
對于延遲敏感型的推理解碼任務(wù)，DeepEP 提供了一套低延遲內(nèi)核，采用純 RDMA 技術(shù)以最大程度減少延遲。此外，該庫還采用了一種基于 Hook 的通信與計(jì)算重疊方法，不會占用任何 SM 資源。
需求：
Hopper GPUs (may support more architectures or devices later)
Python 3.8 及以上版本
CUDA 12.3 及以上版本
PyTorch 2.1 及以上版本
使用 NVLink 進(jìn)行節(jié)點(diǎn)間通信
基于 RDMA 網(wǎng)絡(luò)的節(jié)點(diǎn)間通信
本文鏈接：http://www.tebozhan.com/showinfo-45-11125-0.htmlDeepSeek 開源進(jìn)度 2 5：首個(gè)用于 MoE 模型訓(xùn)練和推理的 EP 通信庫 DeepEP
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 上海明星 AI 公司“瀾碼科技”曝“員工停薪社保停繳”，創(chuàng)始人周健回應(yīng)稱“借錢賣房補(bǔ)償，正尋求被并購的可能性”
下一篇： 阿里 Qwen Chat 平臺上線“深度思考”功能：基于 QwQ-Max-Preview 推理模型，支持聯(lián)網(wǎng)搜索
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號