近日,DeepSeek在其備受矚目的“開(kāi)源周”活動(dòng)中,迎來(lái)了第二天的重要發(fā)布——DeepEP,這是一個(gè)專為混合專家(MoE)模型訓(xùn)練和推理設(shè)計(jì)的開(kāi)源EP通信庫(kù)。GXc28資訊網(wǎng)——每日最新資訊28at.com
DeepEP的開(kāi)源地址已經(jīng)公布,感興趣的開(kāi)發(fā)者和研究人員可以訪問(wèn)此鏈接獲取更多信息。GXc28資訊網(wǎng)——每日最新資訊28at.com
GXc28資訊網(wǎng)——每日最新資訊28at.com
據(jù)官方介紹,DeepEP具備多項(xiàng)顯著特征,使其成為處理MoE模型時(shí)的理想選擇。首先,它采用了高效優(yōu)化的全到全通信方式,確保了數(shù)據(jù)傳輸?shù)母咝浴F浯危珼eepEP支持節(jié)點(diǎn)內(nèi)外的通信,并且兼容NVLink和RDMA技術(shù),這為用戶提供了更多的靈活性和兼容性。GXc28資訊網(wǎng)——每日最新資訊28at.com
DeepEP還提供了高吞吐量的內(nèi)核,這些內(nèi)核在訓(xùn)練和推理的前期填充階段能夠顯著提升效率。同時(shí),對(duì)于推理解碼任務(wù),DeepEP則提供了一套低延遲內(nèi)核,這些內(nèi)核采用純RDMA技術(shù),最大限度地減少了延遲,從而優(yōu)化了推理解碼速度。GXc28資訊網(wǎng)——每日最新資訊28at.com
DeepEP完全支持FP8數(shù)據(jù)格式的調(diào)度,這對(duì)于低精度計(jì)算的需求來(lái)說(shuō)無(wú)疑是一個(gè)重要的優(yōu)勢(shì)。該庫(kù)還提供了靈活的GPU資源管理功能,支持計(jì)算與通信的重疊執(zhí)行,這進(jìn)一步提高了資源利用效率和整體性能。GXc28資訊網(wǎng)——每日最新資訊28at.com
DeepEP的設(shè)計(jì)初衷是為了滿足混合專家(MoE)和專家并行(EP)模型的特殊需求。它提供了高吞吐量和低延遲的all-to-all GPU內(nèi)核,這些內(nèi)核常用于MoE的派發(fā)和合并操作。為了與DeepSeek-V3論文中提出的組限制門控算法兼容,DeepEP還進(jìn)行了一些針對(duì)不對(duì)稱帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核設(shè)計(jì)。GXc28資訊網(wǎng)——每日最新資訊28at.com
例如,它能夠?qū)?shù)據(jù)從NVLink域轉(zhuǎn)發(fā)到RDMA域,這些優(yōu)化的內(nèi)核提供了高吞吐量,非常適合用于訓(xùn)練和推理的預(yù)填充任務(wù)。同時(shí),DeepEP還支持SM(流式多處理器)數(shù)量控制,這為用戶提供了更多的控制和靈活性。GXc28資訊網(wǎng)——每日最新資訊28at.com
對(duì)于延遲敏感型的推理解碼任務(wù),DeepEP的低延遲內(nèi)核無(wú)疑是一個(gè)重要的亮點(diǎn)。這些內(nèi)核采用純RDMA技術(shù),最大限度地減少了延遲,從而確保了推理解碼任務(wù)的高效執(zhí)行。DeepEP還采用了一種基于Hook的通信與計(jì)算重疊方法,這種方法不會(huì)占用任何SM資源,進(jìn)一步提高了整體性能。GXc28資訊網(wǎng)——每日最新資訊28at.com
當(dāng)然,要使用DeepEP,還需要滿足一些硬件和軟件的要求。例如,需要配備Hopper GPUs(未來(lái)可能會(huì)支持更多架構(gòu)或設(shè)備),以及Python 3.8及以上版本、CUDA 12.3及以上版本和PyTorch 2.1及以上版本。還需要使用NVLink或基于RDMA網(wǎng)絡(luò)的節(jié)點(diǎn)間通信。GXc28資訊網(wǎng)——每日最新資訊28at.com
舉報(bào) 0收藏 0打賞 0分享 0 更多>同類資訊
汪峰與新女友森林北合伙成立壹代人傳媒公司企查查APP顯示,近日,壹代人(北京)文化傳播有限公司成立,注冊(cè)資本100萬(wàn),法定代表人汪峰,經(jīng)營(yíng)范圍包含個(gè)人互聯(lián)網(wǎng)直播服務(wù)、互聯(lián)網(wǎng)銷售等,汪峰現(xiàn)女友李巧(網(wǎng)名:森林北)間接持有50%股權(quán),汪峰通過(guò)壯麗峰景(…02-25

大衣哥正采訪中突然翻墻走了,其姓名被搶注商標(biāo)據(jù)報(bào)道,在采訪過(guò)程中,面對(duì)不斷有人敲門拜訪的壓力,大衣哥無(wú)奈選擇翻墻穿鄰居家過(guò)去。企查查APP顯示,曾有多家公司、個(gè)人搶注大衣哥姓名“朱之文”商標(biāo),其中部分已注冊(cè)成功,國(guó)際分類涉及食品、服裝鞋帽、餐飲住宿等。…02-25

ST金一成立新公司,含技術(shù)進(jìn)出口業(yè)務(wù)企查查APP顯示,近日,北京越王文化有限公司成立,法定代表人為王曉丹,注冊(cè)資本3000萬(wàn)元,經(jīng)營(yíng)范圍包含:專業(yè)設(shè)計(jì)服務(wù);貨物進(jìn)出口;技術(shù)進(jìn)出口;進(jìn)出口代理等。企查查股權(quán)穿透顯示,該公司由ST金一(002721…02-25

ST墨龍投資成立農(nóng)業(yè)發(fā)展公司,含智能機(jī)器人業(yè)務(wù)企查查APP顯示,近日,墨龍(海南)農(nóng)業(yè)發(fā)展有限公司成立,法定代表人為丁一晏,注冊(cè)資本1000萬(wàn)元,經(jīng)營(yíng)范圍包含:智能機(jī)器人的研發(fā);物聯(lián)網(wǎng)設(shè)備銷售;物聯(lián)網(wǎng)技術(shù)服務(wù)等。企查查股權(quán)穿透顯示,該公司由ST墨龍(00…02-25

科源制藥成立新公司,含新化學(xué)物質(zhì)進(jìn)口業(yè)務(wù)企查查APP顯示,近日,科源制藥(上海)有限公司成立,法定代表人為蔣紅升,注冊(cè)資本500萬(wàn)元,經(jīng)營(yíng)范圍包含:醫(yī)學(xué)研究和試驗(yàn)發(fā)展;貨物進(jìn)出口;技術(shù)進(jìn)出口;新化學(xué)物質(zhì)進(jìn)口等。企查查股權(quán)穿透顯示,該公司由科源制藥(…02-25

金風(fēng)科技成立智慧新能源公司,含電池制造業(yè)務(wù)企查查APP顯示,近日,包頭金儲(chǔ)智慧新能源有限公司成立,法定代表人為孫悅,注冊(cè)資本為100萬(wàn)元,經(jīng)營(yíng)范圍包含:儲(chǔ)能技術(shù)服務(wù);電池制造;風(fēng)力發(fā)電技術(shù)服務(wù);太陽(yáng)能發(fā)電技術(shù)服務(wù);風(fēng)力發(fā)電機(jī)組及零部件銷售;電氣設(shè)備銷…02-25

三棵樹(shù)投資成立家居新公司企查查APP顯示,近日,福建三棵樹(shù)家居有限公司成立,法定代表人為洪圣源,注冊(cè)資本1500萬(wàn)元,經(jīng)營(yíng)范圍包含:家具制造;家具零配件生產(chǎn);家具零配件銷售;家具安裝和維修服務(wù)等。企查查股權(quán)穿透顯示,該公司由三棵樹(shù)(…02-25

天山股份投資成立材料公司,注冊(cè)資本3000萬(wàn)企查查APP顯示,近日,無(wú)錫錫山華東材料有限公司成立,法定代表人為張玉華,注冊(cè)資本為3000萬(wàn)元,經(jīng)營(yíng)范圍包含:道路貨物運(yùn)輸(不含危險(xiǎn)貨物);港口經(jīng)營(yíng);水泥制品制造;水泥制品銷售;建筑材料銷售;金屬材料銷售;…02-25

雄安集團(tuán)26億元投資成立前行置業(yè)公司企查查APP顯示,近日,河北雄安前行置業(yè)有限公司成立,法定代表人為宗顯雷,注冊(cè)資本為26億元,經(jīng)營(yíng)范圍包含:房地產(chǎn)開(kāi)發(fā)經(jīng)營(yíng);互聯(lián)網(wǎng)信息服務(wù);商業(yè)綜合體管理服務(wù);非居住房地產(chǎn)租賃;住房租賃;物業(yè)管理;酒店管理;…02-25

中控技術(shù)等投資成立智造技術(shù)新公司企查查APP顯示,近日,中控(舟山)智造技術(shù)有限公司成立,法定代表人為龐鐘輝,注冊(cè)資本1000萬(wàn)元,經(jīng)營(yíng)范圍包含:工業(yè)自動(dòng)控制系統(tǒng)裝置銷售;網(wǎng)絡(luò)技術(shù)服務(wù);物聯(lián)網(wǎng)技術(shù)服務(wù);智能控制系統(tǒng)集成等。企查查股權(quán)穿透顯示…02-25

千元克價(jià)黃金熱,老鋪能否持續(xù)引領(lǐng)中式奢侈品風(fēng)潮?老鋪黃金門店外蜿蜒的長(zhǎng)隊(duì)和令人咋舌的克價(jià),折射出的其實(shí)并不是消費(fèi)者對(duì)黃金的狂熱,而更像是一場(chǎng)關(guān)于產(chǎn)品定位與消費(fèi)心理的博弈。但消費(fèi)者于娟則說(shuō)道,“我看小紅書(shū)上的代購(gòu)和其他買金人們都說(shuō)今年金價(jià)漲得的這么快,老鋪…02-25

滾導(dǎo)掌舵DC宇宙兩年有感:時(shí)光飛逝,蝙蝠俠新項(xiàng)目引期待02-25

ST墨龍跨界農(nóng)業(yè),新公司涉足智能機(jī)器人與物聯(lián)網(wǎng)領(lǐng)域02-25

科源制藥新設(shè)全資子公司,經(jīng)營(yíng)范圍拓展至新化學(xué)物質(zhì)進(jìn)口02-25

三棵樹(shù)家居新公司亮相,注冊(cè)資本達(dá)1500萬(wàn),業(yè)務(wù)范圍廣泛02-25點(diǎn)擊查看更多 +
全站最新
手機(jī)中木馬竟能自動(dòng)消費(fèi)?專家教你自查處理三步驟

小米15 Ultra“夜神”來(lái)襲!徠卡超純光學(xué)系統(tǒng),影像新高度?

比亞迪秦L EV官圖曝光,顏值在線搭載天神之眼C智駕系統(tǒng)

理想i8純電SUV官圖曝光,前臉神似MEGA,全新設(shè)計(jì)語(yǔ)言亮相

滾導(dǎo)掌舵DC宇宙兩年有感:時(shí)光飛逝,蝙蝠俠新項(xiàng)目引期待

湖北高中生自制折疊屏手機(jī),引450萬(wàn)圍觀,被贊“小雷軍”?
熱門內(nèi)容- 春節(jié)假期高速免費(fèi)通行,1月28日0時(shí)至2月4日24時(shí)別錯(cuò)過(guò)!
- DeepSeek創(chuàng)始人梁文鋒:從高考狀元到低調(diào)創(chuàng)業(yè)者,走紅后欲低調(diào)回鄉(xiāng)過(guò)年
- 《哪吒之魔童降世》票房破110億,全球影史排名第十二!《美國(guó)隊(duì)長(zhǎng)4》上映票房如何?
- 2025春節(jié)檔火爆!《哪吒之魔童鬧海》領(lǐng)跑,總票房直逼55億大關(guān)
- 浙大智能體“浙大先生”上線,全國(guó)829所高校師生可免費(fèi)共享DeepSeek
- 《唐探1900》春節(jié)檔上映,豆瓣評(píng)分6.7,口碑兩極分化?
- 金價(jià)飆升!847元/克金飾創(chuàng)新高,黃金牛市還能走多遠(yuǎn)?
- 《哪吒2》票房高歌猛進(jìn),全球動(dòng)畫電影榜沖進(jìn)前三!
- 《哪吒之魔童鬧海》票房破20億,領(lǐng)跑春節(jié)檔,第三部還會(huì)遠(yuǎn)嗎?
- 浙大DeepSeek全國(guó)高校開(kāi)放!829所學(xué)子免費(fèi)用,告別系統(tǒng)繁忙
- 《哪吒之魔童鬧海》春節(jié)檔大捷,單日票房破17億刷新動(dòng)畫電影紀(jì)錄!
- 《蛟龍行動(dòng)》遇一星差評(píng)潮,于冬怒批豆瓣粉圈互黑,誓言影片絕不撤檔!
- 美攝科技勝訴!字節(jié)跳動(dòng)8款產(chǎn)品被判代碼抄襲賠償8266萬(wàn)
- 《熊出沒(méi)》動(dòng)畫電影系列十一部齊發(fā)力,總票房突破80億大關(guān)!
- 2025年春節(jié)檔電影盛宴:六部大片齊賀歲,哪部將成票房黑馬?
本欄最新
滾導(dǎo)掌舵DC宇宙兩年有感:時(shí)光飛逝,蝙蝠俠新項(xiàng)目引期待

ST墨龍跨界農(nóng)業(yè),新公司涉足智能機(jī)器人與物聯(lián)網(wǎng)領(lǐng)域

科源制藥新設(shè)全資子公司,經(jīng)營(yíng)范圍拓展至新化學(xué)物質(zhì)進(jìn)口

三棵樹(shù)家居新公司亮相,注冊(cè)資本達(dá)1500萬(wàn),業(yè)務(wù)范圍廣泛

金風(fēng)科技新動(dòng)作!間接全資成立智慧新能源公司,涉足電池制造

天山股份全資控股新公司,無(wú)錫錫山華東材料公司注冊(cè)資本達(dá)3000萬(wàn)
本文鏈接:http://www.tebozhan.com/showinfo-16-133850-0.htmlDeepSeek新動(dòng)向:MoE模型利器DeepEP通信庫(kù)震撼開(kāi)源!
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 阿里Qwen推出新推理模型QwQ,數(shù)學(xué)編程樣樣行,還能聯(lián)網(wǎng)搜
下一篇: 汪峰與新女友森林北合伙成立壹代人傳媒公司