一加Ace2 Pro官宣：普及16G內(nèi)存 引領(lǐng)24G
一加官方今天繼續(xù)為本月發(fā)布的新機(jī)一加Ace2 Pro帶來(lái)預(yù)熱，公布了內(nèi)存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領(lǐng)，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請(qǐng)期待。”同時(shí)
近日，DeepSeek在其備受矚目的“開(kāi)源周”活動(dòng)中，迎來(lái)了第二天的重要發(fā)布——DeepEP，這是一個(gè)專為混合專家（MoE）模型訓(xùn)練和推理設(shè)計(jì)的開(kāi)源EP通信庫(kù)。
DeepEP的開(kāi)源地址已經(jīng)公布，感興趣的開(kāi)發(fā)者和研究人員可以訪問(wèn)此鏈接獲取更多信息。
據(jù)官方介紹，DeepEP具備多項(xiàng)顯著特征，使其成為處理MoE模型時(shí)的理想選擇。首先，它采用了高效優(yōu)化的全到全通信方式，確保了數(shù)據(jù)傳輸?shù)母咝浴Ｆ浯危珼eepEP支持節(jié)點(diǎn)內(nèi)外的通信，并且兼容NVLink和RDMA技術(shù)，這為用戶提供了更多的靈活性和兼容性。
DeepEP還提供了高吞吐量的內(nèi)核，這些內(nèi)核在訓(xùn)練和推理的前期填充階段能夠顯著提升效率。同時(shí)，對(duì)于推理解碼任務(wù)，DeepEP則提供了一套低延遲內(nèi)核，這些內(nèi)核采用純RDMA技術(shù)，最大限度地減少了延遲，從而優(yōu)化了推理解碼速度。
DeepEP完全支持FP8數(shù)據(jù)格式的調(diào)度，這對(duì)于低精度計(jì)算的需求來(lái)說(shuō)無(wú)疑是一個(gè)重要的優(yōu)勢(shì)。該庫(kù)還提供了靈活的GPU資源管理功能，支持計(jì)算與通信的重疊執(zhí)行，這進(jìn)一步提高了資源利用效率和整體性能。
DeepEP的設(shè)計(jì)初衷是為了滿足混合專家（MoE）和專家并行（EP）模型的特殊需求。它提供了高吞吐量和低延遲的all-to-all GPU內(nèi)核，這些內(nèi)核常用于MoE的派發(fā)和合并操作。為了與DeepSeek-V3論文中提出的組限制門控算法兼容，DeepEP還進(jìn)行了一些針對(duì)不對(duì)稱帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核設(shè)計(jì)。
例如，它能夠?qū)?shù)據(jù)從NVLink域轉(zhuǎn)發(fā)到RDMA域，這些優(yōu)化的內(nèi)核提供了高吞吐量，非常適合用于訓(xùn)練和推理的預(yù)填充任務(wù)。同時(shí)，DeepEP還支持SM（流式多處理器）數(shù)量控制，這為用戶提供了更多的控制和靈活性。
對(duì)于延遲敏感型的推理解碼任務(wù)，DeepEP的低延遲內(nèi)核無(wú)疑是一個(gè)重要的亮點(diǎn)。這些內(nèi)核采用純RDMA技術(shù)，最大限度地減少了延遲，從而確保了推理解碼任務(wù)的高效執(zhí)行。DeepEP還采用了一種基于Hook的通信與計(jì)算重疊方法，這種方法不會(huì)占用任何SM資源，進(jìn)一步提高了整體性能。
當(dāng)然，要使用DeepEP，還需要滿足一些硬件和軟件的要求。例如，需要配備Hopper GPUs（未來(lái)可能會(huì)支持更多架構(gòu)或設(shè)備），以及Python 3.8及以上版本、CUDA 12.3及以上版本和PyTorch 2.1及以上版本。還需要使用NVLink或基于RDMA網(wǎng)絡(luò)的節(jié)點(diǎn)間通信。
舉報(bào) 0收藏 0打賞 0評(píng)論 0分享 0 更多>同類資訊
汪峰與新女友森林北合伙成立壹代人傳媒公司企查查APP顯示，近日，壹代人（北京）文化傳播有限公司成立，注冊(cè)資本100萬(wàn)，法定代表人汪峰，經(jīng)營(yíng)范圍包含個(gè)人互聯(lián)網(wǎng)直播服務(wù)、互聯(lián)網(wǎng)銷售等，汪峰現(xiàn)女友李巧（網(wǎng)名：森林北）間接持有50%股權(quán)，汪峰通過(guò)壯麗峰景（…02-25
大衣哥正采訪中突然翻墻走了，其姓名被搶注商標(biāo)據(jù)報(bào)道，在采訪過(guò)程中，面對(duì)不斷有人敲門拜訪的壓力，大衣哥無(wú)奈選擇翻墻穿鄰居家過(guò)去。企查查APP顯示，曾有多家公司、個(gè)人搶注大衣哥姓名“朱之文”商標(biāo)，其中部分已注冊(cè)成功，國(guó)際分類涉及食品、服裝鞋帽、餐飲住宿等。…02-25
ST金一成立新公司，含技術(shù)進(jìn)出口業(yè)務(wù)企查查APP顯示，近日，北京越王文化有限公司成立，法定代表人為王曉丹，注冊(cè)資本3000萬(wàn)元，經(jīng)營(yíng)范圍包含：專業(yè)設(shè)計(jì)服務(wù)；貨物進(jìn)出口；技術(shù)進(jìn)出口；進(jìn)出口代理等。企查查股權(quán)穿透顯示，該公司由ST金一（002721…02-25
ST墨龍投資成立農(nóng)業(yè)發(fā)展公司，含智能機(jī)器人業(yè)務(wù)企查查APP顯示，近日，墨龍（海南）農(nóng)業(yè)發(fā)展有限公司成立，法定代表人為丁一晏，注冊(cè)資本1000萬(wàn)元，經(jīng)營(yíng)范圍包含：智能機(jī)器人的研發(fā)；物聯(lián)網(wǎng)設(shè)備銷售；物聯(lián)網(wǎng)技術(shù)服務(wù)等。企查查股權(quán)穿透顯示，該公司由ST墨龍（00…02-25
科源制藥成立新公司，含新化學(xué)物質(zhì)進(jìn)口業(yè)務(wù)企查查APP顯示，近日，科源制藥（上海）有限公司成立，法定代表人為蔣紅升，注冊(cè)資本500萬(wàn)元，經(jīng)營(yíng)范圍包含：醫(yī)學(xué)研究和試驗(yàn)發(fā)展；貨物進(jìn)出口；技術(shù)進(jìn)出口；新化學(xué)物質(zhì)進(jìn)口等。企查查股權(quán)穿透顯示，該公司由科源制藥（…02-25
金風(fēng)科技成立智慧新能源公司，含電池制造業(yè)務(wù)企查查APP顯示，近日，包頭金儲(chǔ)智慧新能源有限公司成立，法定代表人為孫悅，注冊(cè)資本為100萬(wàn)元，經(jīng)營(yíng)范圍包含：儲(chǔ)能技術(shù)服務(wù)；電池制造；風(fēng)力發(fā)電技術(shù)服務(wù)；太陽(yáng)能發(fā)電技術(shù)服務(wù)；風(fēng)力發(fā)電機(jī)組及零部件銷售；電氣設(shè)備銷…02-25
三棵樹(shù)投資成立家居新公司企查查APP顯示，近日，福建三棵樹(shù)家居有限公司成立，法定代表人為洪圣源，注冊(cè)資本1500萬(wàn)元，經(jīng)營(yíng)范圍包含：家具制造；家具零配件生產(chǎn)；家具零配件銷售；家具安裝和維修服務(wù)等。企查查股權(quán)穿透顯示，該公司由三棵樹(shù)（…02-25
天山股份投資成立材料公司，注冊(cè)資本3000萬(wàn)企查查APP顯示，近日，無(wú)錫錫山華東材料有限公司成立，法定代表人為張玉華，注冊(cè)資本為3000萬(wàn)元，經(jīng)營(yíng)范圍包含：道路貨物運(yùn)輸（不含危險(xiǎn)貨物）；港口經(jīng)營(yíng)；水泥制品制造；水泥制品銷售；建筑材料銷售；金屬材料銷售；…02-25
雄安集團(tuán)26億元投資成立前行置業(yè)公司企查查APP顯示，近日，河北雄安前行置業(yè)有限公司成立，法定代表人為宗顯雷，注冊(cè)資本為26億元，經(jīng)營(yíng)范圍包含：房地產(chǎn)開(kāi)發(fā)經(jīng)營(yíng)；互聯(lián)網(wǎng)信息服務(wù)；商業(yè)綜合體管理服務(wù)；非居住房地產(chǎn)租賃；住房租賃；物業(yè)管理；酒店管理；…02-25
中控技術(shù)等投資成立智造技術(shù)新公司企查查APP顯示，近日，中控（舟山）智造技術(shù)有限公司成立，法定代表人為龐鐘輝，注冊(cè)資本1000萬(wàn)元，經(jīng)營(yíng)范圍包含：工業(yè)自動(dòng)控制系統(tǒng)裝置銷售；網(wǎng)絡(luò)技術(shù)服務(wù)；物聯(lián)網(wǎng)技術(shù)服務(wù)；智能控制系統(tǒng)集成等。企查查股權(quán)穿透顯示…02-25
千元克價(jià)黃金熱，老鋪能否持續(xù)引領(lǐng)中式奢侈品風(fēng)潮？老鋪黃金門店外蜿蜒的長(zhǎng)隊(duì)和令人咋舌的克價(jià)，折射出的其實(shí)并不是消費(fèi)者對(duì)黃金的狂熱，而更像是一場(chǎng)關(guān)于產(chǎn)品定位與消費(fèi)心理的博弈。但消費(fèi)者于娟則說(shuō)道，“我看小紅書(shū)上的代購(gòu)和其他買金人們都說(shuō)今年金價(jià)漲得的這么快，老鋪…02-25
滾導(dǎo)掌舵DC宇宙兩年有感：時(shí)光飛逝，蝙蝠俠新項(xiàng)目引期待02-25
ST墨龍跨界農(nóng)業(yè)，新公司涉足智能機(jī)器人與物聯(lián)網(wǎng)領(lǐng)域02-25
科源制藥新設(shè)全資子公司，經(jīng)營(yíng)范圍拓展至新化學(xué)物質(zhì)進(jìn)口02-25
三棵樹(shù)家居新公司亮相，注冊(cè)資本達(dá)1500萬(wàn)，業(yè)務(wù)范圍廣泛02-25點(diǎn)擊查看更多 +全站最新
手機(jī)中木馬竟能自動(dòng)消費(fèi)？專家教你自查處理三步驟
小米15 Ultra“夜神”來(lái)襲！徠卡超純光學(xué)系統(tǒng)，影像新高度？
比亞迪秦L EV官圖曝光，顏值在線搭載天神之眼C智駕系統(tǒng)
理想i8純電SUV官圖曝光，前臉神似MEGA，全新設(shè)計(jì)語(yǔ)言亮相滾導(dǎo)掌舵DC宇宙兩年有感：時(shí)光飛逝，蝙蝠俠新項(xiàng)目引期待
湖北高中生自制折疊屏手機(jī)，引450萬(wàn)圍觀，被贊“小雷軍”？熱門內(nèi)容滾導(dǎo)掌舵DC宇宙兩年有感：時(shí)光飛逝，蝙蝠俠新項(xiàng)目引期待ST墨龍跨界農(nóng)業(yè)，新公司涉足智能機(jī)器人與物聯(lián)網(wǎng)領(lǐng)域科源制藥新設(shè)全資子公司，經(jīng)營(yíng)范圍拓展至新化學(xué)物質(zhì)進(jìn)口三棵樹(shù)家居新公司亮相，注冊(cè)資本達(dá)1500萬(wàn)，業(yè)務(wù)范圍廣泛
金風(fēng)科技新動(dòng)作！間接全資成立智慧新能源公司，涉足電池制造
天山股份全資控股新公司，無(wú)錫錫山華東材料公司注冊(cè)資本達(dá)3000萬(wàn)
本文鏈接：http://www.tebozhan.com/showinfo-16-133850-0.htmlDeepSeek新動(dòng)向：MoE模型利器DeepEP通信庫(kù)震撼開(kāi)源！
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 阿里Qwen推出新推理模型QwQ，數(shù)學(xué)編程樣樣行，還能聯(lián)網(wǎng)搜
下一篇： 汪峰與新女友森林北合伙成立壹代人傳媒公司
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)