AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當(dāng)前位置：首頁 > 科技  > 數(shù)碼

原生FP8！摩爾線程GPU閃電適配DeepSeek開源庫FlashMLA、DeepGEMM

來源： 責(zé)編： 時(shí)間：2025-02-27 08:16:17 76觀看
導(dǎo)讀 快科技2月26日消息，DeepSeek啟動(dòng)“開源周”以來，已經(jīng)陸續(xù)開源了三個(gè)代碼庫，而作為國(guó)產(chǎn)GPU的代表，摩爾線程已經(jīng)快速完成對(duì)FlashMLA、DeepGEMM的適配。摩爾線程GPU基于全新的MUSA Compute Capability 3

快科技2月26日消息，DeepSeek啟動(dòng)“開源周”以來，已經(jīng)陸續(xù)開源了三個(gè)代碼庫，而作為國(guó)產(chǎn)GPU的代表，摩爾線程已經(jīng)快速完成對(duì)FlashMLA、DeepGEMM的適配。wES28資訊網(wǎng)——每日最新資訊28at.com

摩爾線程GPU基于全新的MUSA Compute Capability 3.1計(jì)算架構(gòu)，可提供原生的FP8精度計(jì)算能力，同時(shí)升級(jí)了高性能線性代數(shù)模板庫MUTLASS，快速支持FlashMLA。wES28資訊網(wǎng)——每日最新資訊28at.com

不僅如此，摩爾線程還基于MUTLASS，在全新GPU架構(gòu)上優(yōu)化實(shí)現(xiàn)了FP8矩陣乘法，支持DeepGEMM的相應(yīng)功能。wES28資訊網(wǎng)——每日最新資訊28at.com

原生FP8！摩爾線程GPU閃電適配DeepSeek開源庫FlashMLA、DeepGEMMwES28資訊網(wǎng)——每日最新資訊28at.com

FlashMLA是一款高效的MLA推理內(nèi)核開源倉(cāng)庫，可以加速M(fèi)LA機(jī)制的計(jì)算，特別適用于DeepSeek系列模型，包括DeepSeek-V2、V3、R1。wES28資訊網(wǎng)——每日最新資訊28at.com

DeepGEMM是一個(gè)支持密集矩陣與混合專家（MoE）矩陣乘法的FP8 GEMM庫，可以為V3/R1的訓(xùn)練與推理提供強(qiáng)大動(dòng)力。wES28資訊網(wǎng)——每日最新資訊28at.com

這兩個(gè)重要的開源倉(cāng)庫，都基于高性能通用矩陣乘法（GEMM）的C++模板庫進(jìn)行開發(fā)。wES28資訊網(wǎng)——每日最新資訊28at.com

摩爾線程基于新一代計(jì)算架構(gòu)MUSA Compute Capability 3.1的全功能GPU，具備全新的Tensor計(jì)算引擎及數(shù)據(jù)搬運(yùn)引擎，能夠提供原生FP8計(jì)算能力。wES28資訊網(wǎng)——每日最新資訊28at.com

升級(jí)的MUTLASS高性能線性代數(shù)模板庫，支持MUSA Compute Capability 3.1的全新特性，并提供了若干算子的優(yōu)化參考實(shí)現(xiàn)，包括基于FlashAttention3思想實(shí)現(xiàn)的FlashMLA以及FP8矩陣乘算子，特別支持DeepSeek訓(xùn)練所需的Groupwise Scaling FP8矩陣乘法內(nèi)核函數(shù)。wES28資訊網(wǎng)——每日最新資訊28at.com

得益于全新的Tensor計(jì)算引擎，F(xiàn)P8計(jì)算具有足夠高的累加精度，無需額外的二次精度修正，為前沿算法的探索打下了堅(jiān)實(shí)基礎(chǔ)。 wES28資訊網(wǎng)——每日最新資訊28at.com

原生FP8！摩爾線程GPU閃電適配DeepSeek開源庫FlashMLA、DeepGEMMwES28資訊網(wǎng)——每日最新資訊28at.com

借助MUTLASS 0.2.0，摩爾線程發(fā)布了開源倉(cāng)庫MT-FlashMLA，能夠快速對(duì)DeepSeek FlashMLA進(jìn)行兼容部署。wES28資訊網(wǎng)——每日最新資訊28at.com

同時(shí)，摩爾線程MUTLASS提供了一個(gè)全新的參考實(shí)現(xiàn)，充分汲取FlashAttention3的先進(jìn)算法思想，針對(duì)摩爾線程GPU設(shè)計(jì)了全新的計(jì)算流水線。wES28資訊網(wǎng)——每日最新資訊28at.com

這一設(shè)計(jì)能夠有效掩藏?cái)?shù)據(jù)搬運(yùn)的延遲和Softmax計(jì)算的開銷，充分發(fā)揮摩爾線程MUSA Compute Capability 3.1全功能GPU的Tensor計(jì)算效率。wES28資訊網(wǎng)——每日最新資訊28at.com

▼ MT-FlashMLA開源地址：wES28資訊網(wǎng)——每日最新資訊28at.com

https://github.com/MooreThreads/MT-flashMLAwES28資訊網(wǎng)——每日最新資訊28at.com

▼ MUTLASS FlashAttention3地址：wES28資訊網(wǎng)——每日最新資訊28at.com

https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwdwES28資訊網(wǎng)——每日最新資訊28at.com

▼ MUTLASS FP8 GEMM地址：wES28資訊網(wǎng)——每日最新資訊28at.com

https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builderwES28資訊網(wǎng)——每日最新資訊28at.com

https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemmwES28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-24-133910-0.html原生FP8！摩爾線程GPU閃電適配DeepSeek開源庫FlashMLA、DeepGEMM

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： EK 推出 RTX 5090 FE 專屬水冷頭，329.90 歐元，支持三區(qū) PCB 設(shè)計(jì)

下一篇： RTX 5060 Ti功耗小幅增至180W：還是8/16GB兩種顯存

標(biāo)簽：
  • 熱門焦點(diǎn)
Top