盧偉冰長文解析K60至尊版 對Redmi有著里程碑式的意義
在今天的Redmi后性能時代戰(zhàn)略發(fā)布會結(jié)束之后，Redmi總經(jīng)理盧偉冰又帶來了一篇長文，詳解了為什么 Redmi 要開啟后性能時代？為什么選擇和 MediaTek、Pixelworks 深度合作？以及后性
5 月 9 日消息，摩爾線程今日宣布推出 Torch-MUSA v2.0.0 版本，這是其面向 PyTorch 深度學習框架的 MUSA 擴展庫的重要升級。
新版本基于 MUSA Compute Capability 3.1 計算架構(gòu)，支持原生 FP8 數(shù)據(jù)類型，支持 PyTorch 2.5.0，并通過多項針對 MUSA 計算平臺的性能優(yōu)化，進一步提升了對 AI 模型和大規(guī)模數(shù)據(jù)處理的支持能力。
作為本次升級的核心亮點，Torch-MUSA v2.0.0 率先在國產(chǎn) GPU 上實現(xiàn)了對 FP8 數(shù)據(jù)類型的完整支持。
FP8 是當前 AI 計算的一種前沿低精度格式，在支持原生 FP8 的 GPU 上，大語言模型（LLM）訓練采用 FP8 混合精度可大幅提高 GPU 算力，顯著降低顯存占用。
摩爾線程基于新一代 MUSA Compute Capability 3.1 計算架構(gòu)的全功能 GPU 原生支持 FP8 計算，這為 Torch-MUSA v2.0.0 實現(xiàn) FP8 矩陣乘法和分布式通信優(yōu)化提供了基礎。依托這一底層架構(gòu)優(yōu)勢，Torch-MUSA v2.0.0 能夠充分發(fā)揮 FP8 的計算效能，提升大語言模型訓練和推理的效率。
Torch-MUSA v2.0.0 在 MUSA 計算平臺引入多項創(chuàng)新功能，進一步提升深度學習任務的執(zhí)行效率：
新增虛擬內(nèi)存管理支持：
MUSA 虛擬內(nèi)存管理技術(shù)能夠有效緩解 GPU 內(nèi)存碎片化問題，降低模型訓練過程中的峰值內(nèi)存占用，特別適用于 FSDP、DeepSpeed 和 Megatron-LM 等主流大模型訓練框架。
新增 MUSA Graph 支持：
MUSA Graph 技術(shù)將多個 MUSA 內(nèi)核整合到一個圖中，通過單次 CPU 調(diào)度大幅減少啟動開銷，提升計算效率，同時與 CUDA Graph 接口高效兼容。
torch.compile 增加 Triton 后端支持：
為 torch.compile 提供了 Triton-MUSA 后端支持，開發(fā)者可以直接使用 PyTorch 原生接口，獲得更高效的性能表現(xiàn)。
Torch-MUSA v2.0.0 在完整支持 PyTorch 2.2.0 的基礎上，新增了對 PyTorch 2.5.0 的支持，使開發(fā)者能夠在基于 MUSA Compute Capability 3.1 計算架構(gòu)的全功能 GPU 上，無縫運行新版本的 PyTorch。
Torch-MUSA 已完全開源，開發(fā)者可通過訪問 GitHub 獲取源代碼。附開源地址：
https://github.com/MooreThreads/torch_musa
本文鏈接：http://www.tebozhan.com/showinfo-119-148904-0.html支持原生 FP8 和 PyTorch 2.5.0，摩爾線程開源發(fā)布 Torch-MUSA v2.0.0
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號