本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
一直以來(lái)，Pytorch在Mac上僅支持使用CPU進(jìn)行訓(xùn)練。
就在剛剛，Pytorch官方宣布，其最新版v1.12可以支持GPU加速了。
只要是搭載了M1系列芯片的Mac都行。
這也就意味著在Mac本機(jī)用Pytorch“煉丹”會(huì)更方便了！
訓(xùn)練速度可提升約7倍
此功能由Pytorch與Apple的Metal工程團(tuán)隊(duì)合作推出。
它使用Apple的Metal Performance Shaders(MPS) 作為PyTorch的后端來(lái)啟用GPU加速訓(xùn)練。
為了優(yōu)化計(jì)算性能，MPS還針對(duì)Metal GPU系列的獨(dú)特特性對(duì)每個(gè)內(nèi)核進(jìn)行了微調(diào)。
Metal是一個(gè)類(lèi)似OpenGL的框架，只不過(guò)OpenGL適用于各平臺(tái)的移動(dòng)端GPU渲染和計(jì)算，Metal專(zhuān)用于iOS/MacOS平臺(tái)，不過(guò)也兼顧了性能和易用性。
MPS就是一套基于Metal框架的庫(kù)，直接調(diào)用即可使用GPU的高性能進(jìn)行圖形處理、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)等工作。
蘋(píng)果官方在搭載了M1 Ultra、20核CPU、64核GPU、128GB RAM和2TB SSD的Mac Studio上進(jìn)行了測(cè)試。
（這陣容差不多能算是豪華配置了）。
他們分別訓(xùn)練了batch size為128的ResNet50、batch size為64的HuggingFace BERT，以及batch size=64的VGG16。
從下圖中我們可以發(fā)現(xiàn)，相比使用CPU加速，使用GPU可將模型訓(xùn)練速度提高約7倍，評(píng)估（evaluation）速度則最高能提約20倍。
看到這兒，有網(wǎng)友開(kāi)始好奇它與搭載了Nvidia GPU的laptop相比性能如何。
有人表示，雖說(shuō)目前M1的原始計(jì)算性能比不上英偉達(dá)的產(chǎn)品，但功耗方面還不錯(cuò)。未來(lái)蘋(píng)果很有可能慢慢追上性能。
總的來(lái)說(shuō)，Mac Studio現(xiàn)在看起來(lái)實(shí)在太香了。
他進(jìn)一步解釋道：
“畢竟它是你花4800美元就能買(mǎi)到的最便宜、包含128GB GPU內(nèi)存的機(jī)器。現(xiàn)在有了基于GPU加速的PyTorch支持，完全可以用來(lái)訓(xùn)練大模型、配置大的batch size。
對(duì)于我所做的那種DL工作，數(shù)據(jù)加載比實(shí)際的原始計(jì)算能力更容易成為瓶頸。”
你心動(dòng)了嗎？
現(xiàn)在就試試？
只需保證你的macOS操作系統(tǒng)在12.3版本及以上，且安裝了arm64原生Python，然后去官網(wǎng)下載最新的Pytorch預(yù)覽版就可以了。
地址：
https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/
本文鏈接：http://www.tebozhan.com/showinfo-119-2334-0.html煉丹速度×7！你的Mac電腦也能在PyTorch訓(xùn)練中用GPU加速了
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
