快科技2月5日消息,DeepSeek全球爆火,再一次引發外界對GPU算力限制話題的關注。
據報道,DeepSeek開發的大語言模型繞過了英偉達的CUDA框架,正為未來兼容國產GPU芯片做準備。
眾所周知,英偉達的CUDA(Compute Unified Device Architecture,統一運算架構)能大幅降低研發大模型的難度,獲全球開發商使用,一舉將英偉達推上AI芯片領域的壟斷地位。
但新發現顯示,DeepSeek使用英偉達的H800芯片訓練時,使用英偉達底層硬件指令PTX(Parallel Thread Execution)語言,而非高級編程語言CUDA。
這樣意味著DeepSeek繞過了CUDA,使用更底層的編程語言做優化。
對于程序開發人員來說,CUDA是一種更加友好的高級語言,開發者只需要專注于程序和算法相關的運行邏輯,而不太需要考慮具體的程序是如何在GPU等硬件上具體如何執行計算的,從而能夠降低開發難度。
而PTX在接近匯編語言的層級運行,允許進行細粒度的優化,如寄存器分配和Thread / Warp級別的調整。這種編程非常復雜且難以維護,所以行業通用的做法是使用CUDA這樣的高級編程語言。
換句話說,DeepSeek把優化做到了極致。
北京航空航天大學副教授黃雷表示,繞過CUDA可以直接根據GPU的驅動函數做一些新的開發,從而實現更加細粒度的操作。
這也說明DeepSeek擁有一些擅長寫PTX語言的內部開發者。假如它之后使用國產GPU,其在硬件適配方面將會更得心應手,其只要了解這些硬件驅動提供的一些基本函數接口,就可以仿照英偉達GPU硬件的編程接口去寫相關的代碼,從而讓自家大模型更加容易適配國產硬件。
“這凸顯了DeepSeek非凡的工程水平,并表明美國對華制裁加劇的“GPU短缺危機”激發了他們緊迫感和創造力。”韓國Mirae Asset Securities Research的一名分析師表示。
本文鏈接:http://www.tebozhan.com/showinfo-24-128702-0.html曝DeepSeek繞過CUDA!為適配中國國產GPU做準備 跳出英偉達限制
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com