微軟Azure正在導入更多采用NVIDIA H100的虛擬機器,以增強其AI工作負載的處理能力。H100是NVIDIA最新的AI處理器,具有PCIe為基礎的H100 GPU,通過NVLink連接的一對處理器,擁有近4個petaFLOPS的AI運算能力和188GB更快的HBM3存儲器。
此次合作不僅有助于提升微軟Azure在AI領域的競爭力,也進一步鞏固了NVIDIA在云端AI硬件市場的領先地位。隨著AI技術的快速發展和應用的廣泛普及,云端AI運算的需求也在持續增長。此次微軟與NVIDIA的合作,無疑將推動云端AI硬件的創新和發展。
此外,微軟還計劃在2024年將新的NVIDIA H200 Tensor Core GPU加入其Azure系列中。H200 GPU是專為加速最大的AI工作負載所設計,包括大型語言模型(LLM)及生成式AI模型。它采用新一代HBM3e存儲器,顯著增加存儲器容量和帶寬。相較于H100,H200 GPU將提供141GB HBM3e存儲器和4.8TB/s峰值存儲器帶寬,分別較H100增加1.8倍、1.4倍。
同時,為了幫助開發人員在其Windows PC上運行和配置AI模型,微軟發布了Windows AI Studio。這是一個全新的開發工具,讓開發者可以在其中存取AI模型、并對其進行調整,以滿足其需求。同時,NVIDIA也發布了TensorRT-LLM更新,最初針對Windows推出這項更新,作為在H100 GPU上更有效運行LLM的一種方式。不過,此次最新更新將TensorRT-LLM導入搭載GeForce RTX 30和40系列GPU的PC上。這意味著更多的開發者和公司可以使用先進的AI硬件來訓練和運行他們的模型。
此次微軟與NVIDIA的深度合作,不僅在技術層面提供了更加高效和強大的支持,也預示著云端AI硬件未來的發展趨勢。隨著技術的不斷進步和應用場景的不斷擴展,云端AI硬件的創新和發展將會更加快速和多樣化。
本文鏈接:http://www.tebozhan.com/showinfo-27-31508-0.html微軟與NVIDIA擴大云端AI合作,加速硬件創新
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 裕日車穩步發展,2024年新車上市