10 月 8 日消息,微軟公司于 10 月 2 日發布博文,宣布面向客戶和合作伙伴,正式開放 Azure H200 v5 系列虛擬機,幫助企業應對日益繁重的 AI 工作負載需求。
微軟在博文中表示:“H200 v5 系列虛擬機,通過規模、效率和增強性能等,推動客戶和 Microsoft AI 服務(如 Azure 機器學習和 Azure OpenAI 服務)普及和落地”。
OpenAI 的基礎設施負責人 Trevor Cai 表示,OpenAI 正在利用新的虛擬機系列推動研究和開發,并為用戶微調 ChatGPT。
Cai 表示:“我們很高興能夠采用 Azure 的新 H200 虛擬機。我們發現 H200 在最小遷移工作下提供了更好的性能,我們期待使用這些虛擬機加速我們的研究,改善 ChatGPT 體驗,并推動我們的使命”。
Azure H200 v5 系列虛擬機采用微軟方案實現“增強效率和性能”,包括 8 個英偉達 H200 Tensor Core GPU,解決了企業用戶在計算能力方面捉襟見肘的困境。
援引微軟官方新聞稿,Azure H200 v5 系列虛擬機在運行 LLAMA 3.1 405B 模型推理工作負載時,吞吐量提升達 35%。
Azure ND H200 v5 系列虛擬機最高提供 141GB HBM,相比較上一代 H100 v5 提高了 76%,此外帶寬為 4.8 TB/s,提高了 43%。
本文鏈接:http://www.tebozhan.com/showinfo-24-125997-0.html微軟上線 Azure H200 v5 系列 AI 虛擬機:吞吐量提升 35%、HBM 帶寬 4.8 TB s 提高 43%
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com