3 月 27 日消息,據外媒 Tom's Hardware 報道,群聯在英偉達 GDC2024 上展示了同 Maingear 合作的 aiDaptiv+ 硬件平臺,可降低中小型企業 AI 模型微調訓練成本。
群聯表示中小型企業在模型微調訓練方面面臨各種困難:采用云服務不僅昂貴也存在數據隱私的不穩定性;而在本地運行又需要復雜的構建過程,電力需求也不能忽視。
而群聯 aiDaptiv+ 方案采用超耐用型 aiDAPTIVCache 固態硬盤,可擴展系統的可用內存容量,容納更大模型,同時也方便易用。
具體來說,aiDaptiv+ 包含的中間件軟件庫可將 GPU 顯存中不活躍的 AI 模型層切片分離,在 aiDAPTIVCache 緩存固態硬盤上暫放待處理的這些切片,并將 GPU 上已完成的部分與待處理的切片交換。此過程無需對 AI 應用本身進行修改。
群聯表示,其 aiDaptiv+ 方案可在一臺 4 卡工作站平臺中完成 Llama 70b 模型的微調訓練,容納顯存總量 7 倍以上的數據。
而為了實現這種顯存外數據存儲,方案中的固態硬盤必須要有足夠高的耐久。
群聯此次推出的 aiDAPTIVCache 系列固態硬盤 ai100E,其采用 SLC 閃存,每根容量 2TB,擁有 5 年內 100DWPD(注:每日整盤寫入次數)的寫入耐久。
本文鏈接:http://www.tebozhan.com/showinfo-45-3778-0.html利用固態硬盤降低 AI 微調訓練顯存需求,群聯展示 aiDaptiv+ 平臺
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 馬斯克宣布 Grok 聊天機器人將在本周晚些時候向所有 X Premium 訂閱用戶開放
下一篇: 北汽極狐:“走得快”還要“走得遠”