此前我們說過,AS13000融合存儲系統是浪潮信息應對AIGC存儲的答卷,針對Token、也好,Checkpoint也好,AS13000通過數控分離架構,減少東西向數據量的轉發;通過GDS、RMDA技術縮短I/O路徑,通過SPDK、緩存零拷貝技術減少I/O路徑上的數據拷貝,以及基于自研NVMe SSD開發的盤控協同技術,減少I/O訪問SSD盤的次數,使存儲性能得到進一步釋放。AS13000全閃單節點帶寬超過50GB/s,IOPS超過50萬;此外,創新性地引入雙控全閃節點,帶寬超100GB/s,IOPS超100萬,真正使系統具備千萬級IOPS、EB級帶寬,充分滿足AIGC場景對存儲系統的苛刻要求。
在8月末,在杭州舉行的2023全球閃存峰會期間,浪潮信息重磅發布了高性能分布式存儲平臺,AS15000G7將AIGC存儲又帶到了一個新的臺階,與此同時,浪潮信息發布了數據中心算力、全閃、混閃,1:1:1黃金比例建設的原則。
浪潮信息存儲產品線副總經理劉希猛表示:“當前,各個廠商紛紛投資硬件,訓練自己的大模型,國內已發布的生成式AI模型超過了100個,‘百模爭秀’的格局初現,云廠商和運營商對IT硬件的投資往往是成千上萬節點規模,而行業大廠投資在幾百節點規模,在建設布局時考慮到AI大模型對高性能AI服務器、高吞吐并行存儲系統、低延遲RDMA網絡的嚴苛需求,將數據中心的算力、全閃、混閃按照1:1:1黃金比例建設,可實現用戶整體投入最小化?!?span style="display:none">70L28資訊網——每日最新資訊28at.com
“一臺8卡最先進GPU服務器后端配置的存儲節點寫帶寬要求20GB/s,讀帶寬要求40GB/s,通常一臺全閃存儲節點的寫帶寬是20GB/s,讀帶寬接近30GB/s,可得到計算節點與全閃節點的數量比例接近1:1。按著數據使用規律,通常熱數據和溫冷數據的容量配置約為1:10,即全閃單節點容量為50~100TB,混閃節點容量為500~1000TB,全閃節點與混閃節點的數量比例接近1:1?!?劉希猛說。
“我們建議用戶整體規劃布局,避免在存儲擴容、數據遷移和數據管理方面隨著業務的增加而力不從心,因此按照算力、全閃、混閃節點數量配比1:1:1來設計規劃和部署是目前的最優方案?!?劉希猛繼續補充說。
分布式存儲產品線總經理姜樂果表示:AS15000G7是在AS13000基礎上的升級迭代,如果說AS13000的特點是極致融合,那么AS15000G7的特點則是極致性能。
AS15000G7采用高吞吐并行存儲系統,通過GDS、RDMA技術縮短I/O路徑;通過智能元數據管理,提前緩存用戶數據和文件系統元數據,顯著提升數據訪問和檢索速度;獨有的智能網絡優化技術,可實現多個子網與指定目的地通信,每對守護進程之間建立多個TCP連接并通信,顯著提升網絡端口并發能力,實現傳輸端口帶寬翻數倍,時延縮短50%以上,小文件級傳輸的時延可降至毫秒級。
以GDS(GPU Direct Storage)為例,能夠將GPU和外部數據存儲的帶寬提升2~8倍,當GPU并發度增加的時候,GDS仍然能夠保持穩定的低延遲輸出,非常適用于AIGC等AI應用場景的應用。通過對于GDS的支持,GPU直接訪問存儲,從而避免了傳統設計應用中,CPU調度帶來的訪問延遲??梢哉f,GDS也好,RDMA也好,對于新的訪問協議的支持,已經成為了分布式文件系統的基本功,也是追求極致性能的必由之路。
AS15000G7提供了自動化的數據分層和遷移的功能,從而為滿足AIGC場景應用提供了更好的支持,因為除了高速并行訪問能力之外,AIGC訓練、推理中的中間結果數據需要存儲和保留,很多都是以冷數據形式呈現,也更加適合混閃陣列的定位,這也是浪潮信息提出全閃、混閃1;1的原因。AS15000G7在產品設計上充分考慮到了這一點,提供了通用型、容量型和性能型的產品類型。通過基于閃存、磁盤、磁帶、光盤的靈活配置,可最大程度降低用戶的整體投入。
AS15000G7新品同時搭載了AIStation調度平臺和InView數據管理平臺,通過對AI服務器、網絡、存儲的智能運維,提高多租戶管理、資源分配、數據管理分析的能力和水平。與此同時,AS15000G7保留了多協議實時互訪互通和系統扁平擴展的能力,從而能夠實現對于多元異構非結構化數據,如文本、圖片、音頻、視頻等,以及文件、對象、大數據以及視頻文件的高效共享。
“1:1:1,也許這樣配置比較奢侈,很少有用戶能夠達到這樣的配置,那是因為沒有考慮到混合模態、多模態訓練的需要。” 劉希猛說。
本文鏈接:http://www.tebozhan.com/showinfo-27-9194-0.html1:1:1,浪潮信息的AIGC新答卷
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 充電?換電?未來補能誰說得算
下一篇: 英特爾宣布與高塔半導體達成新代工協議