深信服統一存儲EDS 520 版本,是一款專為AI大模型打造的統一存儲平臺,可以實現數據采集、標記、訓練、推理和歸檔的全流程承載。
一套存儲滿足AI大模型開發全流程的數據需求
基于NFS+技術優化的存儲系統,通過RDMA技術、多路徑并行訪問以及多級緩存機制,在4K小文件混合讀寫IOPS和1M大文件混合讀寫吞吐方面,分別達到行業領先水平的1.7 倍和5.7倍,3節點吞吐達到120GB/s,RDMA多路徑帶寬性能比TCP單路徑提升將近50倍,將訓練階段GPU平均利用率從傳統存儲的30%提升至70%。
這樣的設計不僅提高了大模型處理數據的效率,結合更高的讀寫速度和OPS,讓大模型在讀取或輸出視頻數據時能達到更快速度;而且增強了系統的靈活性和擴展性,使大模型應用可以應對各種類型和規模數據的處理需求,讓大模型訓練可以更高效地管理和存儲數據。
此外,在高性價比上,深信服EDS存儲實現了單TB可用容量成本降低50%,幫助用戶降低了AI模型訓練的總體成本。實現硬件成本降低的同時,還基于深舟數據管理平臺對數據的高效壓縮和管理能力,64GB可以承載億級以上規模小文件的高速讀寫。