GS NVMe全闪存储通过XFS文件系统助力太空科研AI处理

该用户是名列全球TOP 5的太空研究机构,专为各种卫星任务和应用开发有效载荷、仪器及天基系统,在通信、广播、导航、灾害监测、气象学、海洋学、环境监测,以及自然资源测量等方面发挥重要的作用,为探索月球、火星等天体做出了重大的贡献。

用户在太空探索中使用人工智能的范围越来越广,程度也越来越深。利用流行的Anaconda 平台进行AI和机器学习,并利用XFS高性能文件系统来管理大型数据集。卫星、遥感仪器以及其他太空探测设备拍摄了大量的图像,而用户开发了人工智能算法,对这些图像自动识别分类哪些是物体(如陨石坑、山脉)、场景(如地质构造、大气条件),以及活动(如物体运动)。从而实现有效的审核(过滤掉可能不适合分析的内容)与标记(例如“火星景观”)。 用户使用AI算法进行识别分类,能够更有效地处理分析大量视觉数据,让行星或天体特征的信息更准确详细,这对于风险评估和任务规划至关重要。在该应用场景下,用户必须使用高性能存储,才能帮助AI处理大量生成数据。

但是用户原来的存储过于陈旧,无法提供 AI 深度学习所需性能,并且存储容量不足,无法保存太空探索设备捕获的大量图像,另外必须的100GbE连接也不能满足。因此用户引进Infortrend存储解决方案,加速AI 深度学习的运行效率,在较短时间内获得更多成果及更有价值的发现。

用户采用两台 Infortrend 超高性能的GS 4024U NVMe混合闪存阵列,以及两台JB 3016扩展柜。为了最大程度地提高性能,GS 4024U设备通过100GbE QSFP28前端通道连接网络交换机。存储安装16颗7.68TB的U.3 NVMe SSD(PCIe Gen 4),处理AI深度学习产生的I/O 密集型工作负载。JB 3016扩展柜安装26颗3.5英寸企业级硬盘(18TB、SAS 12Gb/s、7200RPM)。该解决方案总共提供590TB容量保存太空探索设备捕捉的视觉数据。GS存储解决方案还具有高扩展性,应对不断增加的AI工作负载:添加更多SSD到存储,线性提高性能与容量,每台设备能够提供高达17 GB/s的读、6 GB/s的写。自动分层功能将AI工作负载的热数据分配到高性能SSD磁盘池,已经分析过的冷数据迁移到HDD磁盘池,以节省成本。单一命名空间让分布在各台GS 的数据看起来就像保存在一台GS上 ,使用户能够轻松定位和访问数据。

打开网易新闻 查看更多图片

在Infortrend的存储方案运行后,该机构地球观测部数据可视化组主管给予了相当的肯定:“在高性能存储选型时,Infortrend的存储解决方案是我们唯一的选择。如果不是Infortrend存储,我们用于图像分析和解释的人工神经网络将无法运行。从某种程度上讲,Infortrend存储在我们的太空探索工作发挥了关键作用。”