IBM最新发布的Storage Scale v6.0版本引入了数据加速层(DAT),这是一个基于NVMeoF的高性能存储层,专为实时AI推理工作负载提供极高IOPS和超低延迟。
Storage Scale原名GPFS,是IBM的并行文件系统软件,在超级计算、高性能计算以及采用HPC风格IT架构处理快速文件IO工作负载的企业计算环境中广受欢迎,特别是在生成式AI领域。为适应生成式AI时代,该系统通过新增存储层来加速向GPU服务器传输数据,实现低延迟和高速访问。
数据加速层采用非对称数据复制技术,提供"性能"数据副本用于快速读取,以及"可靠"数据副本用于数据安全,后者通过纠删码进行保护。性能副本是持久的非冗余缓存,采用惰性一致性维护,意味着错过的更新会在驱动器重新上线后的下次读取时得到纠正。
性能副本池有两种部署选项,都在Storage Scale System 6000设备上维护可靠池:
集中式DAT配置针对易用性进行了优化,满足常规AI工作负载的IOPS需求,性能池部署在Storage Scale System 6000上,使用NVMeoF进行客户端访问。该配置在32个节点上实现了2900万IOPS。
分布式DAT配置针对更高的极限AI工作负载IOPS需求进行了优化,性能池部署在客户端本地存储(GPU服务器直连存储)上,性能由驱动器配置和客户端节点的计算能力决定。该配置在16个节点上实现了1600万IOPS。
ESS 6000支持单个DATA文件系统,DAT文件系统不能使用超过一个ESS 6000,并且应该是全NVMe闪存配置,而非混合配置。
IBM表示,Storage Scale v6.0还包含以下AI相关功能:
内容感知存储引入异步通知功能,实现更快速的事件驱动数据摄取到AI推理工作流程中。扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台以及英伟达认证存储保持一致,确保性能和兼容性。
该版本还提供一键GUI升级、增强的预检查和统一协议部署来简化操作。API驱动的控制平面增强有助于实现配额等功能的自动化。改进了驱逐和快照的问题确定诊断,简化根本原因分析和修复。
IBM表示Storage Scale 6.0.0应该增加对NFS nconnect的支持,这使得高吞吐量AI工作负载能够在标准以太网上运行。IBM计划在未来版本中添加对SMB多通道的支持,这将实现从基于Windows的仪器高速数据采集以及基于Windows应用程序的更快后续数据处理。
IBM计划在软件的未来版本中移除DAT不能支持远程集群的限制。
Q&A
Q1:什么是Storage Scale的数据加速层?
A:数据加速层(DAT)是IBM Storage Scale v6.0中新增的基于NVMeoF的高性能存储层,专门为实时AI推理工作负载设计,能够提供极高IOPS和超低延迟。它采用非对称数据复制技术,提供性能副本用于快速读取和可靠副本用于数据安全保护。
Q2:Storage Scale v6.0有哪些部署方式?
A:Storage Scale v6.0提供两种数据加速层部署方式:集中式DAT配置针对易用性优化,性能池部署在Storage Scale System 6000上,32个节点可实现2900万IOPS;分布式DAT配置针对极限性能需求,性能池部署在GPU服务器本地存储,16个节点可实现1600万IOPS。
Q3:Storage Scale v6.0如何与英伟达平台集成?
A:Storage Scale v6.0扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。同时与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台保持一致,确保性能和兼容性。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。