IBM最新发布的Storage Scale v6.0版本引入了数据加速层(DAT),这是一个基于NVMeoF的高性能存储层,专为实时AI推理工作负载提供极高IOPS和超低延迟。
Storage Scale原名GPFS,是IBM的并行文件系统软件,在超级计算、高性能计算以及采用HPC风格IT架构处理快速文件IO工作负载的企业计算环境中广受欢迎,特别是在生成式AI领域。为适应生成式AI时代,该系统通过新增存储层来加速向GPU服务器传输数据,实现低延迟和高速访问。
数据加速层采用非对称数据复制技术,提供"性能"数据副本用于快速读取,以及"可靠"数据副本用于数据安全,后者通过纠删码进行保护。性能副本是持久的非冗余缓存,采用惰性一致性维护,意味着错过的更新会在驱动器重新上线后的下次读取时得到纠正。
性能副本池有两种部署选项,都在Storage Scale System 6000设备上维护可靠池:
集中式DAT配置针对易用性进行了优化,满足常规AI工作负载的IOPS需求,性能池部署在Storage Scale System 6000上,使用NVMeoF进行客户端访问。该配置在32个节点上实现了2900万IOPS。
分布式DAT配置针对更高的极限AI工作负载IOPS需求进行了优化,性能池部署在客户端本地存储(GPU服务器直连存储)上,性能由驱动器配置和客户端节点的计算能力决定。该配置在16个节点上实现了1600万IOPS。
ESS 6000支持单个DATA文件系统,DAT文件系统不能使用超过一个ESS 6000,并且应该是全NVMe闪存配置,而非混合配置。
IBM表示,Storage Scale v6.0还包含以下AI相关功能:
内容感知存储引入异步通知功能,实现更快速的事件驱动数据摄取到AI推理工作流程中。扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台以及英伟达认证存储保持一致,确保性能和兼容性。
该版本还提供一键GUI升级、增强的预检查和统一协议部署来简化操作。API驱动的控制平面增强有助于实现配额等功能的自动化。改进了驱逐和快照的问题确定诊断,简化根本原因分析和修复。
IBM表示Storage Scale 6.0.0应该增加对NFS nconnect的支持,这使得高吞吐量AI工作负载能够在标准以太网上运行。IBM计划在未来版本中添加对SMB多通道的支持,这将实现从基于Windows的仪器高速数据采集以及基于Windows应用程序的更快后续数据处理。
IBM计划在软件的未来版本中移除DAT不能支持远程集群的限制。
Q&A
Q1:什么是Storage Scale的数据加速层?
A:数据加速层(DAT)是IBM Storage Scale v6.0中新增的基于NVMeoF的高性能存储层,专门为实时AI推理工作负载设计,能够提供极高IOPS和超低延迟。它采用非对称数据复制技术,提供性能副本用于快速读取和可靠副本用于数据安全保护。
Q2:Storage Scale v6.0有哪些部署方式?
A:Storage Scale v6.0提供两种数据加速层部署方式:集中式DAT配置针对易用性优化,性能池部署在Storage Scale System 6000上,32个节点可实现2900万IOPS;分布式DAT配置针对极限性能需求,性能池部署在GPU服务器本地存储,16个节点可实现1600万IOPS。
Q3:Storage Scale v6.0如何与英伟达平台集成?
A:Storage Scale v6.0扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。同时与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台保持一致,确保性能和兼容性。
好文章,需要你的鼓励
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
微软研究院发布突破性多语言AI技术UPDESH,通过"自下而上"数据生成策略,让AI真正理解不同文化背景下的语言表达。该技术基于各语言维基百科内容生成950万个训练数据点,覆盖13种印度语言,显著提升低资源语言AI性能,为构建文化敏感型AI系统提供新路径。
麻省理工学院研究发现过度依赖AI会导致认知债务,削弱基本思维能力。研究表明交替进行无辅助思考和AI支持工作的模式能保持认知敏锐度。这种认知高强度间歇训练模仿体能训练中的HIIT模式,通过短时间高强度思考与恢复期交替进行,可以强化大脑神经回路,防止认知衰退,提升独立思考能力。
NVIDIA团队提出RLBFF方法,将AI训练中的复杂评价转化为明确的二元判断标准,解决了传统人类反馈模糊和可验证奖励局限的问题。该方法在多个权威测试中取得突破性成果,其中JudgeBench获得第一名,训练的模型性能媲美知名商业模型但成本仅为其5%,为AI训练领域带来重要方法论创新。