IBM最新发布的Storage Scale v6.0版本引入了数据加速层(DAT),这是一个基于NVMeoF的高性能存储层,专为实时AI推理工作负载提供极高IOPS和超低延迟。
Storage Scale原名GPFS,是IBM的并行文件系统软件,在超级计算、高性能计算以及采用HPC风格IT架构处理快速文件IO工作负载的企业计算环境中广受欢迎,特别是在生成式AI领域。为适应生成式AI时代,该系统通过新增存储层来加速向GPU服务器传输数据,实现低延迟和高速访问。
数据加速层采用非对称数据复制技术,提供"性能"数据副本用于快速读取,以及"可靠"数据副本用于数据安全,后者通过纠删码进行保护。性能副本是持久的非冗余缓存,采用惰性一致性维护,意味着错过的更新会在驱动器重新上线后的下次读取时得到纠正。
性能副本池有两种部署选项,都在Storage Scale System 6000设备上维护可靠池:
集中式DAT配置针对易用性进行了优化,满足常规AI工作负载的IOPS需求,性能池部署在Storage Scale System 6000上,使用NVMeoF进行客户端访问。该配置在32个节点上实现了2900万IOPS。
分布式DAT配置针对更高的极限AI工作负载IOPS需求进行了优化,性能池部署在客户端本地存储(GPU服务器直连存储)上,性能由驱动器配置和客户端节点的计算能力决定。该配置在16个节点上实现了1600万IOPS。
ESS 6000支持单个DATA文件系统,DAT文件系统不能使用超过一个ESS 6000,并且应该是全NVMe闪存配置,而非混合配置。
IBM表示,Storage Scale v6.0还包含以下AI相关功能:
内容感知存储引入异步通知功能,实现更快速的事件驱动数据摄取到AI推理工作流程中。扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台以及英伟达认证存储保持一致,确保性能和兼容性。
该版本还提供一键GUI升级、增强的预检查和统一协议部署来简化操作。API驱动的控制平面增强有助于实现配额等功能的自动化。改进了驱逐和快照的问题确定诊断,简化根本原因分析和修复。
IBM表示Storage Scale 6.0.0应该增加对NFS nconnect的支持,这使得高吞吐量AI工作负载能够在标准以太网上运行。IBM计划在未来版本中添加对SMB多通道的支持,这将实现从基于Windows的仪器高速数据采集以及基于Windows应用程序的更快后续数据处理。
IBM计划在软件的未来版本中移除DAT不能支持远程集群的限制。
Q&A
Q1:什么是Storage Scale的数据加速层?
A:数据加速层(DAT)是IBM Storage Scale v6.0中新增的基于NVMeoF的高性能存储层,专门为实时AI推理工作负载设计,能够提供极高IOPS和超低延迟。它采用非对称数据复制技术,提供性能副本用于快速读取和可靠副本用于数据安全保护。
Q2:Storage Scale v6.0有哪些部署方式?
A:Storage Scale v6.0提供两种数据加速层部署方式:集中式DAT配置针对易用性优化,性能池部署在Storage Scale System 6000上,32个节点可实现2900万IOPS;分布式DAT配置针对极限性能需求,性能池部署在GPU服务器本地存储,16个节点可实现1600万IOPS。
Q3:Storage Scale v6.0如何与英伟达平台集成?
A:Storage Scale v6.0扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。同时与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台保持一致,确保性能和兼容性。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。