IBM最新发布的Storage Scale v6.0版本引入了数据加速层(DAT),这是一个基于NVMeoF的高性能存储层,专为实时AI推理工作负载提供极高IOPS和超低延迟。
Storage Scale原名GPFS,是IBM的并行文件系统软件,在超级计算、高性能计算以及采用HPC风格IT架构处理快速文件IO工作负载的企业计算环境中广受欢迎,特别是在生成式AI领域。为适应生成式AI时代,该系统通过新增存储层来加速向GPU服务器传输数据,实现低延迟和高速访问。
数据加速层采用非对称数据复制技术,提供"性能"数据副本用于快速读取,以及"可靠"数据副本用于数据安全,后者通过纠删码进行保护。性能副本是持久的非冗余缓存,采用惰性一致性维护,意味着错过的更新会在驱动器重新上线后的下次读取时得到纠正。
性能副本池有两种部署选项,都在Storage Scale System 6000设备上维护可靠池:
集中式DAT配置针对易用性进行了优化,满足常规AI工作负载的IOPS需求,性能池部署在Storage Scale System 6000上,使用NVMeoF进行客户端访问。该配置在32个节点上实现了2900万IOPS。
分布式DAT配置针对更高的极限AI工作负载IOPS需求进行了优化,性能池部署在客户端本地存储(GPU服务器直连存储)上,性能由驱动器配置和客户端节点的计算能力决定。该配置在16个节点上实现了1600万IOPS。
ESS 6000支持单个DATA文件系统,DAT文件系统不能使用超过一个ESS 6000,并且应该是全NVMe闪存配置,而非混合配置。
IBM表示,Storage Scale v6.0还包含以下AI相关功能:
内容感知存储引入异步通知功能,实现更快速的事件驱动数据摄取到AI推理工作流程中。扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台以及英伟达认证存储保持一致,确保性能和兼容性。
该版本还提供一键GUI升级、增强的预检查和统一协议部署来简化操作。API驱动的控制平面增强有助于实现配额等功能的自动化。改进了驱逐和快照的问题确定诊断,简化根本原因分析和修复。
IBM表示Storage Scale 6.0.0应该增加对NFS nconnect的支持,这使得高吞吐量AI工作负载能够在标准以太网上运行。IBM计划在未来版本中添加对SMB多通道的支持,这将实现从基于Windows的仪器高速数据采集以及基于Windows应用程序的更快后续数据处理。
IBM计划在软件的未来版本中移除DAT不能支持远程集群的限制。
Q&A
Q1:什么是Storage Scale的数据加速层?
A:数据加速层(DAT)是IBM Storage Scale v6.0中新增的基于NVMeoF的高性能存储层,专门为实时AI推理工作负载设计,能够提供极高IOPS和超低延迟。它采用非对称数据复制技术,提供性能副本用于快速读取和可靠副本用于数据安全保护。
Q2:Storage Scale v6.0有哪些部署方式?
A:Storage Scale v6.0提供两种数据加速层部署方式:集中式DAT配置针对易用性优化,性能池部署在Storage Scale System 6000上,32个节点可实现2900万IOPS;分布式DAT配置针对极限性能需求,性能池部署在GPU服务器本地存储,16个节点可实现1600万IOPS。
Q3:Storage Scale v6.0如何与英伟达平台集成?
A:Storage Scale v6.0扩展了与英伟达的集成,支持CNSA容器原生存储访问的GPUDirect Storage、增强的Base Command Manager支持以及英伟达Nsight集成。同时与英伟达BasePOD/SuperPOD和Grace Blackwell平台、英伟达云平台保持一致,确保性能和兼容性。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。