Hammerspace公司表示,IO500测试结果显示其标准Linux加NFS系统软件能够实现高性能计算级别的性能,而无需专有并行文件系统的复杂性。
IO500基准测试对为超级计算机和其他高性能计算系统提供数据的存储系统性能进行排名,其10节点生产环境测试限制系统只能为10个客户端提供服务。Hammerspace表示,这是首次有完全基于标准的架构——标准Linux、上游NFSv4.2客户端和商用NVMe闪存——实现了传统上只有专有并行文件系统才能达到的10节点生产环境完全可重现的IO500结果。在IO500的SC25 10节点生产环境测试结果中共有33个系统,这是有史以来最快的NFS结果,使Hammerspace在排名中位列第18位。
Hammerspace首席技术官兼Linux NFS客户端内核维护者Trond Myklebust表示:"这个IO500结果改写了人们对基于标准的Linux和NFS能力的长期假设。使用Hammerspace并行全局文件系统,通过上游Linux、pNFS和NVMe硬件实现领先的10节点生产环境得分,证明了高性能计算级别的性能不再需要专有客户端或专用文件系统。这一成就对Linux性能社区来说是一个重要时刻。"
Hammerspace表示,其数据平台软件系统在十个DSX节点上运行,并使用了三星PM1753 NVMe固态硬盘。它"将所有DSX节点的存储统一为单一共享文件系统,客户端使用并行NFS(pNFS)v4.2和灵活文件布局进行挂载。"
总体得分为85.23,带宽为74.66 GBps,计算IOPS kIOPS测量值为97.29,使其"与Lustre、DAOS和WEKA等传统高性能计算文件系统架构并肩,但无需专用网络、专有客户端和专用硬件。"
该公司表示,连接到存储系统的10台客户端机器使用标准Linux NFS客户端;不需要专有的前端客户端软件。
Hammerspace此前曾在ISC25上提交了IO500测试,但表现不如与三星合作的最新提交。
该公司表示:"Hammerspace设计并向上游贡献的最新Linux内核增强功能是改善得分的原因,Hammerspace代码的重大改进也起到了作用。"
提交系统配置的差异,如三星固态硬盘,也产生了影响。kIOPS数字的下降是由于在三星的生产配置中使用了冗余Anvil元数据服务器。而在之前面向研究的提交中只有一个这样的服务器。
Hammerspace声称,"通过正确的架构,标准协议可以实现AI训练、RAG管道、智能体工作流程和经典高性能计算模拟所需的低延迟、大规模并行和全局可扩展性。"这些标准协议是NFS v4.1和pNFS。
这意味着它可以达到与DDN的EXAScaler(Lustre)、其他Lustre系统、WEKA、Spectrum Scale和VAST Data等并行文件系统相同的高性能计算级别性能,并且无需供应商锁定或昂贵的硬件和复杂的软件。这使其在高性能计算级别的AI训练和推理工作负载方面具有良好的定位。
Q&A
Q1:Hammerspace在IO500测试中取得了什么成绩?
A:Hammerspace在IO500的10节点生产环境测试中排名第18位,这是有史以来最快的NFS结果。总体得分为85.23,带宽为74.66 GBps,计算IOPS为97.29 kIOPS。
Q2:Hammerspace的技术优势是什么?
A:Hammerspace使用标准Linux、上游NFSv4.2客户端和商用NVMe闪存等标准架构,无需专有客户端或专用文件系统,就能实现与传统高性能计算文件系统相同的性能,避免了供应商锁定和昂贵的硬件成本。
Q3:这项技术可以应用在哪些场景?
A:该技术可以应用于AI训练、RAG管道、智能体工作流程和经典高性能计算模拟等场景,能够提供这些应用所需的低延迟、大规模并行和全局可扩展性。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。