IBM正在为Storage Scale规划“Hyperstore”升级方案,希望借助NVMe over Fabrics加快远程驱动器上的数据获取速度。
Storage Scale是IBM旗下备受推崇的GPFS(通用并行文件系统)的最新版本,其通过各文件系统节点(即服务器)的并行运行以加快文件读写速度。NVMe over Fabrics(简称NVMe-OF)是一种协议,可有效扩展PCIe总线并跨TCP/IP、光纤通道、iSCSI和以太网网络链路运行,为目标服务器提供直接的块级存储驱动器访问。
IBM公司IT架构师Frank Kraemer认为,Tom Lyon在《NFS必须消亡(NFS must die)》一文中表达的观点“非常酷”,并表示“我们打算使用NVMe-oF来提高速度,但仍将保留文件系统接口及Erasure Coding(GPFS Native Raid,简称GNR)的传统方式以实现易用性与安全操作。”
这些计划均以Storage Scale上的Hyperstore功能为中心,由其负责提供NVMe-oF性能池。
在高性能计算(HPC)用户论坛上,IBM发布的演示文稿《IBM供应商更新——存储篇》也提到了这一概念。IBM数据与AI存储解决方案部门存储文件与对象系统首席架构师Chris Maestas表示,在混合和多云世界中数据可谓无处不在,而基于CPU和GPU的算力都希望能像访问本地数据那样访问远程数据。
Storage Scale主要通过提供存储访问、使用单一全局命名空间抽象以及加速等方式达成这一目标,具体如以下页面所示:
在谈到AI工作负载与GPU时,他表示管理员可以拉近远程数据与计算资源之间的距离,使用NVMe-oF模拟GPU计算节点上的本地存储。这一设计原则在SC22大会上也得到了展示,IBM打造的配备SSD的ESS 3500能够为计算客户端提供超过1000万IOPS的吞吐量及数百GBps的传输带宽。为此,该系统还集成有IOPS极高的存储池。
这也正是Hyperstore的起点:
Hyperstore上周于伦敦面向Spectrum Scale User Group首次亮相。这是一套分层系统,Storage Scale使用GNR(native declustered RAID)、性能池与客户端计算节点上的本地驱动器,共同提供可靠的中间存储池。
其使用网络共享磁盘(NSD)访问这套可靠存储池,NSD是文件存储系统网络上存储磁盘的逻辑分组。Storage Scale会对各NSD服务器上的文件进行切片,再将各切片存储为数据块。访问客户端则对各NSD服务器执行实时并行IO。
性能池驱动器属于可靠池驱动器中的子集,使用速度更快的NVMe-oF进行访问,且全部计算节点共享统一的缓存。
关于Hyperstore的更多细节将在未来几个月内公布。
好文章,需要你的鼓励
随着AI策略成熟,CIO开始重新考虑对公有云的依赖,私有云和本地环境重新受到关注。调查显示,67%的企业领导计划在未来12个月内将部分AI数据迁移至非云环境。主要原因包括成本可预测性、数据隐私保护、安全问题和云集成挑战。对于持续的AI工作负载,购买自有GPU比租用公有云更经济。私有云支出增长更快,预计2025年将有54%的组织在私有云上投入超过1000万美元。
沙特TachyHealth团队开发的32亿参数医疗AI模型Gazal-R1,通过创新的双阶段训练方法在医疗推理任务上超越了12倍大的模型,在MedQA等测试中取得87.1%的优异成绩,展现了精巧训练策略胜过规模扩张的重要启示,为资源有限的医疗AI研究提供了新路径。
本文深入分析了从传统AI发展到AGI过程中可能出现的智能爆发现象。基于AI专家共识的2040年AGI实现预期,文章探讨了七种主要发展路径,重点关注突破性的"登月路径"。智能爆发理论认为,智能可以像原子链式反应一样相互促进,快速产生大量新智能。文章预测2038-2039年可能发生智能爆发,随后在2040年实现AGI,但也指出了关于智能爆发的启动、控制和潜在风险等争议问题。
奥地利维也纳医科大学研究团队开发了RetFiner技术,通过让眼科AI模型同时学习OCT图像和医疗文字描述,显著提升了诊断准确率。该方法采用四种训练任务让AI模型建立图像与文字的深层联系,在三个主流眼科AI模型上实现了2-6个百分点的性能提升,为医学AI发展开辟了新方向。