MinIO正在将其AIStor对象软件与超微Intel Xeon 6服务器和Solidigm固态硬盘相结合,打造1 EiB(1.13 EB)机架级本地构建模块,将AI数据存储扩展至泽字节级别。
这是对MinIO在2024年8月推出的DataPOD对象存储参考架构的扩展,该架构是一个可扩展的100 PiB(112.6 PB)模块化构建块,旨在向英伟达GPU服务器快速提供数据。AIStor在一年前发布,通过S3 API、PromptObject、S3 over RDMA支持、AIHub私有Hugging Face存储库以及带有Kubernetes操作器的更新全局控制台,扩展了MinIO的企业级对象存储软件,为AI训练和推理提供快速且大容量的对象存储。ExaPOD参考架构进一步支持EB级容量。
联合创始人兼联席首席执行官AB Periasamy表示:"AI不仅仅是采用最新模型或GPU,而是要重新构建数据在大规模环境下的存储、传输和访问方式。AI时代的赢家将由其以超大规模性能和超级云计算经济效益高效交付数据的能力来定义。ExaPOD使这成为可能,为企业提供简单的模块化架构,让他们能够按自己的条件构建AI基础设施,拥有完全控制权且不妥协。"
MinIO表示,AI训练和推理GPU可能因数据无法足够快速到达GPU而处于空闲状态。ExaPOD将通过"在EB级规模下减少和稳定延迟,确保一致的高吞吐量数据路径,让AI工作负载持续获得数据并保持运行"来保持GPU忙碌状态。
与美国拥有的公有云对象存储相比,它提供可预测的总拥有成本(TCO)、无出口费用或云锁定,以及主权部署能力。建议的TCO为每月每可用TiB 4.55至4.60美元,但具体情况因人而异。
一个ExaPOD 48U机架拥有36 PiB(40.5 PB)全闪存可用容量,每个可用容量PiB使用高达900瓦功率,意味着每个ExaPOD机架功耗32,400瓦。它配备400千兆以太网链路,使用超微SYS-212-TN 2RU服务器,具有24个NVMe驱动器插槽和Xeon 6781P(80核心,136个PCIe Gen 5通道)CPU。固态硬盘为122.88 TB PCIe Gen 5接口QLC闪存NVMe驱动器,在服务器的24个固态硬盘间实现完全并行化,机架可选配液体冷却。
配置32个机架、每机架640台服务器和122.88 TB固态硬盘时,在1 EiB容量下可实现19.2 TBps聚合吞吐量。也支持较低容量的固态硬盘。据MinIO称,它实现了线性性能扩展和一致的首字节时间(TTTB)。据了解,ExaPOD原生支持生成式AI、向量数据库和边缘计算,并支持AI驱动的可观测性。
在MinIO看来,ExaPOD为本地存储世界带来了超大规模单元经济效益。
MinIO将在2025年11月16-21日于圣路易斯举办的超级计算大会上的6513号展台展示ExaPOD。相关ExaPOD背景信息可查看博客和白皮书。
附注
1 EiB(艾字节)包含1,048,576 TiB(太字节),这意味着1 EiB ExaPOD的TCO将为每月4,771,020.80至4,823,449.30美元。
Q&A
Q1:MinIO ExaPOD是什么产品?
A:ExaPOD是MinIO推出的EB级对象存储解决方案,将AIStor软件与超微Intel Xeon 6服务器和Solidigm固态硬盘结合,打造1 EiB机架级存储模块,专为AI数据存储设计,可扩展至泽字节级别。
Q2:ExaPOD如何解决AI GPU空闲问题?
A:AI训练和推理GPU常因数据无法足够快速到达而处于空闲状态。ExaPOD通过在EB级规模下减少和稳定延迟,确保一致的高吞吐量数据路径,让AI工作负载持续获得数据并保持运行状态。
Q3:ExaPOD的性能规格如何?
A:单个ExaPOD 48U机架拥有36 PiB全闪存可用容量,功耗32,400瓦,配备400千兆以太网。配置32个机架时,在1 EiB容量下可实现19.2 TBps聚合吞吐量,实现线性性能扩展。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。