DDN 宣布推出专为 AI 训练和推理设计的 Infinia 2.0 对象存储系统,声称在 AI 数据加速方面可提升高达 100 倍的性能,并在数据中心和云计算成本效率方面实现 10 倍提升。
Infinia 是一个从底层设计的基于键值对的对象存储系统。我们最近在这里详细介绍过 Infinia 的技术。
DDN 首席执行官兼联合创始人 Alex Bouzari 表示:"财富 500 强企业中有 85 家在 DDN 的数据智能平台上运行其 AI 和高性能计算应用。通过 Infinia,我们能够将客户的数据分析和 AI 框架加速数个数量级,实现更快的模型训练和准确的实时洞察,同时确保 GPU 效率和能源使用的未来可持续性。"
他的 DDN 创始合伙人、总裁 Paul Bloch 说:"我们的平台已经部署在全球一些最大的 AI 工厂和云环境中,证明了其支持大规模关键任务 AI 运营的能力。"DDN 此前表示 Elon Musk 的 xAI 是其客户。
AI 数据存储是 DDN 对 Infinia 的核心定位。首席技术官 Sven Oehme 表示:"AI 工作负载需要实时数据智能来消除瓶颈、加速工作流程,并在复杂的模型列表、训练前后、RAG、智能 AI、多模态环境和推理中实现无缝扩展。Infinia 2.0 的设计旨在最大化这些领域的 AI 价值,同时提供实时数据服务、高效多租户、智能自动化和强大的 AI 原生架构。"
Infinia 包含事件驱动的数据移动、多租户、硬件无关设计、99.999% 以上的正常运行时间、高达 10 倍的永久数据压缩、容错网络纠删码和自动 QoS。它与其他快速的、最近加速的对象存储系统并驾齐驱,如 Cloudian 的 HyperStore、MinIO、Quantum Myriad、Scality 的 RING 和 VAST Data。
Infinia 软件与 Nvidia 的 Nemo 和 NIMS 微服务、GPU、Bluefield 3 DPU 和 Spectrum-X 网络协同工作,加速 AI 数据流水线。DDN 声称它"在核心、云和边缘环境中集成了 AI 推理、数据分析和模型准备"。Infinia 与 Trino、Apache Spark、TensorFlow、PyTorch "和其他 AI 框架集成,以加速 AI 应用"。
Nvidia DGX 平台副总裁 Charlie Boyle 评论道:"结合 Nvidia 的加速计算和企业软件,像 DDN Infinia 2.0 这样的平台为企业提供了充分利用数据所需的基础设施。"
Infinia 具有 TB 级带宽和亚毫秒级延迟,"性能超过 AWS S3 Express 10 倍,提供前所未有的 S3 性能"。DDN 的其他优势包括 AI 数据加速 100 倍,AI 工作负载速度提升 10 倍,效率比 Hadoop 高 100 倍(基于"独立基准测试"),元数据处理速度提升 100 倍,每秒对象列表处理速度比 AWS 快 100 倍,AI 模型训练和推理查询速度提升 25 倍。
Infinia 系统"可从 TB 级扩展到 EB 级,在单个部署中支持超过 100,000 个 GPU 和 100 万个同时连接的客户端,实现大规模 AI 创新"。DDN 表示,它"在实际数据中心和云部署中已经得到验证,可支持 10 到 100,000 多个 GPU,在任何规模下都能确保最大的 GPU 利用率,实现无与伦比的效率和成本节省"。
超微计算机首席执行官 Charles Liang 表示:"通过将 DDN 的数据智能平台 Infinia 2.0 与超微的前沿服务器工作负载优化解决方案相结合,两家公司合作打造了世界上最大的 AI 数据中心之一。"我们认为这指的是 xAI 的 Colossus 数据中心为 Grok 3 阶段 1 所做的扩展。DDN 在这里提供了更多关于 Infinia 的信息。
补充说明: 据了解,xAI 最新的 Grok 3 大语言模型在训练和运行时同时使用了 VAST Data 存储和 DDN 的 Exa 及 Infinia 存储。
好文章,需要你的鼓励
北京交通大学与西蒙弗雷泽大学联合研发的混合神经-MPM方法实现了实时交互式流体模拟。该方法巧妙结合神经物理学与传统数值求解器,在低时空分辨率下运行神经网络并设置保障机制自动切换到MPM,显著降低计算延迟同时保持高保真度。团队还设计了基于扩散模型的控制器,支持用户通过简单草图直观控制流体行为,为游戏、VR和设计领域提供了实用解决方案。
这项研究介绍了EgoZero,一种创新的机器人学习系统,能够仅通过Project Aria智能眼镜捕获的人类示范数据,训练出零样本迁移的机器人操作策略。研究团队提出了一种形态无关的状态-动作表示方法,使用点集来统一人类和机器人数据,并开发了从原始视觉输入中提取准确3D表示的技术。在没有任何机器人训练数据的情况下,EgoZero在7种真实世界操作任务上实现了70%的成功率,展示了强大的泛化能力,为解决机器人学习中的数据瓶颈问题提供了新思路。
FLAME-MoE是卡内基梅隆大学团队开发的首个全透明混合专家语言模型研究平台,包含7个规模从3800万到17亿活跃参数的模型。它采用每层64位专家、top-8选择和2位共享专家的架构,公开所有训练数据、代码和检查点。实验显示,FLAME-MoE比相同计算量的密集模型提升3.4个百分点,并揭示了三个关键发现:专家逐渐专注于特定词汇子集,专家协同激活保持稀疏多样,路由行为在训练早期就趋于稳定。这一平台为MoE模型的系统研究提供了前所未有的开放基础。
这篇论文介绍了ModernGBERT,一个由维尔茨堡大学研究团队开发的高性能德语编码器模型家族(1.34亿和10亿参数版本)。研究将ModernBERT的创新架构应用于德语,同时通过LLM2Vec方法将德语解码器模型转换为编码器以进行对比研究。在SuperGLEBer和MTEB等基准测试中,ModernGBERT 10亿参数模型不仅超越了之前最先进的德语编码器,还在性能和参数效率方面优于转换后的编码器。研究团队还证明了更大模型能有效利用大规模单语语料库,为德语自然语言处理提供了全透明、高性能的资源。