Pure Storage和Nvidia打造了一个融合的机器学习系统,以使用数百万个数据点训练人工智能模型。
这个被称为AIRI(AIRI-AI-Ready Infrastructure)的系统将Pure FlashBlade全闪存阵列与4个Nvidia DGX-1 GPU加速系统以及一对100GbitE交换机结合在一起。
该系统由Pure和Nvidia共同设计,据说在购买、部署和操作方面要比单独购买和集成组件更容易更简单,是标准化的融合基础设施。
AIRI是你数据中心所需要的
FlashBlade是Pure Storage的全固态存储阵列,可快速访问非结构化数据,这个4U系统包含15个垂直安装的刀片或对象节点服务器,每个刀片都有一个多核英特尔至强CPU和17TB闪存,总共255TB容量,或者数据缩减后523TB有效容量。每个刀片还包含一对ARM核心、一个FPGA、NVRAM和基于PCIe的网络。这绝对不是基于SSD的商用系统。
这是一个强大的并行访问闪存阵列,在AIRI中必须配置超过160,000个GPU核心。
AIRI将数据提供给4台基于英特尔至强处理器、配有8个Tesla V100 GPU(与NVlink相连)的DGX-1系统。这些都是性能强大的GPU,每个配有5,120个CUDA核心,640个Tensor核心,16MB缓存和带宽为900GB/s的16GB HBM2内存组。V100使用64位浮点运算的最大输出功率为7.5TFLOPS,32位浮点运算为15TFLOPS。
除了32个V100之外,AIRI还有163,840个CUDA核心和20,480个Tensor核心。我们得知,AIRI提供了4个Tensor PFLOPS,一个方面是应用(机器学习任务)必须在容器中运行。
为了连接到外部世界,采用了若干个支持GPUDirect RDMA的Arista 100GbE交换机,这为使用PCIe的GPU和FlashBlades之间数据传输提供了直接快速的路径。FlashBlade和DGX-1之间的接口是基于文件的:NFS over ROCE (RDMA Over Converged Ethernet)。
这里使用了具体哪款Arista产品并未对外透露。
有两个包含的软件项目:
- Nvidia的GPU Cloud Deep Learning Stack。
- AIRI扩展工具包,它是一个配置验证器和多节点训练管理系统。
Pure表示,这款软件将可以帮助数据科学家在几个小时内——而不是数天或数周——启动并运行机器学习项目。
在机器学习领域,AIRI的竞争对手包括HPE的Apollo 6500 gen-10系统和增强采用GPU的IBM AC922服务器,AIRI看起来更强大一些。
HPE的Apollo 6500 gen-10使用单精度浮点数学运算的性能高达125 TFLOPS。同样条件下单个V100大约可以达到15 TFLOPS,这意味着一个DGX-1的性能就可以达到大约120 TFLOPS,而AIRI则可以达到480 TFLOPS,不是一个量级的。
IBM的AC922支持多达6个Tesla V100 GPU,比单个DGX-1少2个,而AIRI有4个DGX-1,同样地,和IBM系统不是一个量级的。
Pure表示,多个训练任务可以并行运行,并且在AIRI上比其他系统完成地更快,运行时间减少到原来的1/4。
价格怎么样? Pure没有提供价格信息,称这取决于渠道供应商,但会一定程度上反映组件的成本。
计算一下,4个DGX-1大约是60万美元。Arista交换机的成本在3,000美元以上,而FlashBlade的成本低于1美元/ GB,这意味着523TB的有效容量的成本将低于523,000美元。
所以这可能是一个百万美元量级的系统,适合大型企业或专有客户购买。该系统支持4个DGX-1,但可以从1个-2个DGX-1开始部署,降低前期成本。
目标客户是那些需要运行大量大型机器学习任务、对数百万数据项目进行模型训练的组织。
每个DGX-1的功耗为3.2kW,因此在考虑存储和网络以及英特尔计算芯片等因素之前,你的功耗已经接近13kW。
目前Pure已经通过特定经销商合作伙伴提供AIRI,包括ePlus Technology、FusionStorm、GroupWare Technology、PNY、Trace3、World Wide Technology和Xenon等。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
延世大学研究团队通过分析AI推理过程中的信息密度模式,发现成功的AI推理遵循特定规律:局部信息分布平稳但全局可以不均匀。这一发现颠覆了传统的均匀信息密度假说在AI领域的应用,为构建更可靠的AI推理系统提供了新思路,在数学竞赛等高难度任务中显著提升了AI的推理准确率。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
蒙特利尔大学团队发现让AI"分段思考"的革命性方法Delethink,通过模仿人类推理模式将长篇思考分解为固定长度块,仅保留关键信息摘要。1.5B小模型击败传统大模型,训练成本降至四分之一,计算复杂度从平方级降为线性级,能处理十万词汇超长推理,为高效AI推理开辟新道路。