Pure Storage和Nvidia打造了一个融合的机器学习系统,以使用数百万个数据点训练人工智能模型。
这个被称为AIRI(AIRI-AI-Ready Infrastructure)的系统将Pure FlashBlade全闪存阵列与4个Nvidia DGX-1 GPU加速系统以及一对100GbitE交换机结合在一起。
该系统由Pure和Nvidia共同设计,据说在购买、部署和操作方面要比单独购买和集成组件更容易更简单,是标准化的融合基础设施。
AIRI是你数据中心所需要的
FlashBlade是Pure Storage的全固态存储阵列,可快速访问非结构化数据,这个4U系统包含15个垂直安装的刀片或对象节点服务器,每个刀片都有一个多核英特尔至强CPU和17TB闪存,总共255TB容量,或者数据缩减后523TB有效容量。每个刀片还包含一对ARM核心、一个FPGA、NVRAM和基于PCIe的网络。这绝对不是基于SSD的商用系统。
这是一个强大的并行访问闪存阵列,在AIRI中必须配置超过160,000个GPU核心。
AIRI将数据提供给4台基于英特尔至强处理器、配有8个Tesla V100 GPU(与NVlink相连)的DGX-1系统。这些都是性能强大的GPU,每个配有5,120个CUDA核心,640个Tensor核心,16MB缓存和带宽为900GB/s的16GB HBM2内存组。V100使用64位浮点运算的最大输出功率为7.5TFLOPS,32位浮点运算为15TFLOPS。
除了32个V100之外,AIRI还有163,840个CUDA核心和20,480个Tensor核心。我们得知,AIRI提供了4个Tensor PFLOPS,一个方面是应用(机器学习任务)必须在容器中运行。
为了连接到外部世界,采用了若干个支持GPUDirect RDMA的Arista 100GbE交换机,这为使用PCIe的GPU和FlashBlades之间数据传输提供了直接快速的路径。FlashBlade和DGX-1之间的接口是基于文件的:NFS over ROCE (RDMA Over Converged Ethernet)。
这里使用了具体哪款Arista产品并未对外透露。
有两个包含的软件项目:
- Nvidia的GPU Cloud Deep Learning Stack。
- AIRI扩展工具包,它是一个配置验证器和多节点训练管理系统。
Pure表示,这款软件将可以帮助数据科学家在几个小时内——而不是数天或数周——启动并运行机器学习项目。
在机器学习领域,AIRI的竞争对手包括HPE的Apollo 6500 gen-10系统和增强采用GPU的IBM AC922服务器,AIRI看起来更强大一些。
HPE的Apollo 6500 gen-10使用单精度浮点数学运算的性能高达125 TFLOPS。同样条件下单个V100大约可以达到15 TFLOPS,这意味着一个DGX-1的性能就可以达到大约120 TFLOPS,而AIRI则可以达到480 TFLOPS,不是一个量级的。
IBM的AC922支持多达6个Tesla V100 GPU,比单个DGX-1少2个,而AIRI有4个DGX-1,同样地,和IBM系统不是一个量级的。
Pure表示,多个训练任务可以并行运行,并且在AIRI上比其他系统完成地更快,运行时间减少到原来的1/4。
价格怎么样? Pure没有提供价格信息,称这取决于渠道供应商,但会一定程度上反映组件的成本。
计算一下,4个DGX-1大约是60万美元。Arista交换机的成本在3,000美元以上,而FlashBlade的成本低于1美元/ GB,这意味着523TB的有效容量的成本将低于523,000美元。
所以这可能是一个百万美元量级的系统,适合大型企业或专有客户购买。该系统支持4个DGX-1,但可以从1个-2个DGX-1开始部署,降低前期成本。
目标客户是那些需要运行大量大型机器学习任务、对数百万数据项目进行模型训练的组织。
每个DGX-1的功耗为3.2kW,因此在考虑存储和网络以及英特尔计算芯片等因素之前,你的功耗已经接近13kW。
目前Pure已经通过特定经销商合作伙伴提供AIRI,包括ePlus Technology、FusionStorm、GroupWare Technology、PNY、Trace3、World Wide Technology和Xenon等。
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。