HPE全新高密度全闪存支持可扩展性的AI工作负载

HPE对于此次更新产品的性能改进做出了一些重大声明,称每个机架单元的容量提高了4倍,性能提高了2倍。

HPE近日表示,正在扩展HPE GreenLake for File Storage的功能,推出了新的高密度全闪存存储系统以支持数据湖和管理人工智能工作负载。

HPE全新高密度全闪存支持可扩展性的AI工作负载

HPE对于此次更新产品的性能改进做出了一些重大声明,称每个机架单元的容量提高了4倍,性能提高了2倍。HPE表示,通过这些改进,企业将能够把AI吞吐量提高2倍,同时显着降低功耗,在某些用例中能效提升高达50%。同时HPE补充说,这将使组织能够加速他们的AI工作负载,降低功耗和整体数据中心占地面积。

HPE GreenLake for File Storage属于HPE GreenLake即服务产品组合,让客户可以租用本地数据中心设备并像云服务一样对其进行管理。该产品由标准化的、可组合的构建块组成,这些构建块由计算节点、商品存储和网络交换机组成,可以根据不同的需求进行配置。

HPE Storage产品营销高级经理David Yu在一篇博文中表示,新产品解决了阻碍组织实现AI潜力并实现更大规模以释放数据价值的三个关键挑战。

性能提升

Yu表示,HPE GreenLake for File Storage有一些关键的创新,使其非常适合加速和扩展AI工作负载,包括训练、微调和推理。他说,这些很重要,因为大规模的性能限制可能会成为AI存储的一个巨大障碍,AI存储可以在容量方面进行扩展,但在性能方面却无法跟上。

他说:“HPE GreenLake for File Storage可以通过AI规模的企业性能加速数据密集型应用,能够涵盖了AI的所有阶段——从数据聚合、数据准备、训练和调整一直到推理。对于小的数据集来说,在某个时间点达到峰值的不仅仅是性能。相反,它是快速的、持续的性能,涵盖整个数据规模,适用于那些最苛刻的、数据密集型的AI应用,包括生成式AI和大型语言模型。”

Yu表示,HPE GreenLake for File Storage之所以能实现这一目标,得益于它具有分解的、共享一切的以及高度弹性的模块化架构,这种架构允许容量和性能相互独立地进行扩展。该产品是专门针对EB级工作负载设计的,可实现快速数据传输,从而确保快速且可预测的性能,无需前端缓存。这种架构意味着媒介之间没有数据移动,也没有分层数据管道,这使其成为增强数据密集型AI应用的一个理想选择。

简化管理

GreenLake for File Storage还解决了传统文件存储的一些问题,这些问题导致AI工作负载效率极低。传统上说,管理文件存储需要专门的领域专业知识,并且是一个繁琐的手动过程。然而,对于那些希望扩大AI规模的组织来说,这些管理任务是不可避免的。

凭借类似云的体验,GreenLake for File Storage简化了文件数据管理任务,减轻了IT团队的负担。Yu列举了其中一系列好处,包括简化部署、简单设置、轻松创建文件共享、快速完成作业、通过可在任何位置的任何设备上访问的单一云控制台进行存储管理统一化。

Yu表示,这些功能在现实世界中提供了一些优势:“您的数据科学家和业务线应用所有者将不再承受繁琐的、遗留的文件系统带来的负担,这些系统需要技术专业知识和复杂的设置流程才能运行起来。”

提高可扩展性

传统文件存储的第三个挑战是和AI对存储容量、机架空间和功耗永不满足的需求有关的。对于传统存储系统来说,如果不构建全新的数据中心,将AI工作负载扩展到某个点上是不切实际的。Yu解释说:“采用无共享架构的传统NAS解决方案无法有效地横向扩展,以满足AI工作负载对容量密度、每TB成本和能效的需求。”

HPE GreenLake for File Storage采用了各种创新技术来解决这一挑战,使组织能够将存储成本降低4倍,功耗降低2倍,将无开销快照和本机数据复制等先进技术与闪存存储的卓越效率以及HPE专有的Similarity数据压缩算法相结合,以实现更有效的数据缩减。

此外他表示,GreenLake for File Storage现在支持通过Nvidia InfiniBand、GPUDirect和RDMA网络技术优化GPU的利用率,从而实现更快的检查点,以加速模型训练和调整等AI工作负载。

他说:“为了支持您的AI计划并在当今市场中展开竞争,您需要一个支持AI的文件存储解决方案,这个解决方案可以提供企业级的性能、简单性和更高的效率,真正加速的AI工作负载需要AI可扩展性的所有三项指标,而且每一项对于在AI方面取得成功来说都是至关重要的。”

来源:至顶网存储频道

0赞

好文章,需要你的鼓励

2024

03/06

09:08

分享

点赞

邮件订阅